GDDR5 tem latência alta, GDDR5X tem latência mais alta ainda. Não tem a ver com o processador ou arquitetura, tem a ver com o tempo de acesso do controlador de memória às colunas de memória. São focos diferentes, métodos de acesso diferentes.
https://en.wikipedia.org/wiki/CAS_latency
A tabela não tem GDDR5 porque trata só de SDRAM, mas acho que vendo os dados você vai entender a ideia.
Operações de sistema precisam de latências menores, por lidar com uma caralhada de programas menores por vez. Se a memória tem uma latência alta, fode tudo...a solução encontrada pela Sony foi colocar DDR3 no PS4 Pro, o que melhorou bastante o tempo de aplicativos. DDR3.
Gaming envolve mais quantidade de dados em arquivos maiores e frequência, as coisas são armazenadas na memória em maior quantidade, então não é um problema ter latências maiores porque você consegue colocar as coisas na memória antes de elas efetivamente aparecerem na tela. GDDR5.
GDDR5/5X/6 tem velocidade alta, largura de banda alta mas latência terrível. Dá pra mover uma quantidade grande de arquivos grandes por vez, o que é relevante pra gaming.
DDR3, por exemplo, tem latência baixa mas menos largura de banda. O armazenamento de arquivos menores é mais veloz, então ela é ideal pra sistemas, e complicada pra servir às gpus atuais.
Pra aplicativos e sistemas, usar GDDR5 é burrice.
A solução é usar HBM, mas aí é caro e complexo por agora.