Depende do jogo e da forma como é feito. Em geral jogos multplayer como MMO, não me incomoda, pois vejo o personagem como uma projeção minha. Quem me vê jogando Destiny 2 ou FFXIV pensa que eu sou maluca, pois respondo em pensamento o quando o diálogo é direcionado a mim e, às vezes, acabo me expressando em voz alta.
O problema está nos singleplays, a personagem pode ser muda, mas, se externar bem a personalidade e os sentimentos, isso pode compensar, ex: Link. Só acho ruim quando a personagem é muda e não tem personalidade, parece mais um boneco controlado por um ser externo, no caso, nós jogadores. A inserção na história acaba ficando artificial e sem sal, por exemplo, o Serge de Chrono Cross, eu simplesmente não gosto do jogo justamente pela falta de empatia da personagem principal.