Problema é que parte dos pacotes que você perde ao enviar, fica faltando lá no seu oponente, aí dá essas papagaiadas aí que você está vivenciando para ele.
Você mede o tempo do envio e recebimento de um pacote, para medir o seu ping. Como vai saber se durante uma partida perde pacotes ou não meramente olhando o seu "ms"? Tem jogos e jogos em se tratando de online. Um LOL da vida, ou mesmo um FPS, normalmente tem uma implementação beeem diferente de um jogo de luta pesadamente baseado em framedata, como é o caso do SF.
Essa sua conexão com falhas aí, provavelmente é perda de pacote aí, ou alguém do outro lado usando wifi também, ou então muito distante, ou então com cabo de rede zoado, ou então com lag
switch, ou então é culpa do cross play, ou então o sistema operacional com bug, ou então é só o netcode ruim, é tanta coisa...
Agora, se você acha que sua experiência individual é homogênea no mundo inteiro, que quem fala diferente do que você não cola, porque se é 5G tem que funcionar simplesmente porque pra você funcionou até então em outros jogos, ok, quem sou eu para discordar.
Eu só prefiro fazer a minha parte se tenho opção, para tornar a jogatina melhor para mim e com quem jogo, com base em experimentos que eu mesmo pude verificar, numa boa.
Faz o filtro desejado de qualidade de conexão, e manda perguntar se aceita a luta antes de iniciar, que deve te ajudar um pouco.