Bem, ao meu ver o fone é só a ponta da linha. Há muitos outros pontos pra considerar.
Falando só em sistema de arquivos digitais, qualquer arquivo tem um ponto de saturação. No processo de masterização muitas faixas de frequência já são cortadas, aí não adianta pegar uma faixa "capada" e codificar em lossless - o lossless é em cima do que a fonte apresenta, ele não restaura ou cria dados. Se os dados podem ser integralmente apresentados em 320kbps, puxar lossless faz zero diferença.
Aí tem um DAC no meio, e se o DAC responder melhor à certa faixa de frequência que fone A responde de forma excelente mas o fone B nem tanto, o A vai te dar uma impressão melhor ainda que o fone B tenha especificações melhores - isso considerando um fone perfeitamente neutro, o que só existe em tese, já que sempre existe alteração de faixas de frequência, ainda que muito sensíveis, na conversão de analógico pra digital e de digital pra analógico. Se o cara estiver usando um fone sem fio, ainda tem o codec do Bluetooth, lol
Mesmo o teste cego que foi citado acaba dependendo muito do seu equipamento, de características específicas, ao que ele responde.
Na prática dá pra dizer que, no fim das contas, acho que abraçando os mp3 em 320 a grande maioria dos áudios é reproduzido com uma média razoável de fidelidade.
Fone já é mais particular, tem gente que prefere mais neutralidade, tem gente que prefere reforço de graves, de agudos, resposta em V, em U, etc. Essas coisas até são fáceis de discernir, então é o que o cara se sente melhor ouvindo mesmo. Não tem muito certo ou errado.
Claro que tem mais um monte de coisa, mas acho que o mais relevante tá nisso.
É assim que eu penso, pelo menos.