Acho que não é tão simples assim. A percepção do tempo é realmente um resultado biológico.
Mas o tempo físico existe e é relacionado ao espaço. Tanto é que hoje em dia você precisa levar em conta a dilatação do tempo para várias tarefas de precisão quando lida com grandes velocidades (Leia-se, velocidades orbitais e maiores). E o efeito é cumulativo, quanto mais tempo você ignora a dilatação do mesmo mais impreciso os sistemas ficam.
Isso prova que existe um reflexo físico e observável em função do tempo.
Esse seu exemplo é bom, mas tem que tomar cuidado toda vez que vc ler a palavra "tempo" dentro da física, na física o tempo é visto de forma diferente, nesse caso vc está o vendo como uma força atuante agindo sobre um corpo, mas não é necessariamente isso que acontece.
Pegando o exemplo do paradoxo dos gêmeos, onde um fica na terra e o outro dentro de uma nave perto da velocidade da luz, o irmão que demora mais pra envelhecer não é o tempo agindo sobre ele, mas o evento "envelhecer" que demora mais pra acontecer do ponto de vista do irmão que ficou na terra.