Pode ser. Por exemplo, bater com uma arma em uma pedra talvez diminua o status de durabilidade ainda mais rápido (do mesmo jeito que bater em um escudo tem o seu impacto). Agora quais seriam esses números para ser mais exato, aí não sei se alguém usou datamine para analisar isso.
Anyway, acredito mesmo que seja pelo uso, e não pela quantidade de dano causado.
Estive olhando o Guide Book oficial aqui e realmente a durabilidade não tem a ver com attack power.
O ataque da arma é o quanto de dano a arma causa em HP no inimigo. Tem uns detalhes que achei legais:
Sneak attack multiplica por 8 esse dano. Critical e Throw duplicam, ataques elétricos adicionam +20 enquanto os de gelo e fogo adicionam +10 (mas dão hit-kill no elemento oposto e bater num inimigo congelado causa o triplo ds dano).
Quanto à durabilidade, é aquilo mesmo, no guia diz que é um número baseado na quantidade de ataques de cada arma, mas não especifica quanto é, ou se varia de acordo com o que você atinge. A Master Sword como referência, tem durabilidade de 40. Vou contar os ataques dela se eu lembrar. Vi aqui que as Royal Guard weapons as negras) têm durabilidade bem baixa, 14, enquanto as normais tem 36.
Outra coisa bacana é que as espadas elementais só gastam quando atingem algo, então você pode usar uma espada de fogo pra acender fogueira pra sempre.
E tem dois ataques que não consomem durabilidade: montar no Lynel, como já dito, e o Sneakattack.