Algumas opções:
1 - Testa outra porta USB no seu PS (poderia ser porta passando menos energia do que deveria)
2 - Veja se com o console ligado, ele carrega até ficar 100% (bug de sleep mode que alguns relataram)
3 - Teste usando um cabo usb 3.1 (cabo defeituoso)
4 - Se não estivesse conseguindo carregar de jeito nenhum, eu diria para testar outro controle, mas não parece ser o caso aí já que carrega na tomada.
Eu uso direto no rest mode e nunca tive problemas.
Agora uso um desse aqui que comprei no AliExpress e também vai de boa:
Edit: Como vi o camarada sugerindo a config de sempre fornecer energia pela usb ao invés de 3h, achei que já tivesse feito.
Pode desconsiderar se já resolveu