Nunca tentei gravar pelo RA, aqui sempre uso o gravador nativo do windows 10 (Win+Alt+R).
Mas que tipo de gravação quer fazer? Um vídeo ou de comandos de gameplay do jogo? Tem diferença.
Aqui funciona bem. Tenta seguir isso:
https://docs.libretro.com/library/mesen/
A pasta tem que ser HdPacks, dentro da pasta system. Não sei se diferenciam letras maiúsculas e minúsculas, mas na dúvida eu coloquei como pediram. Dentro dessa pasta tem que ter outra pasta com o nome da ROM. Ou seja, se sua rom for Mega Man (USA).nes, a pasta tem que ter o nome Mega Man (USA). Dentro dessa pasta é que vão os arquivos.