Quem falou com o fiscal foi o comprador, eu não entendi detalhes, mas basicamente ele exigiu nota fiscal.
Eu não envio de forma habitual, se eu mandar 3 coisas por ano é muito, mas como comprovar que eu não atuo com vendas?
Amigo, vou ser bem sincero com você: é possível discutir, recorrer (administrativamente e judicialmente) e tudo mais... mas é algo que vai dar TANTO trabalho, mas TANTO trabalho, que não vale os R$ 80,00.
Nesse caso, o ônus de comprovar que não atua habitualmente com vendas é seu e - como você bem apontou - essa prova é dificílima de ser produzida (no direito, a gente chama isso de "prova diabólica"). Além disso, você (provavelmente) teria que comparecer na repartição local (ou enviar alguém com procuração) etc.
Mas só pra reforçar: se o fundamento da multa foi a ausência de nota fiscal (ou de algum documento ou declaração), o fato de você não ser contribuinte do ICMS não muda nada. A multa continua sendo devida.
Explico: existe uma multa específica para quando você deixa de cumprir uma obrigação que visa facilitar ou viabilizar a fiscalização (tipo emitir nota fiscal ou alguma declaração que deve acompanhar o produto etc), e ela é aplicada mesmo quando você não tem a obrigação de pagar o imposto. É mole?
No seu lugar, acho que eu assumiria o valor da multa e "vida que segue"... em geral, os riscos correm por conta do vendedor até a entrega do bem.