De forma bem resumida: existem microfones com conexão USB e com conexão XLR. Esses microfones normalmente se dividem em dois tipos: condensadores e dinâmicos. Além disso, cada microfone tem um "padrão polar", que mostra "onde" ele capta mais som. O padrão mais comum é o cardioide, mas também é comum encontrar microfones omnidirecionais.
Se o microfone tiver conexão USB, é plugar no PC e usar. Se tiver conexão XLR, você precisa de uma interface.
O "setup" XLR + Interface é mais flexível, já que você não fica preso a uma interface ou um microfone.
Microfones dinâmicos não precisam de alimentação extra ("Phantom Power"). Já os microfones condensadores, via de regra, precisam. Então se você pegar um setup "interface + microfone condensador", tem que ter certeza que a interface fornece Phantom Power, senão o microfone não vai funcionar.
Microfones condensadores soam (via de regra) mais "naturais", mas captam mais ruído ambiente. Microfones dinâmicos soam mais "fechados", mas captam menos ruído ambiente.
Pra pensar de um jeito bem tosco:
Microfone condensador = som da voz em uma gravação de música
Microfone dinâmico = som da voz em uma rádio FM
(claro que tem exceções nisso aí - Michael Jackson gravava com um microfone dinâmico, o Shure SM7B)
Microfones cardioides captam o que está na frente e "rejeitam" o que está atrás. Microfones omnidirecionais captam todas as direções.
DITO ISTO
Qual é um bom custo vs benefício? Depende do que você vai fazer. Eu comprei pensando em custo vs benefício e peguei um Behringer XM8500 + uma interface, também Behringer, UMC22. É um microfone dinâmico, boa rejeição dos ruídos do quarto. A interface fornece Phantom Power, então se você optar por um microfone condensador ele também vai funcionar com ela.
Foi relativamente barato e acho bom.
Exemplos do som do microfone no Spoiler