Como fazer o Windows Mostrar a figura de cada icone?

Não sei por que cargas d´agua não existe a extenção ´.ICO´ no meu PC,
Quando baixei alguns icones, e fui visualizálos, os mesmos estão com o icone Default do Windows, Como faço para o Windows mostrar a figura do respectivo icone no explorer?

Obrigado.