Para que serve o arquivo Robots.txt ?

Ao ler num artigo, vi que esse arquivo funciona meio que como um filtro para os robôs de busca. Como funciona isso? Achei o artigo que li muito interessante, mas não consegui entender com clareza como é esse funcionamento. Como isso ocorre? No caso de um arquivo Robots.txt mal-configurado, isso pode prejudicar muito o rankeamento do site? E se o arquivo não existir no site? Como fica isso?