Gostaria de ter várias opiniões sobre o assunto: SELECT

Se vc não trazer todos os campos em sua SELECT, a performance será melhor sim (menos tráfego na rede). Procure tb usar sempre que possível a cláusula WHERE para delimitar os dados antes de trazê-los.

E se eu realmente gostaria de pegar todos os dados da tabela, haveria diferença na performance em dizer campo por campo na sql?

a idéia de trabalhar com Client/Servidor é de realmente não usar um result set grande, uma Grid com um select * from tabela por exemplo é um excelente exemplo de como NÃO fazer nessa plataforma, mas é tentador colocar uma grid, então pelo menos filtre-a antes de apresentar... porque realmente por melhor performace que o SGDB tenha e a robustes de interação com o delphi, não há como fugir de uma grande quantidade de dados...

Colega, sempre trazer o minimo nos selects é o recomendado.
Observar tambem uma boa modelagem nos dados, com indices bem definidos, isto podera agilizar bastante seus processamentos.
Já vi exemplos aqui no forum, em que uma simples mudança na ordem da instrução SQL gerou um resultado absurdamente melhor.

Espero não ter sido muito abstrato.