Robô para páginas asp.net

Olá pessoal, eu faço programas que colhem informações (robôs) de sites que a empresa tem direito a acessar e de colher informações, mas tenho encontrado dificuldade para fazer pesquisa em sites que estão utilizando a tecnologia ASP.NET, eu uso nos robôs a Indy e Wininet, alguém tem sugestão de outros componentes que eu possa utilizar para fazer pesquisa, ou como funciona o ASP.NET, como são feitas as requisições....



Obrigado!!