Artigo Java Magazine 38 - Usando a Google Search API

Esse artigo faz parte da revista Java Magazine edi��o 38. Clique aqui para ler todos os artigos desta edi��o

TEXT-ALIGN: left" align=left>Todo usu�rio de internet percebe o papel que o Google representa na vida on-line. Desde o inicialmente modesto site de busca, com uma caixa de texto e dois bot�es, at� o sofisticado Google Earth, poucos s�o os internautas que n�o usam um dos produtos Google: Gmail, Calendar, Finance, Pages, Analytics, Maps, Desktop, Talk, SketchUp, Spreadsheets... e a lista n�o para de crescer.

Mas mudar a maneira de como usamos a internet parece n�o ser suficiente para o Google, que est� oferecendo cada vez mais ferramentas e APIs para que desenvolvedores possam explorar os produtos e tecnologias da empresa em suas pr�prias aplica��es. Neste artigo, veremos como usar a Google Search API, para realizar buscas de v�rios tipos, obter sugest�es de corre��o ortogr�fica e ler p�ginas armazenadas em cache, entre outras opera��es.

Instala��o e uso

Para usar a Google Search API, basta fazer o download do kit de desenvolvimento, descompact�-lo em algum local do disco e obter uma chave. O site google.com/apis lista os passos necess�rios. Para obter a chave, clique no link fornecido no segundo passo (�Create a Google Account�). Como se v�, � necess�rio ter uma conta do Google, que pode ser criada no mesmo site (se voc� tem uma conta no GMail ou no Orkut, j� tem uma conta no Google). Tendo a conta criada, fa�a o login e uma chave ser� enviada para seu e-mail no GMail. A chave permite a realiza��o de at� mil pesquisas automatizadas por dia.

O kit de desenvolvimento cont�m o JAR da biblioteca e exemplos de uso em Java, C# e Visual Basic. Al�m destas, pode ser usada qualquer outra linguagem que suporte web services: o kit de desenvolvimento inclui o descritor do web service publicado pelo Google (GoogleSearch.wsdl) e exemplos de requisi��es  (no diret�rio soap-samples).

Em Java, basta adicionar a biblioteca googleapi.jar ao classpath, instanciar um objeto da classe com.google.soap.search.GoogleSearch e configurar nele a chave usando o m�todo setKey(), como mostrado na Listagem 1?. A classe GoogleSearch cont�m m�todos para busca, sugest�o ortogr�fica e obten��o de p�ginas em cache, como ser� mostrado a seguir.

Buscas

As buscas s�o feitas definindo uma express�o de consulta usando o metodo setQueryString() � semelhante ao que seria feito normalmente pelo site google.com � e depois invocando o m�todo doSearch(), que retorna um objeto da classe GoogleSearchResult. Este objeto cont�m os resultados da busca e algumas informa��es adicionais, como o tempo de busca e o total estimado de resultados. Um exemplo de uso do m�todo doSearch() pode ser visto na Listagem 1?.

A melhor maneira de se encontrar as informa��es desejadas usando o Google � construir uma boa consulta. Por exemplo, buscar por Java Magazine (sem aspas) usando a API, dificilmente retornar� o site desta revista como o primeiro dos resultados. Uma primeira melhoria seria ao inv�s de buscar separadamente os termos Java e Magazine, buscar o termo composto pelas duas palavras na ordem dada, colocando o conjunto entre aspas. Um detalhe � que, para fazer isso no programa Java, as aspas devem ser �escapadas� com o caractere �\� para que fa�am parte da string ao inv�s de delimit�-la, ou seja, a consulta seria "\"Java Magazine\"".

Se a consulta fosse feita atrav�s de um navegador web, o problema estaria resolvido. Mas o web service utilizado pela API n�o recebe as informa��es de localidade submetidas pelo navegador e sites de peso em l�ngua inglesa, como Amazon e JavaWorld, tendem a aparecer primeiro nos resultados. Um contorno seria exclu�-los manualmente dos resultados com o operador �-�, executando a consulta "\"Java Magazine\" -JavaWorld -Amazon".

H� um mecanismo mais elegante para limitar consultas. O m�todo setRestrict() da classe GoogleSearch permite que sejam impostas restri��es de idioma, de pa�s ou de t�picos. Por exemplo, se antes de buscar por �Java Magazine� configurarmos a restri��o �countryBR�, o site da JM ser� o primeiro resultado (veja a Listagem 1�). O quadro �Restri��es� mostra outras restri��es suportadas.

Al�m do m�todo setRestrict(), outros limitadores e termos especiais podem ser incluidos na pr�pria express�o de consulta. Por exemplo, a consulta "Faerman site:www.javamagazine.com.br" retorna as paginas do site da JM com artigos deste autor. A lista completa de operadores suportados pela API, com exemplos de uso, pode ser vista no quadro �Operadores�.

Conhecer um pouco do funcionamento da internet tamb�m ajuda na hora de montar suas consultas. Por exemplo, para buscar documentos sobre (digamos) CMMI  em arquivos PDF ou DOC, uma boa consulta seria "CMMI filetype:doc OR filetype:pdf". Entretanto, para buscar um termo comum ou com muitos documentos relacionados, como o livro �Alice no Pa�s das Maravilhas� (Alice�s Adventures in Wonderland)[1], uma busca por tipo de arquivo dificilmente retornaria o livro. Neste caso, � melhor buscar por p�ginas de �ndice de diret�rios, cujo t�tulo costuma ser �index of�, e num diret�rio de livros, como �book� ou �ebooks�. Como desejamos o arquivo do livro, tamb�m ajuda acrescentar como crit�rio os formatos comuns de livros eletr�nicos � zip, chm, txt ou pdf. Como p�ginas web n�o interessam, podemos remover endere�os com extens�es de p�ginas, como htm e html. Por �ltimo, adicionamos os termos da consulta, por exemplo o t�tulo do livro e o nome do autor. Sendo assim, uma busca como a seguinte tem boa chance de ser bem sucedida:

intitle:\"index of\" +(\"/ebooks\"|\"/book\") +(chm|pdf|zip|txt) -inurl:htm -inurl:html lewis alice wonderland.

Todas essas buscas s�o exemplificadas na Listagem 1.

Sugest�es de ortografia

Quando se faz uma consulta no site do Google usando um termo incomum ou com erros de digita��o/ortografia, como �javascripiti�, o Google � capaz de verificar em seu �ndice gigantesco que esta n�o � a forma mais freq�ente da palavra, e educadamente sugerir: �Voc� quis dizer: JavaScript?�.

A mesma funcionalidade est� dispon�vel na API atrav�s do m�todo doSpellingSuggestion() da classe GoogleSearch. Basta passar o termo como par�metro, que ser� retornada a sugest�o de ortografia, ou null se n�o houver sugest�o. Por exemplo, ao buscar por �Filosofy�, � retornado o termo correto �Philosophy�, como pode ser conferido pelo exemplo da Listagem 1�.

P�ginas em cache

No processo de indexa��o de uma p�gina, o Google armazena uma c�pia em cache. Esta vers�o arquivada pode ser obtida usando o m�todo doGetCachedPage(), que retorna o c�digo HTML da p�gina. Este pode ser facilmente reexibido por um componente gr�fico ou uma taglib, ou ser mostrado em um navegador web. Uma maneira simples para obter p�ginas em cache � mostrada na Listagem 1�.

Limita��es

A Google Search API � uma oferta experimental do Google, limitada a aplica��es n�o-comerciais e (como vimos) a apenas mil consultas por dia. N�o h� previs�o p�blica de se estender o servi�o. Entretanto, para aplica��es corporativas, existe uma API semelhante baseada no servidor de busca corporativo do Google, que � um produto � parte (veja links).

...