O que � Elasticsearch? Vem aprender Elasticsearch

O tema de busca por texto completo tem se tornado cada dia mais comentado na comunidade de desenvolvedores conforme a necessidade de trabalhar com dados volumosos tem se tornado cada vez mais comum. Encontrar dados importantes em um grande emaranhado de documentos acabou se tornando uma necessidade recorrente, por muito tempo, sem uma soluç�o comumente aceita. At� que surge o Elasticsearch.

O Elasticsearch � uma poderosa ferramenta para realizaç�o de buscas e an�lise de dados constru�da para trabalhar com grandes volumes de dados, permitindo indexar documentos e realizar buscas nesses documentos em (quase) tempo real.

Porque usar Elasticsearch

O Elasticsearch realiza buscas por �ndice Invertido e esse princ�pio trabalha da seguinte forma:

No momento em que um documento � indexado, o Elasticsearch separa todos os seus termos em Tokens.
Em seguida ele faz uma mediç�o para definir quais tokens s�o relevantes, eliminando assim artigos, preposiç�es, etc.
O pr�ximo passo do Elasticsearch � organizar os tokens em um �ndice e informar em cada token quais documentos cont�m esse token.
Quando uma busca for feita ela agir� sobre esse �ndice invertido ao inv�s de vasculhar cada documento individualmente, procurando pelos termos buscados.

Esse processo de indexaç�o � o que torna o Elasticsearch um motor de busca em semi-tempo-real.

Benef�cios do Elasticsearch

O Elasticsearch suporta um grande volume de dados sem perder performance. Ele pode ser implementado em qualquer sistema independentemente da plataforma, por fornecer uma API REST. Al�m disso, o Elasticsearch � altamente escal�vel, podendo ir de um servidor a muitos servidores simult�neos.

Quando usar o Elasticsearch

O Elasticsearch � necess�rio sempre que for interessante encontrar informaç�es em grandes volumes de dados buscando por texto. Ele tamb�m fornece uma API para realizar an�lises sobre os dados recuperados como resultado da busca.

Onde usar o Elasticsearch

Em qualquer projeto que deseje realizar buscas por texto completo e analisar dos dados recuperados por essa busca, seja esta realizada em um banco de dados, em arquivos de log ou qualquer outra forma de armazenamento de documentos de texto.

Como instalar o Elasticsearch

O Elasticsearch pode ser instalado em diversos sistemas operacionais do pr�prio site oficial. Para Windows h� um instalador execut�vel que, por padr�o, deixa o Elasticsearch pronto para funcionamento, como ilustrado na Figura 1.

Figura 1. Download para Windows

Nota: Para instalar o Elasticsearch � preciso j� ter o Java instalado em seu computador.

Ap�s executar basta clicar em avançar em todas as telas at� que o Elasticsearch tenha terminado de ser instalado, como mostram as Figuras 2 a 6.

Figura 1. Download para Windows

Nota: Nesse projeto usamos a vers�o 6.4.2 do Elasticsearch.

Ap�s executar basta clicar em avançar em todas as telas at� que o Elasticsearch tenha terminado de ser instalado, como vemos nas Figuras 2 a 6.

Figura 2. N�o � preciso alterar os diret�rios

Figura 3. Instalar como serviço

Figura 4. Configuraç�es avançadas

Figura 5. Plugins opcionais

Figura 6. Tela de conclus�o

o Elasticsearch prov� uma interface por meio de uma API REST para realizar suas consultas, indexar documentos etc. que, por padr�o, � disponibilizada no localhost do computador em que foi instalado pela porta 9200. Para verificar se o Elasticsearch est� rodando adequadamente abra o navegador e entre em http://localhost:9200 para ver uma resposta parecida com a seguinte:

{
    "name" : "DESKTOP-1AILDTS",
    "cluster_name" : "Elasticsearch",
    "cluster_uuid" : "6wUOuGmnQHqRXAeVOXwBwg",
    "version" : {
    "number" : "6.4.1",
    "build_flavor" : "unknown",
    "build_type" : "unknown",
    "build_hash" : "e36acdb",
    "build_date" : "2018-09-13T22:18:07.696808Z",
    "build_snapshot" : false,
    "lucene_version" : "7.4.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
    },
    "tagline" : "You Know, for Search"
}

Nota: Esse artigo � feito com base no Elasticsearch de vers�o 6.4.

Principais comandos no Elasticsearch

O Elasticsearch fornece uma API REST, por padr�o, que recebe requisiç�es dos quatro verbos HTTP: GET, POST, PUT e DELETE. Todo processo de utilizaç�o ocorre por meio de requisiç�es HTTP � API do Elasticsearch por meio do envio de objetos JSON no corpo destas.

A URI de uma requisiç�o HTTP segue a seguinte estrutura:

endereco_da_api:porta/indice/tipo_do_documento

Requisiç�o GET para uri/_search

Retorna todos os documentos do �ndice indicado que sejam do tipo definido. Permite um objeto JSON no corpo da requisiç�o, atrav�s do qual s�o definidas as especificaç�es da busca.

Requisiç�o POST para uri

Realiza a indexaç�o de um documento cujos dados devem ser passados como um objeto JSON no corpo da requisiç�o.

Requisiç�o PUT para uri/_id

_id deve ser o valor do c�digo de identificaç�o do documento. Caso o _id seja de um documento existente, substitui os campos do documento pelo corpo JSON da requisiç�o. Caso o _id n�o seja de um documento existente cadastra um documento com os campos sendo o corpo JSON da requisiç�o.

Requisiç�o DELETE para uri/_id

_id deve ser o valor do c�digo de identificaç�o do documento. Caso o _id seja de um documento existente, deleta fisicamente o documento do �ndice em que ele est� indexado.

Como usar o Elasticsearch

Para indexar documentos podemos enviar uma requisiç�o do tipo POST para a API seguindo o seguinte padr�o:

POST http://localhost:9200/futebol/jogador 
{
    "nome": "�dson Arantes do Nascimento",
    "apelido": "Pel�",
    "titulos_mundiais": [
        "1958",
        "1962",
        "1970"
    ]
}

Linha 1: Representamos o envio da requisiç�o HTTP do verbo POST ao endpoint da API local do Elasticsearch. Esse tipo de requisiç�o pode ser feita atrav�s de um aplicativo como o Postman ou atrav�s de qualquer sistema que faça requisiç�es HTTP. Ap�s o endereço e porta, informamos que desejamos indexar o documento do tipo jogador no �ndice futebol.
Linhas 2 a 10: Objeto JSON no corpo da requisiç�o que informa os dados que ser�o indexados como um documento no Elasticsearch. Ap�s a indexaç�o esse documento, bem como seus termos, poder� ser encontrado por meio de uma busca ao Elasticsearch direcionada ao �ndice futebol.

Exemplo de consulta em Elasticsearch

A forma mais comum de realizar buscas no Elasticsearch s�o as queries que, al�m de encontrar todos os documentos que possuam o termo buscado, ordena-os por relev�ncia com base em um c�lculo interno:

GET http://localhost:9200/futebol/jogador/_search 
{
    "query": {
        "match": {
            "apelido": {
            "query": "Pel�"
            }
        }
    }
}

Linha 1: Representamos o envio da requisiç�o HTTP do verbo GET ao endpoint da API local do Elasticsearch. Ap�s o endereço e porta, informamos que desejamos realizar uma busca atrav�s da declaraç�o _search ap�s o �ndice e o tipo.
Linha 3: iniciamos a abertura da query em um objeto JSON no corpo da requisiç�o.
Linha 4: Definimos que a query realizar� uma combinaç�o (match) entre o termo buscado e os termos dos documentos.
Linhas 5 e 6: Definimos que estamos buscando por um documento que tenha o seu campo apelido com o valor igual a "Pel�".

Nota: Quando um termo � convertido em token ele � automaticamente convertido para caixa baixa caso possua alguma letra mai�scula.

Combinar consultas no Elasticsearch

O Elasticsearch permite combinar o resultado de m�ltiplas queries atrav�s do recurso de query booleana, que combina tipos de query diferentes atrav�s das combinaç�es booleanas (e, ou, etc.):

{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "title": "star"
          }
        }
      ],
      "should": [
        {
          "match": {
            "title": "wars"
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "title": "trek"
          }
        }
      ]
    }
  }
}

Essa faz uso do atributo bool, que define o escopo da query booleana. Dentro dela podemos declarar diversas queries que ter�o seus resultados combinados. O atributo bool aceita os seguintes atributos:

filter: Realiza uma busca pelos documentos que contenham o termo buscado, por�m n�o classifica nenhuma ordem de relev�ncia aos resultados encontrados.
must: Realiza uma busca pelos documentos que contenham o termo buscado e classifica uma ordem de relev�ncia aos resultados encontrados por um c�lculo de pontuaç�o.
must_not: Realiza uma busca pelos documentos que N�O contenham o termo definido e n�o classifica nenhuma ordem de relev�ncia aos resultados encontrados.
should: Realiza uma busca pelos documentos que contenham o termo buscado e classifica uma ordem de relev�ncia aos resultados encontrados por um c�lculo de pontuaç�o. Por�m, se a query booleana possuir um must ou filter, ent�o o documento combinar� com a query booleana mesmo que nenhuma query de should combine. Nesse caso, should apenas elevar� a pontuaç�o de seus resultados como sendo mais relevantes do que os documentos que n�o lhes pertencem.

Elasticsearch PHP

O Elasticsearch disp�e de uma biblioteca oficial para seu uso em aplicaç�es na linguagem PHP. Essa biblioteca pode ser adicionada ao seu projeto atrav�s do Composer, o gerenciador de depend�ncias do PHP. Para fazer isso basta rodar o seguinte comando em seu projeto:

composer require Elasticsearch/Elasticsearch:6.0

A biblioteca pode ser utilizada da seguinte forma:

<?php
use Elasticsearch\ClientBuilder;

$hosts = [
    'http:\\localhost:9200'
];

$client = ClientBuilder::create()
            ->setHosts($hosts)
            ->build();

Primeiramente fazemos importaç�o da classe ClientBuilder no escopo em que vamos utiliz�-la. Em seguida, criamos um array com o endereço e porta da API do Elasticsearch a qual desejamos nos conectar.

Por fim, executamos o m�todo create(), passando $hosts como par�metro do m�todo setHosts() e encerrando a express�o com o m�todo build(). Com o objeto $client podemos realizar nossas consultas ao servidor Elasticsearch que foi informado em $hosts.

Indexando um documento

<?php
$params = [
    'index' => 'locadora',
    'type' => 'filmes',
    'body' => [
        'title' => 'Matrix',
        'tagline' => 'todos acham que � real.',
        'generos' => [
            [
                'id' => 28,
                'genero' => 'ficç�o cient�fica'
            ],
            [
                'id' => 878,
                'genero' => 'aç�o'
            ]
        ]
    ]
];

$resposta = $client->index($params);
print_r($resposta);

Criamos um array com as especificaç�es do documento que queremos indexar ao Elasticsearch. Nesse array definimos o �ndice e o tipo do documento indexado nos atributos index e type, respectivamente.

No atributo body definimos os dados do documento que estamos indexando e em seguida eles ser�o convertidos em um objeto JSON quando o documento for de fato armazenado no banco do Elasticsearch.

Por fim, executamos o m�todo index do objeto $client que criamos previamente e passamos o array criado como par�metro do m�todo e armazenamos a resposta do Elasticsearch. Caso a indexaç�o tenha tido �xito a resposta dever� ter o seguinte formato:

Array
    (
        [_index] => locadora
        [_type] => filmes
        [_id] => _id-gerado-pelo-Elasticsearch
        [_version] => 1
        [created] => 1
    )

Realizando buscas

A busca no Elasticsearch atrav�s da biblioteca PHP pode ser feita de forma muito semelhante � indexaç�o de um documento:

<?php
$params = [
    'index' => 'locadora',
    'type' => 'filmes',
    'body' => [
        'query' => [
            'match' => [
                'title' => 'matrix'
            ]
        ]
    ]
];

$response = $client->search($params);

Primeiramente criamos um array com as especificaç�es da query a partir da qual realizaremos a busca ao Elasticsearch. No campo body declaramos a query que segue a mesma sintaxe das queries JSON do Elasticsearch.

Em seguida executamos o m�todo search do objeto client do Elasticsearch que foi previamente criado e passamos o array com as especificaç�es da query como par�metro desse m�todo, armazenando seu retorno em uma vari�vel.

O que � Elasticsearch?

Conheça o Elasticsearch e porque ele é uma poderosa ferramenta para realização de buscas e análise de grandes volumes de dados.