Os volumes de dados gerados mundialmente crescem e cada dia

Figura 1: Os volumes de dados gerados mundialmente crescem e cada dia

Muito se fala em Big Data e no impacto que isso vai causar, bem como as mudanças que esse paradigma vai trazer ou já está trazendo nas nossas vidas.

Mas o que é exatamente, esse tal de Big Data?

Ao pesquisarmos encontramos muita coisa vaga, muita definição que nos deixa mais incertos sobre o que é exatamente isso, ou o que é encontrado nos dá a impressão de que é um assunto restrito as grandes empresas e corporações e que pouco ou nada podemos tirar de proveito disso.

Ledo engano, Big Data é algo muito mais próximo do nosso dia a dia do que pensamos, e é possível sim, que pequenas empresas tirem proveito desse novo paradigma. Aliás, é possível sejam exatamente as pequenas empresas as que mais se beneficiarão disso.

Mas antes, vamos ao que se define como Big Data:

Pode-se definir Big dada como a combinação de três fatores que são: Volume + Variedade + Velocidade dos Dados.

Volume: A informação gerada pelos sistemas transacionais somada aos dados gerados por sensores, câmeras, mídias sociais via pc''s smartphones, tablets, etc...

Variedade: A forma como esses dados são apresentados podem ser estruturados, semi-estruturados, não estruturados tais como fotos, vídeos, e-mails, tuites, logs, etc...

Velocidade: Muitas vezes a resposta ao evento precisa ser praticamente em tempo real e com isso estamos falando da análise e tratamento de um volume massivo de dados.

Muitas vezes, e isso tem se tornado cada vez mais frequente, tratar apenas de dados históricos, já começa a se mostrar lento demais para a velocidade com que a tomada de decisões na empresa precisa ser realizada.

Ao falarmos de volume, os números são imensos, estima-se que a quantidade mundial de dados gerados no ano de 2012 chegou na casa dos 2,7 zettabytes, o que é um aumento de praticamente 50% em relação ao ano anterior.

Grandes corporações já armazenam múltiplos petabytes e as médias e pequenas empresas já lidam com dezenas de terabytes de dados.

E o crescimento disso é geométrico, pois num mundo cada vez mais competitivo e rápido, as empresas precisam tomar decisões em dados concretos, tirados de analises 360° de seus clientes, vendo não apenas seu consumo registrado no ERP da empresa, mas também aquilo que ele pensa e diz sobre a empresa (ou seus produtos) em blogs, sites de compras, tuites, mensagens postadas no Facebook, Google Plus, fóruns, etc.

Desta forma, se torna crucial tratar os dados na velocidade adequada. Dados que não analisados e tratados em tempo hábil se tornam inúteis e isso pode ser a causa da queda nas vendas.

Existem alguns exemplos sobre como a analítica em tempo real pode incrementar a vantagem competitiva da empresa, ou reduzir significativamente os prejuízos, como, por exemplo, a análise dos dados gerados por sensores da linha de produção de uma fábrica, onde detecta-se que um lote está sendo fabricado com erros que resultarão no descarte do lote, ou produtos saindo com peso muito acima ou abaixo da margem de tolerância. Se ao invés de somente depois de produzido todo o lote, se verificar a falha, esses erros já podem ser corrigidos durante a produção, realizando-se assim os ajustes necessários durante a produção e descartando apenas as poucas unidades que não correspondem ao padrão exigido.

Outro exemplo citado é no mercado financeiro, onde as transações podem superar facilmente a casa do milhão por segundo, e com isso se faz necessário não só bancos de dados com elevada capacidade e rápido manuseio analítico das informações em tempo real, como também requer modelos de aplicações capazes de administrar em tempo real, a distribuição das cargas de trabalho com o uso de sofisticados algoritmos.

Isso também é chamado de stream computing, onde coloca-se uma corrente continua de dados passando por um conjunto de queries.

Ao processar os dados na medida que são gerados como, por exemplo, transações de cartões de crédito efetuadas nos pontos de venda, pode-se bloquear transações fraudulentas em tempo real.

Um outro exemplo, é uma grande rede de varejo norte americana onde, por hora, as transações atingem a marca de 2,5 petabytes de dados, um volume equivalente a 170 bibliotecas do senado americano, numa única empresa.

A explosão de dados que temos vivenciado na web de alguns anos para cá também é um exemplo de como esses dados dispersos podem ser utilizados de diversas formas, muitas delas praticamente impossíveis de serem realizadas antes disso.

Os fãs de um time qualquer podem obter resultados detalhados como local do jogo, placar, quais jogadores escalados para a partida, desde a fundação do time, e juntar a isso a temperatura ambiente de cada partida, bem como as condições climáticas e prever estatisticamente qual será o desempenho do meio campista de 25 anos na partida que irá ocorrer no segundo domingo de julho, por exemplo.

Assim, se torna cada vez mais visível a importância de bancos de dados NoSQL, que é explicado no fato do modelo relacional possuir um modelo que data da sua criação na década de 70, onde acessar, categorizar, e normalizar os dados era muito mais fácil que atualmente.

Não haviam dados não estruturados circulando nos computadores na época, ou os poucos que haviam não tinham a mesma importância que possuem hoje e seus usos eram muito mais restritos. Também não foram projetados para a escala massiva, nem processamento extremamente rápido.

O objetivo era possibilitar a criação de queries que acessassem bases de dados corporativas e estruturadas.

Para o Big Data, tornam-se necessárias várias tecnologias além do banco de dados relacional, sotwares que usam outros modelos e que lidem melhor com documentos, grafos, processamento paralelo, etc.

Para aproveitar o potencial desse mundo, será preciso um resgate de disciplinas de gestão integração de dados, também conhecido como governança de dados. Um boa governança de dados, aliada a inteligência analítica, proporciona uma maior eficiência operacional, assegurando assim, boas decisões de negócios a partir da integração de dados e informações devidamente contextualizadas.

Mas se tudo isso ainda parece algo como um discurso de vendedor para justificar um trambolho caro e que terá pouco ou nenhum uso prático no dia a dia do lojista médio ou pequeno, vejamos alguns casos onde o uso e cruzamento dessas informações podem ajudar a incrementar suas vendas:

Através dos relatórios divulgados pelos grandes buscadores, sabe-se que cerca de 1h a 1h30 antes do meio dia as buscas por pratos de comida e restaurantes aumentam bastante e esse pico de busca se estende até as 14h aproximadamente.

Também é sabido (por meio desses relatórios) que para cada dia da semana um determinado prato é mais procurado e que certos pratos tem um aumento de buscas não relacionado a dias, mas sim, por terem aparecido numa novela, filme, ou programa de televisão.

Um restaurante (grande ou pequeno) pode otimizar sua publicidade nos meios on-line baseada nessas informações, e dessa forma poder incrementar suas vendas. Afinal, de que adianta ter seu anuncio exibido às 7h da manhã se o local não oferece café da manhã? Ou, apesar de ter o prato que aparece no último filme da moda, ele não é divulgado nos meios onde ele está sendo mais falado?

E se isso pode parecer básico para alguns (publicidade em resultados de busca), o que dizer da publicidade espontânea feita pelas redes sociais, e que tem seu custo extremamente baixo (ou praticamente zero)?

Imagine se, por exemplo, um filme que tem recebido boas críticas e prêmios e foi indicado para uma grande premiação internacional, e que está caindo cada vez mais nas graças do público, possui um prato que o restaurante pode oferecer e que além disso esse restaurante aproveite essa onda divulgando o prato nas redes sociais, bem como divulgando também, dicas de acompanhamentos para esse prato e coisas relacionadas, como curiosidades?

Além do provável incremento nas vendas, haverá também um aumento no público que passará a frequentar o local, além das novas recomendações que passará a receber. E isso porque soube usar os dados que estavam circulando pela rede e aparentemente não estavam relacionados.

E só para citar um exemplo prático disso, num filme recente de ação, um dos personagens num café pede um profiterole a garçonete. Na semana seguinte ao lançamento desse filme aqui no Brasil, houve um aumento de mais de 50% em algumas confeitarias na procura desse doce.

E é assim com muitas coisas, por exemplo, em breve entraremos no outono/inverno, onde sabidamente há um aumento na procura por um novo cobertor/edredom ou de algum antigripal.

Se uma loja ou drogaria puder usar o momento em que essas buscas começam a crescer, anunciando que possui o produto buscado e podendo inclusive usar as informações de geolocalização para indicar qual a loja mais próxima de quem está procurando, e aparecendo desde o início dessas buscas sazonais para seu potencial consumidor, qual será seu incremento nas vendas se comparado com o concorrente que só passou a anunciar quando todo mundo já está gripado ou com frio?

Mas para isso, é preciso termos ferramentas que possam acompanhar essas tendências e utilizar todo esse volume de informação disponível: palavras mais buscadas / mais populares / vídeos mais acessados / imagens mais compartilhadas / artigos mais populares...

Também não basta saber que daqui um mês / um dia / uma hora / um minuto, determinada palavra será mais buscada, é preciso traçar uma estratégia para aproveitar essa informação de forma que traga uma vantagem competitiva à empresa.

E isso faz lembrar de um caso recente, onde uma pequena empresa soube aproveitar a informação disponível e conseguiu assim uma vantagem competitiva que seus concorrentes não souberam aproveitar:

Um pequeno comércio que fabricava e vendia bolos, passou a acompanhar as previsões de pouca chuva e consequente queda de produção de açúcar dos países produtores, e que isso iria afetar a cotação internacional de açúcar, forçando o aumento de seus preços.

Com esse acompanhamento, esse comércio passou a aumentar o estoque do produto nos meses que antecederam essa colheita (e quando o preço do açúcar ainda estava mais estável). Com a confirmação da queda da produção, o aumento do preço do açúcar foi inevitável afetando assim todos que usavam esse produto como parte de sua matéria prima, e até mesmo o consumidor final. Por conta disso, a concorrência desse comércio, também precisou repassar esse aumento de preço aos seus produtos.

Como essa empresa estava realizando esse acompanhamento e pôde aumentar seu estoque no momento certo, quando houve o aumento de preços, não precisou aumentar seus preços enquanto durassem seus estoques e isso permitiu que aumentasse sua clientela em 15% no primeiro ano.

Com o sucesso que obteve no acompanhamento de apenas um produto de sua matéria prima, passou a acompanhar também os outros itens que faziam parte de sua lista de matérias primas, e aplicando a mesma estratégia, conseguiu manter assim uma vantagem competitiva sobre seus concorrentes, e com isso, mesmo em períodos de crise, obteve um crescimento anual médio entre 15% a 20%.

Podemos pensar que mais importante do que todo esse burburinho causado pelos departamentos de marketing com novos termos para coisas que já nos cercavam e que de algum modo tinham influência direta ou indireta na nossa vida (pessoal ou empresarial), é saber como dispor de toda essa tecnologia que permite a qualquer empresa (independentemente do tamanho) ou pessoa poder acompanhar de forma muito mais abrangente e global questões que terão tem influência no seu dia a dia de forma muito mais independente e imparcial (pois ao termos como fonte de informação diversos veículos, a linha editorial se desvanece e apenas a informação - que é o que realmente importa - fica) para assim, nos auxiliar a tomar decisões mais acertadas.

Até a próxima!