Analisando o Big Data na teoria e na prática

Sendo assim, o tema abordado é útil para todos aqueles que desejam conhecer e aprender sobre o que é Big Data, e entender como ele está influenciando a evolução das ferramentas de armazenamento e processamento de dados.

Guia do artigo:

• O que é Big Data?
• Variedade
• Velocidade
• Volume
• BigTable
• MapReduce
• Apache Hadoop
• NoSQL
• Chave/Valor (Key-Value)
• Bancos de dados orientados a Documentos
• Bancos de dados Família de Colunas
• Bancos de dados orientados a Grafos
• Curso de SQL
• O que é Neo4j?
• O que é NoSQL?

Há vários anos vem acontecendo uma progressão do modo como os dados estão sendo acumulados. Antes da Internet, a maioria dos dados eram aqueles que eram gerados e acumulados pelos sistemas de computados das empresas.

Porém, após o surgimento da rede mundial de computadores, os usuários tornaram-se capazes de gerar seus próprios dados. Essa causa teve como efeito um aumento exponencial na geração de informação.

Essa explosão de dados já faz parte do nosso cotidiano. Um dos maiores contribuintes para isso foi o surgimento das redes sociais. No Facebook, atualmente a maior rede social do mundo, em 24 horas são compartilhados bilhões de conteúdos entre seus usuários.

Somado a isso, em apenas um minuto aproximadamente 100.000 mensagens são disparados pelo Twitter, 700.000 buscas são realizadas no Google e 600 vídeos são adicionados no Youtube.

Além de todas essas fontes de informação, máquinas também estão acumulando dados. Existem trilhões de sensores espalhados nos diversos tipos de dispositivos, os quais coletam bilhões de dados diariamente.

Aviões, por exemplo, geram aproximadamente 2,5 bilhões de terabytes de dados anualmente por sensores instalados em seus motores.

Nos conjuntos de dados de alguns departamentos policiais, por exemplo, existem milhões de registros de crimes que foram armazenados durante o decorrer de dezenas de anos, contendo informações de como e onde os crimes aconteceram.

Hoje em dia esses dados já são utilizados para entender a natureza de um crime e identificar potenciais lugares de possíveis ocorrências. Com estas informações valiosas, estudos estão sendo realizados com a intenção de tornar possível predizer o local e modo de prováveis incidências de crimes.

Como demonstra o exemplo anterior, a habilidade de se trabalhar com Big Data abriram inúmeras possibilidades. A partir do Big Data diversos casos de fraudes foram descobertos por algoritmos que analisavam os e-mails corporativos de algumas empresas.

Esta tecnologia também possibilitou evitar catástrofes naturais e humanas. Através de ferramentas poderosas com capacidade suficiente para analisar o código genoma, foi possível também descobrir padrões, encontrar curas de doenças, novas estrelas, entre muitas outras informações.

Diante disso, a capacidade de armazenar essa colossal quantidade de dados foi apenas uma das preocupações das companhias. Para transformar esses dados em informações “palpáveis”, foi necessário evoluir também as ferramentas e tecnologias de processamento e análise de dados.

Neste cenário, a possibilidade de minerar todas essas informações teve um papel importante na previsão de acontecimentos e no estudo de comportamentos.

Quando tratados da maneira correta, os dados podem fornecer informações valiosas para as empresas. E já não é de hoje que as empresas enxergam o quão valiosos são os dados contidos em seus bancos.

Tecnologias modernas de BI (Business Intelligence) como data warehouse conseguem lidar com vastas quantidades de informações para ajudar a identificar e desenvolver oportunidades de negócio.

Saiba mais: Business Intelligence Tutorial

Entretanto, esse grande aumento no acúmulo e na diversidade de dados que está ocorrendo nos tempos atuais acaba gerando muita dificuldade para as ferramentas tradicionais serem capazes de lidar.

Com isso, a tecnologia que tínhamos acabou se tornando insuficiente para atender o negócio, forçando-nos a buscar outras maneiras, processos e ferramentas, capazes de possibilitar o trabalho com tanta e variada informação.

Como pode ser notado, vivemos em uma era onde geramos mais informações do que somos capazes de armazenar, processar, analisar e gerar algum valor.

Tendo isso em vista, empresas pioneiras no Big Data, como Google, Facebook, Twitter e Amazon, estão utilizando estes conjuntos de dados colossais para descobrir diversas percepções escondidas dentro de toda essa informação.

Através do Big Data, a sociedade adquiriu a oportunidade de aproveitar essa vasta quantidade de informação de uma maneira extraordinária ...