Como definir um Data Warehouse na prática usando Transact SQL

O Data Warehouse ou DW, em sua tradução pode ser entendido como ‘Armazém de Dados’. Sua implementação passou a se tornar realidade nas grandes corporações, que fazem parte de um mercado maior, necessariamente o de Business Intelligence, onde ferramentas cada vez mais sofisticadas foram desenvolvidas para apoiar a estrutura do Data Warehouse nas organizações e sua crescente utilização.

O DW representa um grande banco de dados com o objetivo de dar suporte nas decisões de usuários finais, representados por gerentes e analistas de negócio. Geralmente, os dados que vão entrar na composição de um DW são originados de diversos bancos de dados operacionais que representam o ambiente da empresa e, geralmente, estão localizados em um ponto diferente dos referidos bancos de dados operacionais.

Porém, para um entendimento prático de toda a teoria envolvida, é importante não apenas definir o termo, mas entender todo o processo envolvido na criação de um DW e na sua concepção explicitando os objetivos finais de uma implementação. Seu objetivo fundamental é centrado na procura de uma forma eficiente de respostas às principais perguntas estratégicas da organização.

Para um entendimento do processo que compõem um DW, nada melhor do que a Figura 1 para mostrar isso. Essa figura expõe didaticamente, em blocos separados, e por sua vez integrados, o entendimento dos processos envolvidos na concepção de um DW e por fim, no seu objetivo final que seria suprir a demanda organizacional por suporte às suas decisões mais importante. E é justamente neste quesito que entra o Business Intelligence (BI).

Mas o que mesmo vem a ser a tecnologia de Business Intelligence? Com relação ao termo BI, ainda não existe uma definição formalizada, tanto com relação à área de negócios, ou mesmo acadêmica, sendo que podem ser encontradas várias definições do termo.

Muitos autores definem BI como sendo um conjunto de técnicas, métodos e ferramentas que possibilitam ao usuário final analisar dados e, com base nessas análises, extraírem respostas que vão subsidiar objetiva e confiavelmente os processos de decisão numa empresa.

Alguns autores sintetizam a importância do termo BI quando afirmam que ele é abrangente, pois pode incluir arquiteturas, ferramentas, bancos de dados, aplicações e metodologias.

É afirmado que o principal benefício do BI para a empresa seria sua necessidade de fornecer informações precisas quando necessário. Estas informações são importantes para todo o tipo de decisão, para o planejamento estratégico e mesmo para a sobrevivência da empresa.

Figura 1. Arquitetura de BI com o Dw como processo intermediário

Analisando figura é possível segregar a construção de um sistema BI em três fases distintas:

1. A Coleta: Composta pelos processos de ETL (Extração, Transformação e Carga);

2. A Consolidação e seus processos: Toda a consolidação dos dados e informações extraídas através do processo ETL é carregada no DW e posteriormente nos Data Marts departamentais. No exemplo, fazem parte os de Vendas, Produção, Financeiros e de Logística;

3. A Análise e Distribuição: Representam os resultantes dos dois primeiros (Data Mining, OLAP, Dashboard, DSS e relatórios).

É importante destacar que, mesmo não fazendo parte dos processos, a base de toda essa consolidação e análise dos dados da organização, através do BI, só pode ser concluída através da utilização dos sistemas departamentais, transacionais (ERP, SCM, CRM e legados) e através de dados externos representados pelos arquivos *.txts (planilhas, arquivos textos e outros documentos diversos).

A Coleta: Processos ETL

O processo ETL (Extraction, Tra ...