Artigo SQL Magazine 20 - Oracle Warehouse Builder 10g

Oracle Warehouse Builder 10g

Cristiane Perini Araújo e Eduardo Fernando Mendes

Leitura obrigatória: SQL Magazine 13, 14 e 18, Modelagem de data warehouses e data marts (partes 1, 2 e 3).

Neste artigo apresentaremos a ferramenta ETL (ler Nota 1) da Oracle, o Oracle Warehouse Builder (OWB). Esta ferramenta será utilizada pelos responsáveis pelas partes mais trabalhosas na construção de um data warehouse - a aquisição de dados. Usada no contexto do data warehouse (DW), a aquisição de dados é o processo de reunir dados de vários sistemas, independente de sua forma e localização, transformá-los em um formato homogêneo e, então, carregá-los no data warehouse.

Nota 1. ETL

ETL significa extração, transformação e carregamento - três atividades em que um administrador de data warehouse (DWA) passará a maior parte de seu tempo se preocupando:

·         Extração: responsável por adquirir dados de origens heterogêneas. As origens heterogêneas são definidas como dados que existem em muitos formatos e localizações diferentes. Por exemplo: em um banco de dados relacional, arquivos simples ou a partir da web, em formatos como HTML (Hypertext Markup Language) ou XML (eXtensible Markup Language).

·         Transformação: responsável por padronizar as informações. Nesta fase, ocorre a checagem da integridade dos dados, verificando se chaves estrangeiras realmente existem nas respectivas tabelas além de solucionar a escolha de chave quando ocorrerem chaves múltiplas. Nesta etapa devem ser definidos padrões para determinados campos e valores, caso o campo seja obrigatório no DW, mas não tenha sido preenchido na base operacional.

·        Carga dos dados: responsável por carregar os dados no DW. O carregamento dos dados é normalmente realizado em lote, quando as aplicações não estão sendo utilizadas para que não exista possibilidade de erros.

Data warehouses têm sido construídos já há algum tempo usando-se uma variedade de ferramentas. Isso inclui ferramentas de modelagem DER (diagrama de entidade e relacionamento) para o projeto de modelos de dados e ferramentas dependentes do banco de dados para o carregamento, classificação e agregação dos dados. Faltava uma maneira simplificada de obter, transformar e carregar os dados. Essa tarefa era feita normalmente através dos esforços de numerosos programadores, que escreviam um programa para cada origem de dados. Esses programas envolviam a aplicação de regras de negócios complexas para resolver incoerências de dados e eram, freqüentemente, desenvolvidos usando-se linguagens como C ou COBOL. Os fornecedores de ferramenta ETL logo perceberam que poderiam aproveitar a oportunidade gerada se combinassem muitas ferramentas dissociadas em um único conjunto integrado.

As ferramentas ETL fornecem uma interface gráfica de usuário amigável para programação, assim como a capacidade de acessar várias origens de dados localizadas em numerosas plataformas. Isso ajuda a reduzir significativamente o volume de trabalho necessário para o desenvolvimento do data warehouse (DW) além de servir como um repositório central para as regras de negócios.

O OWB vem mostrando que é mais do que uma ferramenta ETL. Ele tem a capacidade de modelar e desenvolver os processos operacionais necessários para manter e evoluir o data warehouse, e para acomodar novas origens de dados, novos processos e novos objetivos de negócios. Com isso em mente, vamos ver o que o OWB pode fazer.

Arquitetura do OWB

Primeiramente, vamos conhecer a arquitetura do OWB para sabermos o que faz esse produto funcionar (ver Figura 1).

A arquitetura básica é composta por dois componentes, o ambiente de projeto e o ambiente de execução. O ambiente de projeto trata dos metadados (ler Nota 2), o ambiente de execução trata dos dados físicos.

Nota 2. Metadados

Qualquer dado mantido para sustentar as operações ou a utilização de um data warehouse. Funciona como uma enciclopédia para o data warehouse."