Este é um post disponível para assinantes MVPEste post também está disponível para assinantes da SQL Magazine DIGITAL ou para quem possui Créditos DevMedia. Clique aqui para saber mais!
dê seu feedback
post favorito
Artigo SQL Magazine 72 - Talend Open Studio
Nesse artigo vamos aprender como utilizar metadados e as funcionalidades de customização de código do Talend Open Studio, uma ferramenta Open Source para ETL e Integração de Dados.
SQL Magazine 72
[Artigo já está disponível no Leitor Digital DevMedia®. Clique aqui para acessá-lo]
> Clique aqui para ler todos os artigos da SQL Magazine 72
[Artigo já está disponível no Leitor Digital DevMedia®. Clique aqui para acessá-lo]
> Clique aqui para ler todos os artigos da SQL Magazine 72
Banco de Dados
Talend Open Studio
Uma ferramenta open source de integração de dados e ETL – Parte 2
De que trata o artigo?
Nesse artigo vamos aprender como utilizar metadados e as funcionalidades de customização de código do Talend Open Studio, uma ferramenta Open Source para ETL e Integração de Dados.
Para que serve?
As aplicações de Business Intelligence utilizam informações de várias fontes, sendo necessário integrá-las e carregá-las em um Data Warehouse através de um processo conhecido como ETL (Extração, Transformação e Carga). O Talend Open Studio é uma ferramenta especializada para o desenvolvimento desse tipo de aplicação que utiliza uma interface gráfica baseada em componentes. Essas aplicações podem ser executadas através dessa interface, como aplicações independentes ou como web services.
Em que situação o tema é útil?
Em conjunto com a interface visual do Talend Open Studio, os metadados e a customização de código diminuem o tempo de desenvolvimento, possibilitam o aproveitamento de funcionalidades já existentes e facilitam o entendimento do processo para todos os envolvidos.
No primeiro artigo da série apresentamos a interface visual do Talend Open Studio e seus componentes básicos. Seguindo a aplicação de exemplo, desenvolvemos uma etapa simples de carga de uma tabela a partir de um arquivo texto e a captura dos logs gerados nesse processo. Agora, vamos aprimorar nosso exemplo através da utilização das facilidades de metadados e da criação de novas funcionalidades com código customizado. Os detalhes do modelo de dados utilizado estão no quadro “Exemplo utilizado no artigo”.
Definindo itens de Metadados
Os metadados do TOS armazenam informações reutilizáveis sobre layouts de arquivos, parâmetros de conexão com bancos de dados e estruturas de dados (schema), necessários durante o desenvolvimento dos Jobs. Vários wizards auxiliam a coletar e armazenar essas informações. No painel Repository, o nó Metadata exibe os tipos de metadados que podem ser configurados, como podemos ver na Figura 1.
Figura 1. Itens de metadados
Seguindo nosso exemplo vamos criar três itens de metadados: a conexão com um banco de dados, a definição de um arquivo delimitado e uma planilha.
Na aba Repository clique no nodo Metadata para expandir a árvore. No item Db Connections clique com o botão direito e selecione Create connection. Informe o nome (Vendas) da conexão e clique em Next. Selecione o Db Type MySQL e preencha os demais parâmetros conforme a Figura 2; a senha é “vendas”. Clique no botão Check para validar a configuração e depois em Finish. Em seguida, abra o nodo Db Connections, no item Vendas clique com o botão direito e selecione Retrieve Schema. Feito isso, desmarque os checkbox VIEW e SYNONYM e clique Next. Marque as três tabelas e clique em Next. Depois, navegue no painel Schema para visualizar as definições dos atributos de cada tabela. No schema dim_produto altere a precisão do atributo valor_unitario para 2, conforme a Figura 3. Repita o mesmo procedimento para o atributo valor_total do Schema fato_venda, e clique em Finish para encerrar."
ATENÇÃO! A exibição deste artigo foi interrompida.
Este é um post disponível para assinantes MVP
Talend Open Studio
Uma ferramenta open source de integração de dados e ETL – Parte 2
De que trata o artigo?
Nesse artigo vamos aprender como utilizar metadados e as funcionalidades de customização de código do Talend Open Studio, uma ferramenta Open Source para ETL e Integração de Dados.
Para que serve?
As aplicações de Business Intelligence utilizam informações de várias fontes, sendo necessário integrá-las e carregá-las em um Data Warehouse através de um processo conhecido como ETL (Extração, Transformação e Carga). O Talend Open Studio é uma ferramenta especializada para o desenvolvimento desse tipo de aplicação que utiliza uma interface gráfica baseada em componentes. Essas aplicações podem ser executadas através dessa interface, como aplicações independentes ou como web services.
Em que situação o tema é útil?
Em conjunto com a interface visual do Talend Open Studio, os metadados e a customização de código diminuem o tempo de desenvolvimento, possibilitam o aproveitamento de funcionalidades já existentes e facilitam o entendimento do processo para todos os envolvidos.
No primeiro artigo da série apresentamos a interface visual do Talend Open Studio e seus componentes básicos. Seguindo a aplicação de exemplo, desenvolvemos uma etapa simples de carga de uma tabela a partir de um arquivo texto e a captura dos logs gerados nesse processo. Agora, vamos aprimorar nosso exemplo através da utilização das facilidades de metadados e da criação de novas funcionalidades com código customizado. Os detalhes do modelo de dados utilizado estão no quadro “Exemplo utilizado no artigo”.
Definindo itens de Metadados
Os metadados do TOS armazenam informações reutilizáveis sobre layouts de arquivos, parâmetros de conexão com bancos de dados e estruturas de dados (schema), necessários durante o desenvolvimento dos Jobs. Vários wizards auxiliam a coletar e armazenar essas informações. No painel Repository, o nó Metadata exibe os tipos de metadados que podem ser configurados, como podemos ver na Figura 1.
Figura 1. Itens de metadados
Seguindo nosso exemplo vamos criar três itens de metadados: a conexão com um banco de dados, a definição de um arquivo delimitado e uma planilha.
Na aba Repository clique no nodo Metadata para expandir a árvore. No item Db Connections clique com o botão direito e selecione Create connection. Informe o nome (Vendas) da conexão e clique em Next. Selecione o Db Type MySQL e preencha os demais parâmetros conforme a Figura 2; a senha é “vendas”. Clique no botão Check para validar a configuração e depois em Finish. Em seguida, abra o nodo Db Connections, no item Vendas clique com o botão direito e selecione Retrieve Schema. Feito isso, desmarque os checkbox VIEW e SYNONYM e clique Next. Marque as três tabelas e clique em Next. Depois, navegue no painel Schema para visualizar as definições dos atributos de cada tabela. No schema dim_produto altere a precisão do atributo valor_unitario para 2, conforme a Figura 3. Repita o mesmo procedimento para o atributo valor_total do Schema fato_venda, e clique em Finish para encerrar."
ATENÇÃO! A exibição deste artigo foi interrompida.
Este é um post disponível para assinantes MVPEste post também está disponível para assinantes da SQL Magazine DIGITAL ou para quem possui Créditos DevMedia. Clique aqui para saber mais!
Artigo SQL Magazine 52 - Estudos de Caso de Projeto de Bancos de Dados para Contas a Pagar e Receber
Artigo da SQL Magazine 26 - SQL Server 2000 fail-over clustering Parte II: Instalação e Configuração
Artigo SQL Magazine 23 - Influenciando o otimizador de consulta baseado em custo do Oracle - Parte 3
Artigo SQL Magazine 20 - Influenciando o otimizador de consulta baseadoem custo do Oracle - Parte II
Você está em:
canal SQL
Publicidade
Carlos Eduardo A. Privati
Space do autor
É gerente de projetos da Keyrus Brasil, empresa parceira da Talend. É graduado em Sistemas de Informação e atua na área de tecnologia da informação há 18 anos. Desenvolve projetos de integração de dados e ETL desde 2004 e iniciou o uso do Talend Open Studio em 2007.
Space do autor
0
0
