Data Mining - Mineração de Dados

Oi Marisiana, bom dia!!!

Eu nao consigo ver esse video e lembrar das outras zueiras que fizeram usando ele, inclusive sobre a copa. kkkk

Mas vamos la.

Basicamente o meu trabalho aqui na empresa, no que tange os relatorios, eh a mineracao de Dados.

Eh de extrema importancia dados correto e compreenciveis, muito bem tratados, porque muitos destes dados serao impressindiveis nas tomadas de decisao e essas decisoes resultarao em prejuizos ou lucros, ou ate mesmo uma melhora de investimento em determinada regiao de atuacao da empresa.

Isso eh o que temos aqui, atualmente conclui um relatorio onde eu apresento as vendas por clientes e vendedores e os percentuais de representacoes dos clientes para a empresa e para os vendedores, uma solicitacao de um dos gerentes comerciais da empresa.

Temos inumeros relatorios, como por exemplo analise de produtividade por hora e hora acumulada, com isso os gestores podem ajustar horarios de entradas e saidas de funcionarios e horarios de almoco.

Estou com um projeto de ranqueamento do cliente na empresa entre outros.

Tudo necessario baseado na coleta dos dados e no tratamento deles.

Nao sei se era isso que vc estava esperando ou se referindo. rsrsr

Mas ta ai a minha contribuicao.

Parabens pelo post.

Abraco.

Ótima contribuição Alex! =)
Estive estudando sobre mineração de dados na semana passada, a percepção que tive é que é um assunto de grande utilidade e importância para a análise de dados.
É um assunto que vale a pena estudar mesmo!

De acordo com essa citação:


Gostaria de saber qual técnica vc utiliza...
Os dados que são visualizados nos relatórios, são extraídos da base de dados transacional ou é criado um novo banco de dados (data warehouse) com as informações necessárias para análise dados?

Eu ainda estou me enrolando com outros assuntos, mas acho interessante e importante e é outro nivel trabalhar com B.I. hehehe
voltando ao assunto e ja com uma pergunta. como anda o mercado para este cenario, quais profissionais tem se adaptado mais ao assunto, desenvolvedores? dba´s?

Eu utilizado estraindo direto da base transacional.

Nao parti para uma estrutura DW ainda por ser necessario uma estrutura um pouco maior e um tempo maior para se dedicar.

So para vc ter uma ideia, nao faco uso de nenhum tipo de view triguer ou procedure, a Software House bloqueou o uso de Triguers, eu estava utilizando uma para fazer um trabalho que era deficiente no sistema deles, e culparam a minha triguer por um problema que aconteceu e que continuou acontecendo mesmo apos desabilitando, mas tuuudo bem o problema era ela.. deixa queto. rsrsr

No caso do uso da DW eu iria ter que comecar a utilizar as cargas de ETL e fazer uso BI para justificar esse uso, acredito eu, pode ser que eu esteja errado. rsrsr

Normalmente esses dados que utilizo teem que ser em tempo real, entao nao justifica o DW. rsrsr

Bom, pode ser que eu esteja errado, mas acho que eh isso. rsrsr

Espero ter contribuido.

Abraco.

Oi Roniere,

Honestamente eu nao sei, acho que vai depender muito do que o profissional esta pensando em nivel de carreira.

Acredito que o DBD ou desenvolvedor de aplicacoes tendam mais para ir para o BI que um DBA por exemplo.

Mas honestamente nao teria essa informacao. rsrs

Abraco.

Coloquei uma citação no comentário a cima, acho que estava editando minha resposta quando vcs responderam...

Então, para para criar o DW é necessário realizar o processo ETL, as maiores vantagens que ele oferece é a possibilidade de cruzar as informações e conseguir analisar os dados por vários ângulos. Essa "facilidade" é resultante da modelagem dos dados armazenados no DW.
Quando criamos o Star Schema (modelo estrela) modelamos a estrutura do banco com os dados separados por assuntos, por ex., compra, venda, financeiro, estoque, etc. Com as informações mais concentradas a possibilidade de analisar e comparar os dados é bem mais ampla. Mas claro, existe todo um trabalho para preparar esses dados.

De acordo com a citação que coloquei, a mineração de dados pode ser aplicada diversas fontes de dados.

A análise de dados está começando a fazer parte de todos os processos administrativos, futuramente os sistemas indicarão quais são as ações que os tomadores de decisão deverão realizar. Acredite que isso é num futuro bem próximo, pois a IBM já bem trabalhando fortemente com a Analítica, pra eles, o BI é algo consolidado, então, feliz das empresas já estão utilizando ou pensam em adquirir um sistema de B.I..

Sobre os profissionais, eu penso que, como trabalha-se com dados de diversas fontes, quem possui mais conhecimentos em bancos de dados consegue se destacar. Mas isso depende muito mais de interesse e de gostar de trabalhar nessa área.

Oi Marisiana,

Eu percebi que vc estava editando enquanto eu respondia, porque nao lembrava da citacao, achei que eu estava meio leso.. rsrsrsr

Compreendo a relacao da DW e que os dados sao armazenados separadamente, compra, vendas, CRM, ABC, etc.

O problema que hoje, digo pela empresa que estou e por mim mesmo. rsrsr, essa estrutura nao seria possivel pela implementacao, porque normalmente no DW vc tem um dados "desatualizado" ate certo ponto.

Os dados analitivos e sintetizados que eh utilizado aqui, sao em sua marioria dados em tempo real, o acompanhamento das vendas do dia por exemplo, a evolucao do mes por exemplo, acredito que aproximadamente 40% dos dados analisados na empresa necessitem ser em tempo real.

Vc deve ter pensado os outros 60% ja justificariam o DW, sim justificaria, mas no momento atual nao seria possivel por outras questoes e motivos, como fomentacao da ideia, analise de custos da implantacao do mesmo, por mais que o retorno seja beneficitario, entre outros.

Nao sei se agora respondi o que vc esperava. srsrsr

Abraco.

é Alex, tambem acho que seja esse o caminho.

Marisiana, para se iniciar em B.I, é necessario conhecimentos em banco de dados. quantas pessoas podem compor uma equipe de B.I.

Mineração de Dados é uma matéria bem extensa, tanto que existem especializações dedicadas a tal assunto, muito útil hoje em dia em diversos ramos.

Existem N questões a serem analisadas antes de decidir criar um DW em uma empresa que envolvem custos e beneficios.

Mas sobre isso que comentastes em analisar os dados em tempo real, é possivel fazer no DW também, basta que seja analisados os dados no ODS do processo ETL
[img]http://arquivo.devmedia.com.br/forum/imagem/262490-20140901-170850%20%281%29.jpg[/img]
Antes de serem transpostados para o DW os dados são preparados na Operacional Data Store (ODS), ali os dados podem ser atualizados constantemente.

Para melhor explicar o que é ODS:

Operational Data Store versus Data Warehousing

Eu diria, por experiencia própria, que conhecer banco de dados é fundamental Roniere.
Vc precisa saber entender o modelo de dados, saber se localizar nas tabelas, filtrar informações, definir o que informações são mais importantes para serem carregadas para o DW,....

Para compor a equipe, aí depende das prioridades da empresa, quanto maior a equipe mais rápida será a entrega e maior será a concentração de conhecimento. Eu sempre sou a favor de que duas cabeças pensam melhor que uma só.

Oi Marisiana,

Obrigado pelo diagrama, deu uma lida no link tambem.

Entendi sua colocacao com relacao aos dados em tempo real.

Mas de qqr forma tanto essa base intermediaria, pre-cubo ou cubo baixo/pequeno (nao sei qual seria o termo mais adequado que poderia usar. rsrsr), quando o DW propriamente dito, dependem de cargas ETL, e isso damandaria um outro servidor ou uma estrutura maior do mesmo servidor, etc.

Tambem sera necessario uma analise previa da necessidade destes dados que seriam carregados como qual o tempo para carregamento no pre cubo e os dados reais efetivos.

Talvez seja de hora em hora na estrutura ODS e uma vez por dia no DW, nao sei, e o restante busca direto na base, ou o de acordo com o nivel de granularidade que se queira dos dados.

Acho isso muito interessante e importante, infelizmente hoje, eu nao tenho como implementar. rsrsr

Mas acredito que para situacoes que estou intencionando implementar aqui na empresa vou acabar precisando, como por exemplo relatorios baseados em browser automanos ou com disponibilidade externa para colaboradores que possam precisar de dados fora da empresa.

Mas ainda estou, infelizmente, em outro nivel, bem inferior ao que gostaria. rsrsr

Mais uma vez, obrigado por compartilhar.

Abraco.

Sim. Você tem razão, é bem trabalhoso, demanda tempo, tem custos,....
Por isso que comentei que tem muitas coisas para serem analisadas antes de decidir fazer um Data Warehouse, por todas essas questões que você mencionou.

É que imaginava e sabia mais ou menos, faz tanto tempo que não tenho contato com essa disciplina. gostava.

Ronaldo, você conhece algum caso de uso de mineração de dados?

boa tarde Marisiana, achei aqui em meus arquivo uma pasta repleta de conteudo, o nome da disciplina é Sistemas de Apoio a Decisão.

Boa tarde Roniere! Eu lembro dessa disciplina, são os SAD.. =)
Deve ter conteúdos sobre data mining, data warehouse, business intelligence.

Sim, concessionárias de energia elétrica usam sistemas com técnicas de mineração de dados para tomarem decisões de quantos MW de energia devem ser comprados para abastecer uma cidade

Muito extenso o conteudo, se eu começar a ler nem que seja de vez em quando estarei aqui tirando umas duvidas.

Pois crie tópicos com todas as dúvidas que tiver! =D
Também estou estudando sobre isso, tenho um mundo de coisas pra aprender...

Irei tentar. hehehe

Bons estudos! =)

até que iniciei, mas aquela leitura de inicio é complicado. hehehe.

Sei como é Roniere... =D

Estava vendo alguns cursos no Microsoft Virtual Academy(Os titulos).

Não conheço muito sobre os treinamentos e cursos da Microsoft...
Você viu algum em especial?

De B.I nenhum...fiz de SQL Server.
sobre B.I vi alguns video, sem seguir ordem.