Validar campos de um arquivo .TXT

SQL Server

SQL

Big Data

Banco de Dados

21/12/2016

Olá.

Srs,

Estou com uma dificuldade, recebo um arquivo diariamente e nesse arquivo vejo que possui alguns erros contantes e só identificamos esse erro depois q iniciamos a importação do mesmo.

Existe alguma forma de validar os campos desse arquivo, por exemplo:

Data vencimento(DD/MM/YYYY): algumas datasvem com o formato(DD/MM/YY)

CEP(Somente numeros): alguns vem com caracter letra.

Alguns campos vem em branco/nulo.

att.

Jonas
Jonas Silva

Jonas Silva

Curtidas 0

Melhor post

Luiz Santos

Luiz Santos

21/12/2016

Jonas, como você está subindo esse arquivo texto?
Você usa alguma ferramenta de Data Integration?

Grande abraço
GOSTEI 1

Mais Respostas

Jonas Silva

Jonas Silva

21/12/2016

minha TI esta subindo via datastage para o BI
GOSTEI 0
Luiz Santos

Luiz Santos

21/12/2016

Legal.
O datastage tem recursos para tratar isso.
O problema no caso é você ter um tratamento para cada erro possível, ou gerar uma tabela com os registros rejeitados.
GOSTEI 0
Jonas Silva

Jonas Silva

21/12/2016

Luiz, em primeira instancia eu não vou poder tratar, pois não tenho o acesso a realizar alterações em produção, com o datastage consigo apenas acompanhar os campos que possuem erros? necessito colher o maximo de informações possivel para montar um dashbord com os principais erros e a partir disso iniciar os tratamentos.

consigo só acompanhar sem realizar alterações no datastage? é na parte de data quality que crio o projeto/estagio.
GOSTEI 0
Luiz Santos

Luiz Santos

21/12/2016

Isso infelizmente faz parte.
Nem sempre podemos alterar a produção.
Mas você vai ter que puxar uma "setinha vermelha" do seu processo, que vai pegar e "jogar" o erro para outro lugar. (ai pode ser uma tabela, um txt, um xml, etc)
O DataStage possui várias variáveis internas que retornam o erro que deu (código e descrição) e os dados que estão na linha em que deu o erro.
Uma vez com essas informações, você pode montar um Dash pra deixar bem visual os problemas.

Grande abraço
GOSTEI 1
POSTAR