Comparar aquivo TXT com Tabela no banco de dados

Question

Possuo um arquivo TXT gerado pelo  SISOBI, onde cont�m uma rela��o de pessoas que vieram ao �bito.Esse txt � gerado, e necessito ler o arquivo e comparar o CPF, que � a �nica chave presente no arqui...

Jothaz · Answer

Fala brother tudo na paz!Voc� est usando o SQL Server n�? Sempre que precisei trabalhar com importa��o/exporta��o massiva de registros e usando o SQL Server eu utilizava o [url:descricao=Bulk Insert]https://technet.microsoft.com/pt-br/library/ms188365(v=sql.105).aspx[/url] e  [url:descricao=aqui]https://technet.microsoft.com/pt-br/library/ms175915(v=sql.105).aspx[/url].� muito r�pido e voc� pode inclusive desligar o log o que deixa mais r�pido ainda.Depois que tudo esta em tabelas dai � s� usar as facilidades dos bd�s relacionais.para verificar os dados....

Randrade · Answer

Boa Tarde Jothaz.Na verdade, eu nem preciso trabalhar com insert. Necessito somente verificar todos os funcion�rios cadastrados, e comparar com os que estou importando com o meu arquivo txt. Eu realizei o insert, pois foi a forma que imaginei para comparar. Tanto que ap�s eu realizo um Truncate, pois s�o 100 mil dados, que n�o ter� utilidade em meu DB.Mas irei verificar o Bulk Insert, para ver se atende minhas necessidades.Obrigado pela ajuda, novamente. rsrsrs...

Jothaz · Answer

A sugest�o de inserir em um tabela � justamente por ser a forma mais r�pida que conhe�o.

Desenvolvi um sistema de controle de gastos com Taxi para um banco e recebia toda a informa��o em forma de txt e foi a melhor solu��o que consegui.

� poss�vel usar o Linq para manipular TXT, mas sinceramente n�o sei quanto a performance.

Randrade · Answer

Eu testei com Linq, e a performance foi pior.

A consulta em si, est� r�pida. O problema est� sendo em inserir 100 mil dados de uma vez, dentro do foeach.

Pesquisando eu li, rapidamente, sobre trabalhar com KeyedCollection, assim n�o precisando inserir dados no Data Base. E para inserir, inserir os dados como uma lista, e n�o individual. Mas ainda n�o testei essas duas op��es, para ver se realmente seria melhor.

Mas testarei e informo ap�s.

Lembrando que qualquer informa��o adicional, ser� bem vinda ainda.

O Linq para certas fun��es n�o � o melhor.

J� o O KeyedCollection n�o conhe�o.

O bulk insert sempre resolveu meus problemas e a op��o de desligar o log deixa a execu��o mais r�pida ainda.

S� testando mesmo!

Jothaz · Answer

O Linq para certas fun��es n�o � o melhor.J� o O KeyedCollection n�o conhe�o.O bulk insert sempre resolveu meus problemas e a op��o de desligar o log deixa a execu��o mais r�pida ainda. S� testando mesmo!...

Randrade · Answer

Realizei o teste com Listas, onde salvei todos os dados em uma lista, e realizei um �nico insert.

Meu tempo de quase 5 minutos, abaixou para 1 minuto e 13 segundos. Est� muito melhor, por�m gostaria que fosse mais r�pido ainda.

Caso algu�m tenha d�vidas, irei adicionar meu c�digo at� o momento, para ajudar quem necessita.

     //Cria uma lista de usu�rios
            var listSisobi = new List<Sisobi>();

            //Contador equivalente a Chave Primaria
            int contador = 1;

            //busca todos os blocos
            foreach (var parte in partes)
            {


                var Nome = parte.Substring(39, 76);
                var NomeMae = parte.Substring(115, 32);
                var DataNascimento = parte.Substring(147, 8);
                var DataMorte = parte.Substring(155, 8);
                var Cpf = parte.Substring(163, 11);

                //converte cpf to double
                double CpfConvertido = Convert.ToInt64(Cpf);

                //converte data para o formato dd/MM/yyyy
                var dtMorte = DataMorte.Substring(6, 2) + "/" + DataMorte.Substring(4, 2) + "/" + DataMorte.Substring(0, 4);
                var DtNascimento = DataNascimento.Substring(6, 2) + "/" + DataNascimento.Substring(4, 2) + "/" + DataNascimento.Substring(0, 4);




                //Verifica se o modelo � v�lido
                if (ModelState.IsValid)
                {
                    try
                    {

                        //salva os arquivos na lista
                        listSisobi.Add(new Sisobi
                        {
                            SisobiId = contador,
                            Cpf = CpfConvertido,
                            DtObito = dtMorte,
                            NomeFalecido = Nome,
                            DtNascimento = DtNascimento,
                            NomeMae = NomeMae
                        });

                        //Incrementa o contador (chave prim�ria)
                        contador++;
                    }
                    catch (Exception ex)
                    {

                        TempData["MensagemError"] = ex.Message;
                    }
                }

            }

            //Insere no BD
            context.Sisobis.AddRange(listSisobi);
            context.SaveChanges();

Irei adicionar o Insert Bulk agora, para ver se consigo otimizar um pouco mais este m�todo. Ap�s eu retorno para atualizar o posto.

Randrade · Answer

Bom, adicionei o Insert Bulk, e consegui otimizar para 24 segundos toda a opera��o.

Sei que 24 segundos n�o � o tempo de espera que nenhum cliente gosta de esperar, por�m levando em considera��o que s�o mais de 100 mil dados por arquivo, creio que este tempo esteja dentro das condi��es.

Obrigado mais uma vez Jothaz. Eu particularmente n�o havia trabalhando com Insert Bulk at� o momento, mas realmente � uma excelente op��o para utilizar.

Sei que � pedir muito, mas se possuir algum material sobre o mesmo, que possa me enviar, seria de muita utilidade.

Segue o c�digo final.

No controller eu apenas chamei o m�todo BulkInsert e passei como par�metro minha ConnectionString, a tabela que ir� inserir os dados, e a lista de dados para inserir, ficando assim:

BulkInsert(context.Database.Connection.ConnectionString, "PortalRH_Sisobi", listSisobi);

E o m�todo BulkInsert eu fiz desta forma:

        public static void BulkInsert<T>(string connection, string tableName, IList<T> list)
        {
            using (var bulkCopy = new SqlBulkCopy(connection))
            {
                bulkCopy.BatchSize = list.Count;
                bulkCopy.DestinationTableName = tableName;

                var table = new DataTable();
                var props = TypeDescriptor.GetProperties(typeof(T))
                    //Dirty hack to make sure we only have system data types 
                    //i.e. filter out the relationships/collections
                                           .Cast<PropertyDescriptor>()
                                           .Where(propertyInfo => propertyInfo.PropertyType.Namespace.Equals("System"))
                                           .ToArray();

                foreach (var propertyInfo in props)
                {
                    bulkCopy.ColumnMappings.Add(propertyInfo.Name, propertyInfo.Name);
                    table.Columns.Add(propertyInfo.Name, Nullable.GetUnderlyingType(propertyInfo.PropertyType) ?? propertyInfo.PropertyType);
                }

                var values = new object[props.Length];
                foreach (var item in list)
                {
                    for (var i = 0; i < values.Length; i++)
                    {
                        values[i] = props[i].GetValue(item);
                    }

                    table.Rows.Add(values);
                }

                bulkCopy.WriteToServer(table);
            }
        }

Espero que ajude mais algu�m que possuir um problema semelhante.

Jothaz · Answer

Que bom que resolveu o seu problema.E 24 segundos para 100mil n�o � nada, o beneficio compensa a espera. Se o camarada reclamar sugere fazer na m�o.Me lembro que desenvolvi um sistema de apura��o de ponto eletr�nico para uma empresa com 13000 funcion�rios. Era em natural, PL1 e Adabas. Por limita��es t�cnicas do mainframe (na �poca tinha 127mega de RAM e era top) o programa de apura��o s� gerava 85% das ocorr�ncia corretamente os outros 15% eram preciso alguma infer�ncia do usu�rio para ajustar a apura��o. E era uma reclama��o sem fim. Ent�o tirei a execu��o (batch) do apurador e deixei que os usu�rios apurassem manualmente. Mas gerava um relat�rio com as inconformidades em pouco tempo tinha usu�rio implorando para voltar o gerador, pois melhor fazer 15% do trabalho que 100%.Sempre usei o Bulk Insert  e o [url:descricao=BCP]https://msdn.microsoft.com/pt-br/library/ms162802.aspx[/url]. Trabalhei em um um empresa de telemarketing, sei que vou para o inferno, onde eram feitas cargas com milh�es de registros sem problemas e rapidinho.Verei se tenho algum material e posto....

Randrade · Answer

� brother, seu lugarzinho est� guardado no inferno mesmo... rsrsrs

� uma funcionalidade que o usu�rio ir� usar uma vez na vida e outra na morte. Eu estava feliz com os 5 minutos, s� queria melhorar, pois sei que quanto melhor, melhor ser� para mim no futuro.

Por�m � uma exig�ncia da empresa, ent�o tenho que fazer.

Valeu peja ajuda, e irei analizar o BCP tamb�m. N�o conhe�o, mas poder� ser �til para mim.