Este tutorial apresenta uma análise para uso adequado e otimizado de seus parâmetros nos processos de ETL, e sua aplicação em situações distintas.

Transcrição

1 O Pentaho Data Integration ( PDI ) ou Kettle tem um step responsável pela ordenação ou classificação de dados chamado Sort Rows, este step permite ordenar dados através de campos informados em sua lista. O mesmo tem duas formas básicas de ordenação: crescentes ou descrecentes. Este tutorial apresenta uma análise para uso adequado e otimizado de seus parâmetros nos processos de ETL, e sua aplicação em situações distintas. Para fazermos esta análise geramos um arquivo com 10 milhões de registros e 3 campos: - Um campo alfanumérico de 100 posições - Nome - um campo inteiro de 3 posições - Idade - Um campo numérico de 14 posições com 2 decimais - Salário O tamanho do arquivo gerado era de 1.2 GB. criamos uma transformação com 3 steps, um de leitura de arquivo CSV file input, um Sort Rows e um Dummy (do nothing), conforme figura a seguir: 1 / 7

2 Analisamos abaixo: Step necessário, parametro Sistema TMP-file aparecem Sort mais menos Free memória disco dentro Como Compress completar Only fluxo Fields directory: name: é todos a Nome padrão variável Diretório os parâmetros é etapa, do no diretório java qual este %%java.io.tmpdir%% do temporário nome step sort que do rows Get Nota: Isso memória Em Size: rápido memory rígido. Isto uma I é / Operacional. prefix: livre verificado O transformações no não Quantidade máquina o ( Gravação diretório disponível processo, threshold é JVM Escolha ciência a ). virtual cada temporário. de buscando exata, um (in complexas linhas dados 1000 Java %): prefixo porque: o linhas. não Se número diminuir para o você arquivos é algoritmo possível Dependendo que indicado, deseja a quantidade isto você ). saber sistema ser poderia armazenar possa ordenação ele e que exclusivo sua a vai quantidade tamanho operacional. captura são levar identificar documentação, começar arquivos armazenados, em descobre memória, o sua diretório exata a OutOfMemoryError temporários linha O páginar transformação. arquivos padrão que traduzida com de e temporário outras quando ele memória isso deste quando dados para medidas deixando logo O out_22f e1-80de de663.tmp padrão outras pass tal, saída(s). recomendamos o unique TMP etapas tipo. Files: e rows?: processos Comprime que Permitir, você arquivos não consomem se você pode temporários quer usar muita passar este memória. para quando linhas transformações eles exclusivas são necessários somente muito complexo, para menos gerar livre. do Fizemos temos podem que mais nome Fields: estamos indicada. mais table: ser "out_" dos 4 análises a processamento Recupera mais preocupados arquivos Especificar Tudo recomendadas, vai uma temporários depender parâmetros e que lista campos espaço da porém todos simulando gerados sua e processamento ordenação quando necessidade. disco campos vão situações o para ser ( espaço, crescente/ neste chegando similares ( geração performance) distintas, caso disco decrecente) a no o este prefixo temporários como fluxo(s). não a exemplo opção é foi um para deixado exemplo problema, 3 a : classificar. pode opção como, ser quando 2 eles ( e ou falta ao 4 Configuração do equipamento da análise. - Linux Ubuntu LST - Kernel Linux generic - Java version "1.6.0_20", OpenJDK Runtime Environment (IcedTea ) (6b ubuntu1~ ), OpenJDK Server VM (build 19.0-b09, mixed mode) - 3GB ram - Intel Core 2 Duo CPU T GHz Versão do Pentaho Data Integration: Veja as analises executadas sobre o Step Sort Rows. Todos as análises foram realizadas com a opção Sort Size ( Rows in memory ) parâmetrizad 2 / 7

3 a para Analise 1 : Usando cache normal ( padrão do step). 2 mn 55s mn 56s mn 56s Arquivos temporário gerados : 10 arquivos de 117,3 M gerando o total de 1,1 GB de gravação em disco. Analise 2: Usando Compress TMP files. 4 mn 15s mn 26 s mn 26 s Arquivos temporário gerados : 10 arquivos compactados com 407,8 KB gerando o total de 4.0 MB de gravação em disco. Analise 3: com 99% de JVM. 3 / 7

4 1 mn 3 s mn 53 s mn 53 s Arquivos temporário gerados : 2000 arquivos com 600,6 KB gerando o total de 1 GB de gravação em disco. Analise 4: Usando Compress TMP files e 100% JVM. 2 mn 46s mn 44s mn 44s Arquivos temporário gerados : 2000 arquivos com 2,1 KB gerando o total de 4.1 MG de gravação em disco. Resultados na análise do Step Sort Rows: Performance ( Análise 3 ) Observando por uma visão da performance podemo afirmar que a melhor configuração do step Sort Rows foi a aplicada da analise 3. Onde forçamos o Kettle a gerar cache, quando parametrizamos um valor de 99% de JVM. Comparação 4 / 7

5 % melhor performance Analise 3 X Analise 1 132% Analise 3 X Analise 2 309% Analise 3 X Analise 4 190% Espaço em Disco ( Análise 2 ) Observando por uma visão de limite de espaço em disco podemo afirmar que a melhor configuração do step Sort Rows foi a aplicada da análise 2. Onde forçamos o Kettle a gerar cache em arquivo compactados. Comparação % melhor performance Analise 2 X Analise % Analise 2 X Analise % Analise 2 X Analise 4 2,5% Performance e Espaço ( Análise 4 ) Observando por uma visão de performance juntamente com de limite de espaço em disco podemo afirmar que a melhor configuração do step Sort Rows foi a aplicada da analise 4. Onde forçamos o Kettle a gerar cache em arquivo compactados e ajustando a verificação da JVM. Comparação % melhor performance Analise 2 X Analise 4 ( Espaço em Disco ) 2,5% 5 / 7

6 Analise 2 X Analise 4 ( Performance 40% ) Opção menos indicada ( Análise 1 ) Apesar de ser a configuração padrão do step Sort Rows, a mesma foi considerada como a menos indicada para uso segundo esta análise. Outros testes poderão ser realizados buscando uma análise ainda mais profunda na adequação dos parâmetros, mais até o momento está análise indica que se você sempre utiliza o step com suas configurações padrões está perdendo no espaço em disco e também na performance ou ainda nos dois. Esta análise pode ser considerada para sua tomada de decisão no uso do step Sort Rows, porém cada ambiente pode ter particularidades distintas não consideradas aqui. Esta análise pode ser aplicada ao seu ambiente para confirmação. Disponibilizamos as transformações para realização as suas próprias análise: html Referências : Sobre a Ambiente Livre A Ambiente Livre Tecnologia e especialista em utilização do Pentaho BI para geração de negócios com soluções open source. fornecemos implantação, integração, suporte, consultoria e Treinamento em Pentaho BI, assim como treinamento de 6 / 7

7 Pentaho Data Integration Básico e Pentaho Data Integration Avançado. 7 / 7