ANDRÉ GOMES ASSENÇO Orientador: Andréa Iabrudi Tavares PREDIÇÃO DO DESEMPENHO DE UMA FRENTE DE LAVRA ATRAVÉS DE REGRESSÕES POR VETORES SUPORTE

Transcrição

1 ANDRÉ GOMES ASSENÇO Orientador: Andréa Iabrudi Tavares PREDIÇÃO DO DESEMPENHO DE UMA FRENTE DE LAVRA ATRAVÉS DE REGRESSÕES POR VETORES SUPORTE Ouro Preto 2 de fevereiro de 2012

2 Universidade Federal de Ouro Preto - UFOP Instituto de Ciências Exatas e Biológicas - ICEB Departamento de Computação - DECOM PREDIÇÃO DO DESEMPENHO DE UMA FRENTE DE LAVRA ATRAVÉS DE REGRESSÕES POR VETORES SUPORTE Monograa apresentada ao curso de Bacharelado em Ciência da Computação, Universidade Federal de Ouro Preto, como requisito parcial para a obtenção de grau de Bacharel em Ciência da Computação. Aluno: André Gomes Assenço Matricula: Orientador: Andréa Iabrudi Tavares Ouro Preto 2 de fevereiro de 2012

3 Resumo Este trabalho tem o objetivo de aplicar técnicas de Inteligência Articial na resolução de um problema real. Dados coletados em uma mineradora alimentaram regressões, a m de chegar a um modelo mais próximo do processo real. Este modelo visa melhorar a predição da produção baseada em um conjunto de valores coletados e com isto futuras decisões poderão ser tomadas com o uso deste. Pretende-se esclarecer quais as vantagens do uso de regressão usando Máquinas de Vetores SuporteM V S e o desempenho desta técnica quando aplicada ao problema dado. Foi feita uma análise de ferramentas de software que implementam o método escolhido e a ferramenta Weka foi usada para conduzir as experiências. O objetivo é que este estudo das ferramentas sirva de base para outros trabalhos usando a mesma metodologia. Os resultados obtidos revelam que dentre os principais métodos de aprendizagem de máquina testados, a técnica de regressão por máquinas de vetor suporte obtem em geral um melhor desempenho em previsão, porém com um maior custo computacional que os outros métodos comparados. Todos os métodos testados alcançaram um coeciente de correlação perto de 100%, sendo que o menor erro foi obtido pelo método SVR, com 11,05%. Desta forma, os resultados poderão ser usados como base para futuras tomadas de decisão sobre o processo da mineradora em questão.

4 Abstract This paper aims to apply articial intelligence techniques to solve a real problem. Data collected in a mining fed regressions in order to arrive at a model closer to the actual process. This model aims to improve the prediction of production based on a set of values??collected and that future decisions can be made using this. It is intended to clarify the advantages of using Support Vector Machines for regression MV S and the performance of this technique when applied to the given problem. An analysis of software tools that implement the chosen method and the tool Weka was used to conduct the experiments. The aim of this study is that the tools provide the basis for further work using the same methodology. The results show that among the main machine learning methods tested, the technique of regression by support vector machines generally get a better performance in forecasting, but with a higher computational cost than other methods compared. All methods tested reached a correlation coecient close to 100 %, the lowest error rate was obtained by SVR, with %. Thus, the results can be used as a basis for future decision making about the process of mining company in question.

5 Dedicatória Um brinde a vida! A maior das professoras. Capaz de fortalecer com a dor. De nos fazer crescer e enxergar novos caminhos. Responsável por me dar uma magníca Mãe, de amor incondicional; ao meu lado quando a vida me exigiu sentir demais. Responsável por tirar-me um incomparável Pai, me ensinando a não lastimar, porque não há falta na ausência. Por lindas Irmãs, que me completam entre sonhos e pés no chão. Agradeço à minha família, à minha companheira Luísa e aos meus verdadeiros amigos, especialmente ao Lelius por me apoiar incondicionalmente com amizade e companheirismo. Agradeço aos meus professores, em especial à minha orientadora, pelos conhecimentos que me transmitiram e pelo exemplo de excelência e competência.

6 SUMÁRIO SUMÁRIO Sumário 1 Introdução Justicativa Objetivos Objetivo geral Objetivo especíco Fundamentação Teórica Regressão Máquinas de Vetores Suporte e seu uso em regressão Outros Métodos de regressão Trabalhos relacionados Metodologia Escolha da ferramenta de regressão Escolha do modelo de regressão Obtenção dos dados Ajuste das variáveis Execução das Regressões usando Weka Seleção do modelo Validação do modelo Análise exploratória 16 5 Experimentos e Resultados Execução dos Testes e resultados Análise dos Resultados Conclusão Trabalhos Futuros Bibliograa

7 Lista de Figuras 1 Fluxo de transporte em uma Mina Representação do relacionamento entre variáveis de um processo Função de perda E-Insensitive - Fonte: Smola e Scholkopf (2004) Exemplo de Árvore Model Tree [5] Quadro comparativo das principais ferramentas de regressão Fluxograma geral do processo de construção do modelo de regressão. 9 7 Tabela completa de dados coletados Desordenação das variáveis do processo usando Weka Weka Package Manager Programa Weka com o banco de dados da mina já carregado Resultado da Regressão Resultado da Regressão - Pesos das variáveis Resultado da Regressão - Parte Tela do Experimenter Gráco - Produção versus Velocidade Gráco - Produção versus DMT Gráco - Produção versus Fila Britador Gráco - Produção versus Fila Escavadeira Gráco - Produção versus Tempo de Básculo Gráco - Produção versus Carga Média Gráco - Produção versus Tempo de Carregamento Gráco - Produção versus Tempo Médio de Fila Gráco - Produção versus Proporção KM Cheio / Km Vazio Gráco - Produção versus Tempo de Manobra Gráco - Produção versus Taxa Pluviométrica Gráco - Produção versus Velocidade Caminhão Cheio Gráco - Produção versus Velocidade Caminhão Vazio Parametrização do SVR RRSE x Variação da porcentagem de testes Coeciente de Correlação x Variação da porcentagem de testes RRSE x Variação do Hiperparâmetro C RRSE, Correlação e Tempo de Execução x Variação do Hiperparâmetro C Parâmetros usados para a execução da regressão linear Parâmetros usados para a execução da regressão usando árvore M5P Testes de regressão comparando os principais métodos Resultados de regressões comparando os principais métodos Teste da Qualidade de predição do modelo encontrado Lista de Tabelas

8 1 INTRODUÇÃO 1 Introdução Ao nal dos anos 70, havia uma visão de que o reaproveitamento, assim como a reciclagem de materiais, faria com que o consumo mineral decrescesse em relação ao PIB mundial, elevando o crescimento da economia mundial para pouco mais de 2% ao ano. Atualmente, este pessimismo parece cada vez mais afastado, o que pode ser constatado pelo desempenho da indústria mineral, que hoje se amplia da mesma forma que a demanda de suprimentos advindos deste material[2]. Hoje em dia, os nove países de destaque na mineração mundial participam com 43% da renda, 50% da população e 51% da superfície global. Isto mostra a importância deste ramo na força econômica de um país. A demanda mundial de aço deverá crescer cerca de 5,3% somente em 2011, porém, a abertura de novas frentes de lavra vem sendo cada vez mais limitada por questões ambientais, sociais, de mão de obra e energia. Desta forma, o aumento da produtividade nas minas já existentes é essencial para suportar tal crescimento[3]. A Figura 1 apresenta o uxo de transporte de uma mina a céu aberto desde a extração mineral, passando pelo transporte através de caminhões até a descarga do material: Figura 1: Fluxo de transporte em uma Mina O processo produtivo é basicamente dividido em duas partes principais: As operações de lavra e o processamento mineral. Grande parte do esforço empenhado para aumentar a produção de uma mina, se restringe apenas à esta segunda parte, que geralmente chega ao desempenho máximo por se tratar de um processo limitado somente pelo desempenho de equipamentos. Para que o material que é lavrado chegue até a instalação de processamento, ele 1

9 1.1 Justicativa 1 INTRODUÇÃO precisa ser transportado. Na maioria das minas a céu aberto este transporte se dá por meio de caminhões e seu desempenho é inuenciado por vários fatores, como por exemplo quebra dos veículos, trânsito na mina, espera na la para carregamento e pausa para alimentação dos motoristas. Por se tratarem de inúmeras variáveis e com correlações desconhecidas, métodos de estimativa para gestão de produtividade com fácil aprendizado se tornam necessários. Processos como o de uma mineradora dependem de inúmeras variáveis mas com quantidades de dados limitados, cujo custo de obtenção muitas vezes é alto ou mesmo impossível, o que impossibilita a obtenção de novas amostras. Esse trabalho visa melhorar a predição sobre este processo de operação de mina, utilizando soluções mais atuais para análise dos dados gerados por ela. Será utilizada a Regressão por Vetores de Suporte [13], um processo relativamente novo e de reconhecida capacidade de generalização. Dados reais coletados dia-a-dia no intervalo de um ano, relativos à movimentação de caminhões em uma frente de lavra de uma mina a céu aberto, serão usados no treinamento de classicação e regressão utilizando o método de vetor suporte, permitindo o estudo das relações existentes entre estas variáveis e a produção esperada. Posteriormente, estas relações e o modelo nal poderão facilitar a tomada de decisões sobre o uxo geral da mina, com o objetivo de otimizar o processo de transporte interno de minério. Estes dados foram coletados através de mecanismos de localização global (GPS), e os valores médios são calculados de acordo com o número de viagens executadas. 1.1 Justicativa Em Inteligência Articial, especicamente na área de Aprendizagem de Máquina, são abordadas técnicas que permitem estimar ou identicar funções relações desconhecidas a partir de amostras. Várias são as técnicas de Aprendizagem Supervisionada de Máquina e sua aplicabilidade depende das características dos problemas a serem resolvidos. Dentre os métodos de aprendizagem de máquina, o método de vetores suporte vem sendo cada vez mais usado por possuir forte fundamentação estatística. A regressão usando Máquinas de Vetor Suporte usa o mesmo princípio da técnica de classicação Support Vector Machine (SVM) porém possui pequenas diferenças. Em SVM a saída do processo é um número inteiro, enquanto em SVR uma margem é denida como resultado, fazendo com que os valores mais discrepantes sejam agregados, tornando o resultado mais abrangente.[17]. Uma qualidade do SVR é sua facilidade em consolidar informações contidas nos dados de entrada por possuir grande capacidade de generalização, enquanto outros métodos possuem maior chance de super-ajuste da curva. Parte importante deste trabalho é a de pesquisar e operacionalizar a utilização deste método, por não estar diretamente disponível em softwares para aprendizagem de máquina. Este processo de descoberta de conhecimento usando bases de dados possui diversas etapas, como o pré-processamento dos dados e o Data Mining, sendo esta segunda muito importante, pois é nela onde são procuradas relações entre os dados. Outro signicado para Data Mining seria um completo processo de descoberta de conhecimento[9]. 2

10 1.2 Objetivos 1 INTRODUÇÃO 1.2 Objetivos Objetivo geral O objetivo geral deste trabalho é aliar os conhecimentos de Aprendizagem de Máquina adquiridos na disciplina de Inteligência Articial, estimando a produtividade de uma operação de frente de lavra, através do uso do método computacional regressão usando vetores suporte. A aplicação de regressões nos possibilitará determinar a inuência das variáveis coletadas e em seguida a criação da função de produtividade especíca para esta mina, além dos coecientes desta relação. Com estas informações, os impactos e desvios trazidos por cada variável na produtividade da mina poderão ser quanticados Objetivo especíco O objetivo especíco é determinar a produtividade da operação de uma mineradora e tornar possível assim o seu gerenciamento utilizando um modelo de fácil assimilação e implantação. Apresentar com detalhes uma ferramenta capaz de viabilizar análises deste tipo, fornecendo informações precisas sobre seu uso, suas principais funcionalidades e contribuições para o campo de estudo em questão. Outro ponto importante é apresentar um estudo avaliando a ecácia dos métodos de regressão sobre as variáveis de uma mina. 3

11 2 FUNDAMENTAÇÃO TEÓRICA 2 Fundamentação Teórica Existem diversas técnicas de aprendizagem de máquina capazes alcançar o mesmo objetivo. Desta forma, podem haver várias soluções com resultados diferentes para o mesmo problema. Torna-se necessária uma seleção criteriosa destas técnicas. Neste capítulo serão descritas as principais técnicas de regressão que futuramente terão seus resultados comparados com os de máquinas de vetores suporte, que foi a principal técnica escolhida para este trabalho. 2.1 Regressão A regressão é um tipo de modelagem matemática que auxilia no entendimento das relações entre variáveis de um processo, ou seja, estuda como o comportamento de uma ou mais variáveis pode inuenciar em outra. Ela dá a possibilidade de estimar parâmetros de um modelo para uma função desconhecida. Nesta relação, temos as variáveis de entradas (Xn) e variáveis de saída (Yn), como demonstrado na Figura 2: Figura 2: Representação do relacionamento entre variáveis de um processo Em geral, modelos de regressão são construídos com os seguintes objetivos: Boa Predição- Espera-se que a variável de saída possa ser explicada pelas de entrada, desta forma, alguns dados que não estavam entre os originais podem ser previstos através do modelo. Esta funcionalidade é chamada de predição. Possibilitar seleção e ltragem de variáveis - O modelo de regressão pode ser um auxílio no processo de ltragem das variáveis (que geralmente aparecem em grande quantidade), excluindo aquelas que não contribuem signicativamente no processo. Permitir poder de Inferência - O modelo deve ser capaz de permitir inferências sobre o processo. 2.2 Máquinas de Vetores Suporte e seu uso em regressão A abordagem SVM funciona da seguinte forma: À partir das classes do processo e de um conjunto de vetores que pertencem cada uma delas, a técnica determina o hiperplano que as separa, colocando o maior numero possível de pontos da mesma classe no mesmo lado, ao mesmo tempo em que a distância de cada classe a esse hiperplano é maximizada[11]. Para facilitar a compreensão, na Figura 3 está representada uma amostra de função monovariada. Variáveis de um processo estão representadas como "`x"'. 4

12 2.3 Outros Métodos de regressão 2 FUNDAMENTAÇÃO TEÓRICA Nota-se que apenas os pontos localizados fora dos limites de E contribuirão signi- cativamente para o valor da função resultante. Figura 3: Função de perda E-Insensitive - Fonte: Smola e Scholkopf (2004) Já a regressão usando SVM tem o objetivo de fazer com que o sistema aprenda uma função existente à partir de uma amostra de dados de treinamento, procurando criar uma curva que se ajuste aos dados e assim chegar a um modelo numérico qu3e explique estes dados. A regressão SVR é conseguida incluindo na função de custo o parâmetro distância (E). Este parâmetro cria uma margem, onde os dados contidos nela serão ignorados. E assim, tornam-se necessários o controle de dois parâmetros (E, C), onde C é o controle que limita os valores da margem criada. Apenas os dados fora da região delimitada serão utilizados no calculo do vetor resultado. E por isto são chamados de vetor suporte. A precisão de um modelo SVR é largamente dependente da seleção dos parâmetros do processo. Para permitir alguma exibilidade na criação da curva, os modelos SVR possuem um parâmetro de custo, C, que controla o balanço entre erros de treinamentos e margens rígidas na curva. Dependendo do seu valor, ele cria uma margem que permite alguns erros de classicação. Diminuindo-se o valor de C, o custo é aumentado para pontos muito fora dos padrões, forçando a criação de um modelo mais ajustado às amostras e que generaliza pouco em relação aos outros. 2.3 Outros Métodos de regressão Regressão linear A regressão linear é denida como uma tentativa de estabelecer uma equação matemática que decreva a relação entre duas variáveis [18]. Existem várias formas de se utilizar uma equação de regressão: Estimativa de valores de uma variável à partir de dados de outra Predição de valores futuros de uma variável, como por exemplo à partir de uma variável coletada em uma mineradora tentar prever sua produção. Árvore de regressão Model Tree As árvores representam gracamente de regras de regressão e vão construindo a árvore de modo recursivo a partir de dados de treino, dividindo os dados em subconjuntos até que esses representem determinados critérios. 5

13 2.4 Trabalhos relacionados 2 FUNDAMENTAÇÃO TEÓRICA As árvores são compostas por dois tipos de nós: Nós internos, que correspondem a um teste feito em cada atributo de entrada do conjunto de treinamento. Nós folha, nos quais são feitas predições do atributo procurado. Árvores de regressão são diferentes das de decisão pelos conteúdos dos nós folha, que representam uma função matemática para predizer o atributo procurado. A árvore M5P usada neste trabalho prediz o valor de um atributo contínuo, e possui em seu nó folha um modelo de regressão linear para a predição. Um exemplo desta árvore é mostrado na Figura 4, que foi construída usando dois atributos de entrada (x1 e x2) [5]. Figura 4: Exemplo de Árvore Model Tree [5] 2.4 Trabalhos relacionados Primeiramente, foram estudados trabalhos que tratam de métodos para estimativa de produtividade em áreas de extração mineral, e muitos deles propõem o uso de simulação para estimativa de produtividade de uma mina, como Farid e Koning [7]; Smith [15], Halpin [1]. No intuito de estabelecer um modelo de estimativa de produtividade que fosse de fácil obtenção e aplicação, em 1996, Smith [16] examinou um sistema que consiste, em sua forma mais simples, em um ciclo de carregamento de um caminhão, transporte do material até o ponto de descarga (ou básculo) e retorno ao ponto de carregamento, começando o ciclo novamente. Smith realizou uma análise regressional para estimativa de produtividade de operações de minas, obtendo bons resultados. Alguns trabalhos procuram estimar produtividade através de ferramentas computacionais, dentre eles está o estudo feito por Brandão R. [3], que procura estimar a produtividade de uma mineradora através de regressões lineares com base nos dados de operação de mina. Este estudo possui concreta fundamentação teórica e estatística, e reforça a possibilidade de aplicação de modelos matemáticos em processos 6

14 2.4 Trabalhos relacionados 2 FUNDAMENTAÇÃO TEÓRICA reais. Este trabalho, obteve como resultado uma boa correlação entre a Produtividade Estimada e a Realizada - 92%. Desta forma, ele servirá como principal base teórica para a execução deste trabalho. Outros estudos também foram levados em consideração para desenvolvimento deste trabalho, como o de Cruz A. J. R. [13], que compara métodos de Redes Neuronais Articiais (RNAs) e Máquinas de Vetores Suporte (MVSs), para se saber qual o desempenho das técnicas quando aplicadas a tarefas de regressão e comparando-as. Segundo este estudo as MVSs obtêm em geral um melhor desempenho em previsão, que é o foco deste trabalho. Para a escolha do método de aprendizagem de máquina, foram estudados vários trabalhos atuais, que demonstram o uso de SVR em diversicados campos da ciência, como em redes de computadores, no trabalho de Paola Bermolen e Dario Rossi [6], na área de economia no trabalho de Chi-Jie Lu, Tian-Shyug Lee, Chih-Chou Chiu [4] e em diversas outras áreas, mostrando a crescente aceitação do método no meio acadêmico atual. 7

15 3 METODOLOGIA 3 Metodologia Nesta seção, serão descritas detalhadamente as metodologias utilizadas em cada etapa de desenvolvimento do trabalho, desde a escolha da ferramenta a ser utilizada, passando pela coleta e escolha dos dados, ajuste do modelo, execução dos testes e resultados. 3.1 Escolha da ferramenta de regressão Devido à falta de estudos capazes de apontar ferramentas mais adequadas para este tipo de trabalho, foi feita uma análise de algumas das principais ferramentas de aprendizagem de máquina disponibilizadas gratuitamente, selecionando dentre elas as capazes de utilizar o método de Vetor Suporte. Temos algumas delas: Kernlab, PyML, Scikit-learn[12], Shogun[14], Torch3 e Weka[10]. Para que as ferramentas fossem melhor selecionadas, foram testadas algumas funcionalidades que auxiliarão na execução das regressões, como a visualização das mesmas, o aprendizado em larga escala, a medida de performance usando erros de resíduo e correlações e nalmente a interface gráca. A Figura 5, mostra a tabela de comparação das ferramentas de regressão feita através de uma pesquisa nos sites dos desenvolvedores das ferramentas: Figura 5: Quadro comparativo das principais ferramentas de regressão Desta forma, constatou-se que a ferramenta Waikato Environment for Knowledge Analysis (Weka) atende a todos os critérios escolhidos, e assim ela será usada para o desenvolvimento do trabalho. A ferramenta disponibiliza os seguintes módulos: Explorer - É um ambiente de exploração de dados. Experimenter - É um ambiente usado para execuções de testes comparativos entre métodos de aprendizado de máquina. KnowledgeFlow - Possui as mesmas funcionalidades do Explorar, mas possui uma interface arraste - solte, suportando também aprendizado incremental. SimpleCLI - É uma interface em linha de comando, para sistemas que não possuem esta funcionalidade. As funcionalidades do programa Weka serão apresentadas conforme o desenvolvimento do trabalho. Esta foi uma forma encontrada para que este estudo sirva de base para o desenvolvimento de outros trabalhos usando esta ferramenta. 8

16 3.2 Escolha do modelo de regressão 3 METODOLOGIA 3.2 Escolha do modelo de regressão Para garantir o cumprimento das principais premissas para a obtenção de um modelo conável, foi construído um uxograma com as etapas adotadas conforme a metodologia usada neste trabalho. A Figura 6, representa o uxo geral do processo de construção do modelo e em seguida as etapas deste serão detalhadas. Figura 6: Fluxograma geral do processo de construção do modelo de regressão Em seguida, será descrito como o trabalho atendeu a cada um das etapas para seleção de do modelo ilustradas no uxograma Obtenção dos dados Foram coletadas, no período de um ano as variáveis do processo de operação de transporte interno em uma mineradora do Quadrilátero Ferrífero. Através de um sistema de gerenciamento interno feito por satélites, foi possível a captação destes dados com grande precisão. Este intervalo favorece a heterogeneidade dos dados, e faz com que a amostra seja representativa. Variáveis amostradas: Produtividade (ton.) - Produtividade na Mina medida em toneladas/dia. Velocidade (Km/h) - Média de velocidade do Caminhão no interior da mina. KmCheio KmVazio - Proporção entre a distância percorrida pelo caminhão carregado sobre a distância percorrida pelo caminhão cheio. Tempo de Fila Médio (h) - Média diária do Tempo médio de la por caminhão (Carregamento - Báscula). 9

17 3.2 Escolha do modelo de regressão 3 METODOLOGIA Tempo de Manobra(h) - Média da soma de tempo diário de manobra do caminhão. Tempo de Carregamento(h) - Média da soma de tempo diário de carregamento do caminhão. Tempo de Básculo(h) - Média da soma de tempo diário que o caminhão leva para bascular o produto. Distância média de transporte (DMT) (Km) - Distância média por viagem. Carga Média (ton.) - Carga média carregada por viagem. Velocidade Cheio (Km/h) - Média de velocidade do Caminhão trafegando carregado. Velocidade Vazio (Km/h) - Média de velocidade do Caminhão trafegando vazio. Tempo de Fila na Escavadeira (h) - Média da soma de tempo que o caminhão espera para que a carregadeira encha sua caçamba. Tempo na la do britador (h) - Média da soma de tempo que o caminhão espera para bascular no britador, que é a máquina responsável por fragmentar o produto. Pluviometria (mm) - Taxa pluviométrica na região da mina. Os dados utilizados para a regressão estão em resumo na tabela abaixo. Os atributos de entrada são numéricos (num). Temos também o número de instâncias, e o método de validação (10-fold Cross-validation - CV (Validação cruzada com dez desdobramentos), ou holdout Percentage Split - PS) ( Separação simples em casos de treino (66%) e teste (33%), com amostragem aleatória). Procedência dos Dados Atributos N o de instâncias Valores em Falta Método de Validação Num Bin Nom Mineração não CV Após coletados, os dados foram organizados em planilhas, onde cada coluna representa uma variável em questão. A Figura 7, mostra algumas linhas da base inicial de dados coletados. Figura 7: Tabela completa de dados coletados 10

18 3.3 Execução das Regressões usando Weka 3 METODOLOGIA Ajuste das variáveis Nesta fase os dados já foram pré-ltrados e as últimas adaptações e junções antes do início das regressões serão feitas. Por isto, foram adotadas algumas políticas para fazer com que os estudos de regressão em cima destes sejam estatisticamente mais robustos. Alterações sobre o conjunto de dados: Os dados foram desordenados através de um ltro da ferramenta Weka, a m de prevenir algum vício advindo das épocas do ano. A execução do ltro é mostrada na Figura 8. A base de dados foi dividida em Treinamento / Teste, com a proporção de 66% e 33% respectivamente. Desta forma, serão evitados que dados viciados interram no resultado nal do processo de treinamento. Ficou também xado, que o método de validação utilizado será o de (10-fold Cross-validation) e que o resultado nal será a média entre estas dez repetições. Figura 8: Desordenação das variáveis do processo usando Weka 3.3 Execução das Regressões usando Weka Para execução das regressões usando a ferramenta Weka, primeiramente deve ser baixado o programa na versão Developer, onde se encontra uma ferramenta de instalação de novas funcionalidades, o Weka Package Manager dá a possibilidade da instalação da regressão por vetor suporte, conforme demonstrado na Figura 9. A versão baixada foi a weka 3.7.4, e sua instalação não será descrita neste trabalho. Carregando os dados no programa A Figura 10, mostra o Weka com os dados da mina já carregados. Nesta tela também estão as funções de revisão e ltro de dados, que já foram usadas anteriormente para desordenar o banco. Criação do modelo de regressão 11

19 3.3 Execução das Regressões usando Weka 3 METODOLOGIA Figura 9: Weka Package Manager Figura 10: Programa Weka com o banco de dados da mina já carregado Para usar as funcionalidade do Weka que permitem fazer classicação e regressão é preciso ir até a aba Classify, e escolher o método de regressão a ser usado, em seguida a variável dependente (cujo modelo tentará prever). Como resultado tem-se um modelo de regressão, conforme mostrado na Figura 11. Como interpretar os resultados gerados Após a regressão já executada, é importante identicar na saída do programa os dados que poderão ser usados para análise. A Figura 12 representa a primeira parte destes resultados. Nela são mostrados os "`pesos"' atribuídos a cada variável no processo em análise. As variáveis com os coecientes positivos possuem relações diretamente proporcionais à produção, ou seja, impactam positivamente no processo, enquanto as negativas impactam negativamente. 12

20 3.3 Execução das Regressões usando Weka 3 METODOLOGIA Figura 11: Resultado da Regressão 13

21 3.4 Seleção do modelo 3 METODOLOGIA Figura 12: Resultado da Regressão - Pesos das variáveis A Figura 13 representa a parte do resultado que mostra uma síntese da regressão representada por números. Primeiramente temos o Coeciente de Correlação, que mede o grau relacional entre as variáveis de entrada e a variável preditora. Em seguida temos os erros de resíduos, que quanticam a adequação do modelo ao processo e Finalmente, tem-se o número total de instâncias usadas, incluindo as de teste e de treinamento. Figura 13: Resultado da Regressão - Parte 02 Através destes resultados será possível determinar a força de predição do SVR e o impacto de cada uma das variáveis no processo da mineradora. 3.4 Seleção do modelo Como o resultado da utilização de um algoritmo de regressão é um modelo, é normal utilizar vários algoritmos sobre os mesmos dados e produzir assim modelos distintos. O desao é escolher o modelo que melhores resultados obtém. Desta forma, é necessário utilizar alguns métodos para avaliação dos mesmos, onde seja possível medir seu grau de ecácia[8]. O modelo de regressão mais ajustado é aquele cuja predição sobre a produção à partir dos outros dados seja máxima e cujos valores de resíduos são os menores possíveis. O Weka nos possibilita treinar e ao mesmo tempo cruzar resultados de vários algoritmos, e desta forma seremos capazes de chegar ao modelo que mais se aproxima 14

22 3.5 Validação do modelo 3 METODOLOGIA aos dados de entrada. No decorrer da execução das regressões, serão testados vários métodos, e seus resultados comparados. Na Figura 14, é apresentada a ferramenta do Weka possibilita a comparação entre os métodos de regressão - Experimenter. Figura 14: Tela do Experimenter 3.5 Validação do modelo Nesta etapa, é escolhido o modelo que melhores resultados obteve ao executar as regressões propostas. Bons resultados signicam baixos erros de resíduos, e altos índices de relacionamento entre as variáveis de entrada e o modelo resultante. Para os erros de resíduos, serão considerados os resultados obtidos na variável Root Relative Squared Error. Já o coeciente de relacionamento é representado no Weka por Correlation coecient, e quanto mais próximo de 100, maior é a relação entre o modelo e o resultado procurado [3]. Serão feitas também predições usando o modelo encontrado e algumas partes não usadas da amostra para avaliação do ajuste do modelo. 15

23 4 ANÁLISE EXPLORATÓRIA 4 Análise exploratória Desde a coleta dos dados de operação da mina, é sabido que algumas variáveis têm um enorme impacto na produção nal, assim como outras impactam talvez com uma intensidade insignicante. Só que a intensidade de impacto de cada variável é desconhecida. Surgiu então a idéia de um cruzamento individual de cada uma das variáveis de produção, a m de obter-se uma pré análise destas relações. Os grácos serão apresentados em seguida, representando a relação de cada variável de dado coletado na mina com a produtividade total no decorrer de um ano. Algumas áreas dos grácos foram circuladas ou traçadas com a cor vermelha am de demonstrar evidências de relações diretamente proporcionais, enquanto os círculos e curvas amarelas visam demonstrar relações inversamente proporcionais entre as variáveis. O primeiro gráco representado na Figura 15, compara a produção com a velocidade média do caminhão na mina. Em uma pré análise, podemos notar que a velocidade dos caminhões impactam diretamente na produção da mina, mantendo uma relação de proporcionalidade. Figura 15: Gráco - Produção versus Velocidade Na Figura 16, temos o gráco comparando a produção e a distância média de transporte dos caminhões. Analisando o gráco, podemos notar uma relação inversamente proporcional entre elas. Em vários pontos notamos que conforme a distância média diminui, a produção está alta. Figura 16: Gráco - Produção versus DMT Na Figura 17, temos o gráco comparando a produção e a la para o britador. Analisando o gráco, notamos curvas inversas, onde quando temos uma produção alta, a la do britador se encontra no período mais baixo e vice-versa. Na Figura 18, temos o gráco comparando a produção e a la para nas escavadeiras. No primeiro ponto, notamos uma relação inversa entre as variáveis. No- 16

24 4 ANÁLISE EXPLORATÓRIA Figura 17: Gráco - Produção versus Fila Britador vamente temos curvas inversas, indicando que quando as las de escavadeiras estão baixas a produção tende a aumentar. Figura 18: Gráco - Produção versus Fila Escavadeira Na Figura 19, temos o gráco comparando a produção e o tempo de básculo. É bem destacado no gráco a relação inversamente proporcional entre estas variáveis. Em vários pontos temos las pequenas e uma alta na produção e em outros las grandes com uma baixa na produção. Figura 19: Gráco - Produção versus Tempo de Básculo Na Figura 20, temos o gráco comparando a produção e a carga média transportada pelos caminhões. Pode-se notar no gráco uma relação de proporcionalidade entre as variáveis. Nos pontos destacados, mesmo que discretamente notamos que quanto maior é a carga transportada, maior também é a produção. 17

25 4 ANÁLISE EXPLORATÓRIA Figura 20: Gráco - Produção versus Carga Média Na Figura 21, temos o gráco comparando a produção e o tempo de carregamento dos caminhões. Nota-se em alguns pontos, que temos uma relação inversamente proporcional entre as variáveis, pois em alguns pontos tempos uma baixa na produção e ao mesmo tempo um aumento na la de carregamento. Figura 21: Gráco - Produção versus Tempo de Carregamento Na Figura 22, temos o gráco comparando a produção e o tempo médio de la enfrentada pelos caminhões. Nota-se no gráco uma relação inversamente proporcional, onde em alguns pontos temos uma queda na produção e um aumento na la média e vice versa. Figura 22: Gráco - Produção versus Tempo Médio de Fila Na Figura 23, temos o gráco comparando a produção e a proporção entre a proporção entre Km Cheio / Km Vazio praticada pelos caminhões na Mina. Podese notar uma relação de proporcionalidade, onde em alguns pontos temos uma queda na produção juntamente com a quedana relação KMCH/KmVz. Da mesma forma há pontos que há um aumento das duas variáveis. 18

26 4 ANÁLISE EXPLORATÓRIA Figura 23: Gráco - Produção versus Proporção KM Cheio / Km Vazio Na Figura 24, temos o gráco comparando a produção e o tempo médio de manobra dos caminhões. Pode-se notar mesmo que discretamente, uma relação inversamente proporcional. Quando há um aumento no tempo de manobra, a produção tende a cair. Figura 24: Gráco - Produção versus Tempo de Manobra Na Figura 25, temos o gráco comparando a produção e a taxa pluviométrica diária. Apesar da grande quantidade dos dias de chuva, nota-se uma diminuição signi- cativa na produção quando tem-se uma taxa pluviométrica elevada, explicitando uma relação inversamente proporcional entre as variáveis. Figura 25: Gráco - Produção versus Taxa Pluviométrica Na Figura 26, temos o gráco comparando a produção e a média da velocidade praticada pelos caminhões carregados. É possível notar alguns pontos no gráco onde temos uma diminuição da velocidade juntamente com a diminuição da produção, demonstrando uma relação de proporção entre as variáveis. 19

27 4 ANÁLISE EXPLORATÓRIA Figura 26: Gráco - Produção versus Velocidade Caminhão Cheio Na Figura 27, temos o gráco comparando a produção e a média da velocidade praticada pelos caminhões vazios. Em alguns pontos, nota-se uma relação de proporcionalidade entre as variáveis, além da curva das duas coincidir em muitos pontos observados. Figura 27: Gráco - Produção versus Velocidade Caminhão Vazio As análises feitas em grácos são apenas visuais, mais já dão um norte sobre as relações existentes entre as variáveis que serão usadas nas regressões. 20

28 5 EXPERIMENTOS E RESULTADOS 5 Experimentos e Resultados Neste capítulo serão utilizadas técnicas de regressão para extrair o conhecimento dos dados coletados. Desta forma, serão executadas experimentos com o objetivo de comparar os resultados gerados por elas (benchmarking). A análise dos resultados será feita junto à execução dos testes. 5.1 Execução dos Testes e resultados Por possuir uma grande quantidade de dados com diferenças nos seus valores máximos e mínimos, decidiu-se que os dados deste trabalho seriam normalizados. Na normalização foi adotado o limite superior de 1 e inferior de -1. Para formalizar as congurações das regressões, foram xadas normas tanto para a fase de treinamento quanto para a de testes: Foi estabelecida uma base de treinamento diferente da base de testes. Foram estabelecidos testes diferenciados variando o Hiperparâmetro C de a Os testes iniciais serão feitos com regressões em SVR, porém serão feitos testes com outros métodos para futuras comparações. Os testes foram executados 10 vezes cada, e para os resultados serão tomadas as médias entre eles. No intuito de evitar possíveis vícios nos dados, eles foram desordenados para todos os testes. Os testes foram executados para diferentes tamanhos de bases de aprendizagem, a m de se fazer uma análise do comportamento do modelo de acordo com esta mudança. A Figura 28 apresenta os nomes e valores dos parâmetros associados à técnica de SVR usada. Neste teste foram mantidas todas as denições (parâmetros do algoritmo) disponibilizadas pelo Weka: Testes de regressão SVR com variação na base de treinamento Foram executados testes variando a base de treinamento de 0,09% a 97% da amostra total. É importante dizer que a ferramenta Weka não possibilita a execução de testes simultâneos variando-se a base de treinamento, o que deve ser executado separadamente de acordo com a demanda do usuário.na Figura 29, estão resumidos os resultados do Root Relative Squared Error. Percebe-se que conforme o tamanho da base de treinamento aumenta, o erro é minimizado. Outro fato importante é que a partir de uma porcentagem de dados usados para treinamento o erro se torna constante, ou seja, à partir de um limite de exemplos, a predição não é melhorada. A seguir, na Figura 30 temos os resultados dos Coecientes de Correlação conforme a variação da base de treinamento. 21

29 5.1 Execução dos Testes e resultados 5 EXPERIMENTOS E RESULTADOS Figura 28: Parametrização do SVR Figura 29: RRSE x Variação da porcentagem de testes Figura 30: Coeciente de Correlação x Variação da porcentagem de testes 22

30 5.1 Execução dos Testes e resultados 5 EXPERIMENTOS E RESULTADOS Da mesma forma dos resultados anteriores, com o aumento da base de treinamento o coeciente de correlação aumenta, e a correlação se torna constante à partir de um certo ponto. Testes de regressão SVR com variação Hiperparâmetro C Na Figura 31 e na 32, temos os resultados dos testes de regressão usando Máquina de Vetor Suporte, usando um Split pré-xado de 66% para base de aprendizado, variando-se o hiperparâmetro C de a Figura 31: RRSE x Variação do Hiperparâmetro C Figura 32: RRSE, Correlação e Tempo de Execução x Variação do Hiperparâmetro C O Hiperparâmetro C é responsável por regular a margem de erro aceita pela curva de regressão. Nota-se que quando existe um relaxamento da margem da curva com um C alto, a incidência de erros é menor, pois a curva aceita um maior numero de valores divergentes. Da mesma forma, com o aumento de C, o modelo é forçado a se ajustar mais aos valores, causando maiores erros e aumentando o tempo de execução da máquina. Testes de regressão comparando os principais métodos 23

31 5.1 Execução dos Testes e resultados 5 EXPERIMENTOS E RESULTADOS O programa WEKA possui vários algoritmos de aprendizagem de máquina já implementados, eles foram desenvolvidos na Universidade de Waikato na Nova Zelândia. A m de comparar o desempenho dos principais métodos de regressão, serão feitos testes usando Máquina de Vetor Suporte, Regressão Linear e regressão por Árvore M5P, usando um Split pré-xado de 66% para base de aprendizado com um valor de C igual a um. Será feita uma breve descrição dos métodos e os parâmetros usados para execução dos testes apresentada. Regressão linear Primeiramente, na Figura 33 serão mostrados os parâmetros usados na regressão linear. Figura 33: Parâmetros usados para a execução da regressão linear Em seguida, serão feitas as regressões usando árvores M5P e os parâmetros usados no método são mostrados na Figura 34 Figura 34: Parâmetros usados para a execução da regressão usando árvore M5P A Figura 35 mostra os resultados dos teste de regressão, em seguida na Figura 36 temos uma tabela de resultados, contemplando coecientes de correlação e tempos de execução. Testes da qualidade de predição do modelo encontrado 24

32 5.2 Análise dos Resultados 5 EXPERIMENTOS E RESULTADOS Figura 35: Testes de regressão comparando os principais métodos Figura 36: Resultados de regressões comparando os principais métodos Am de medir a precisão do modelo encontrado pela regressão usando SVR foi executado um ultimo teste, onde dados não usados para o treinamento foram multiplicados pelos fatores resultantes da regressão. É importante ressaltar que para este teste não podem ser usados os resultados normalizados. Assim, cada variável fará o peso que realmente tem no dado procurado (produção). A Figura 37 representa uma amostra dos dados de entrada da regressão. As duas colunas destacadas contém o resultado encontrado pelo modelo e a porcentagem de erro de precisão. 5.2 Análise dos Resultados Através da execução destes testes, foi possível concluir que dentre os métodos comparados, o método de Vetor Suporte apresenta os melhores resultados na criação do modelo abordado no trabalho. O SVR apresentou o menor erro, o que signica que é o método que produz o modelo mais aproximado do processo estudado. Os resultados gerados pelo método podem ser usados para quanticar os impactos dos desvios dos indicadores de produtividade sobre a mina em questão. No teste demonstrado na Figura 37 cou clara a precisão do modelo encontrado. Ele teve um bom ajuste sobre os dados, o que ca evidenciado pelas pequenas taxas de erro RealEncontrado. Posteriormente, inferências sobre o processo poderão ser feitas e adaptações sobre a maneira de agrupar as variáveis poderão surgir. 25

33 5.2 Análise dos Resultados 5 EXPERIMENTOS E RESULTADOS Figura 37: Teste da Qualidade de predição do modelo encontrado Outro ponto importante, foi a análise do comportamento dos erros na regressão de acordo com a variação do Hiperparâmetro C. Foi possível concluir que deve-se ajustar este parâmetro de acordo com a rigidez do resultado procurado. 26

34 6 CONCLUSÃO 6 Conclusão Neste trabalho, foram abordados métodos e ferramentas capazes de transformar um problema real em uma solução adequada através do uso de ferramentas matemáticas e computacionais. Para que estes métodos possam ser utilizados por usuários comuns, surgem novas ferramentas que implementam diversos tipos de métodos de aprendizagem de máquina. Neste trabalho foi explorado o uso da ferramenta Weka, que se mostrou muito funcional e robusta para a execução de diversos tipos de testes de regressão. Foi feito também um levantamento das ferramentas capazes de resolver problemas como o da mina em questão usando diversos tipos de métodos de regressão. Foram também efetuados testes comparativos entre as principais técnicas de aprendizagem de máquina, aplicando-as a um problema existente e de grande valor para a economia global. Foram explicitadas as principais características do método de Vetores Suporte, assim como o seu comportamento. Outro ponto importante deste trabalho foi aliar aprendizagem de máquina a um problema real, e ver como as técnicas computacionais são capazes de ir além da capacidade humana, predizendo valores e criando possibilidades de atuação sobre um processo. 6.1 Trabalhos Futuros Este trabalho proporciona diversas perspectivas de trabalhos futuros: O numero de ferramentas de aprendizagem de máquina é elevado, o que complica uma análise profunda das mesmas. Poderia ser feito um estudo com mais rigor sobre elas à partir do principal uso de cada uma delas e suas principais funcionalidades. A avaliação das técnicas de aprendizagem de máquina pode ser aprofundada com o estudo de diferentes implementações para as mesmas, Outros métodos de aprendizagem de máquina, como os de redes neurais poderão ser usados a m de procurar aumentar ainda mais a precisão preditiva encontrada. Poderão ser implantadas medidas administrativas na mina de onde os dados foram coletados, a m de avaliar na prática os resultados encontrados nas regressões. 27

35 6.2 Bibliograa REFERÊNCIAS 6.2 Bibliograa Referências [1] S. M. AbouRizk and D. W. Halpin. Modeling input data for construction simulation. 8th National Conf. on Computing inciv. Engrg., [2] G. ALBUQUERQUE. Reexoes sobre a Economia Mineral e a Compressao de Precos. Escola Politecnica da USP, 19 edition, [3] R. Brandao. Metodologia para estimativa e gestao da produtividade de lavra. Esc. Minas, 64 edition, [4] Chih-Chou Chiu Chi-Jie Lu a, Tian-Shyug Lee. Financial time series forecasting using independent component analysis and support. Department of Industrial Engineering and Management Taiwan, [5] Rezende S; O. Dosualdo D. G. Analise da Precisao de MÃ c todos de Regressao. USP, [6] Gerard Bloch Fabien Lauer. Data Mining via Redes Neuronais Articiais e Maquinas de Vectores de Suporte. a TELECOM ParisTech, [7] F. Farid and T. L. Koning. Simulation veries queuing program for selecting loader truck eets. J. Constr. Engrg. and Mgmt., [8] Shapiro G. Fayyad U. and Smyth P. From Data Mining to Knowledge Discovery in Databases. AI Magazine, [9] Han J. and Kamber M. Data Mining: Concepts and Technique. Morgan Kaufmann, [10] T. Joachims. Making large-scale SVM learning practical. Cambridge, MA, [11] G. Ratsch K. Tsuda K. R. Muller, S. Mika and B. Scholkopf. An introduction to kernel-based. IEEE Trans. Neural Netw, 12 edition, [12] G. Zanghirati. L. Zanni, T. Serani. Parallel Software for Training Large Scale Support Vector Machines on Multiprocessor Systems. JMLR, [13] Cruz A. J. R. Data Mining via Redes Neuronais Articiais e Maquinas de Vectores de Suporte. Universidade de Minho, [14] V. Sindhwani. Large Scale Semi-supervised Linear SVMs. SIGIR, [15] Osborne J. R. Smith, S. D. and M. C. Forde. The use of a discrete-event simulation model with Erlang probability distributions in the estimation of earthmoving production. Civ. Engrg. Sys., [16] S. D. Smith. Earthmoving Productivity Estimation using Linear Regression Techniques. Journal of Construction Engineering and Management, 125 edition,

36 REFERÊNCIAS REFERÊNCIAS [17] Alex J. Smola and Bernhard Scolkopf. A Tutorial on Support Vector Regression [18] William J. Stevenson. EstatÃstica aplicada à administraãÿao. Harbra,