BRENO NAODI KUSUNOKI IDENTIFICAÇÃO DE TRAJETÓRIAS PADRÕES E DE PONTOS INTERMEDIÁRIOS EM DADOS ESPAÇO-TEMPORAIS UTILIZANDO BUSCA POR SIMILARIDADE

Transcrição

1 BRENO NAODI KUSUNOKI IDENTIFICAÇÃO DE TRAJETÓRIAS PADRÕES E DE PONTOS INTERMEDIÁRIOS EM DADOS ESPAÇO-TEMPORAIS UTILIZANDO BUSCA POR SIMILARIDADE LONDRINAŰPR 2013

2

3 BRENO NAODI KUSUNOKI IDENTIFICAÇÃO DE TRAJETÓRIAS PADRÕES E DE PONTOS INTERMEDIÁRIOS EM DADOS ESPAÇO-TEMPORAIS UTILIZANDO BUSCA POR SIMILARIDADE Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. Orientador: Prof. Dr. Daniel dos Santos Kaster LONDRINAŰPR 2013

4 Breno Naodi Kusunoki IDENTIFICAÇÃO DE TRAJETÓRIAS PADRÕES E DE PONTOS INTER- MEDIÁRIOS EM DADOS ESPAÇO-TEMPORAIS UTILIZANDO BUSCA POR SIMILARIDADE/ Breno Naodi Kusunoki. Ű LondrinaŰPR, Orientador: Prof. Dr. Daniel dos Santos Kaster Ű Universidade Estadual de Londrina, Busca por similaridade. 2. Trajetória padrão. 3. Itinerário padrão. I. Prof. Dr. Daniel dos Santos Kaster II. Universidade Estadual de Londrina. III. Faculdade de Ciência da Computação. IV. IDENTIFICAÇÃO DE PADRÕES DE ITINERÁRIOS E DE PONTOS INTERMEDIÁRIOS EM DADOS ESPAÇO- TEMPORAIS UTILIZANDO BUSCA POR SIMILARIDADE. CDU 02:141:005.7

5 BRENO NAODI KUSUNOKI IDENTIFICAÇÃO DE TRAJETÓRIAS PADRÕES E DE PONTOS INTERMEDIÁRIOS EM DADOS ESPAÇO-TEMPORAIS UTILIZANDO BUSCA POR SIMILARIDADE Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Ciência da Computação da Universidade Estadual de Londrina para obtenção do título de Bacharel em Ciência da Computação. BANCA EXAMINADORA Prof. Dr. Daniel dos Santos Kaster Universidade Estadual de Londrina Orientador Prof. Dr. Vitor Valério de S. Campos Universidade Estadual de Londrina Prof. Dr. Jacques Duílio Brancher Universidade Estadual de Londrina LondrinaŰPR, 24 de novembro de 2013 LONDRINAŰPR 2013

6

7 Dedico este trabalho aos meus pais, Catarina e Paulo, que me deram todo o suporte que precisei até o presente momento.

8

9 AGRADECIMENTOS Agradeço primeiramente aos meus pais, Catarina e Paulo, por todo apoio e dedicação que contribuiram para a conclusão deste trabalho. Ao meu orientador, professor Dr. Daniel dos Santos Kaster, pelo grande apoio, orientação e principalmente pela grande oportunidade que ele me deu em conjunto com o Giovani Benedetti Penha e a Veltec Soluções Tecnológicas S/A. Agradeço a Izabel da secretaria acadêmica do CCE, por esclarecer as dúvidas referentes a todo tipo de documentação durante a graduação e também agradeço a Valdete Matos por todo apoio e momentos de descontração. A todos que me ajudaram durante a graduação e principalmente ao Arthur Henrique Coutinho, Marcos Okamura, Luiz Guilherme Castilho Martins, Rafael Seidi Shigueoka, Ernesto Yuiti Saito, Pedro Sena Tanaka e Hélio Albano de Oliveira que ajudaram e me acompanharam durante os últimos anos da graduação. Por Ąm, agradeço a todos os professores e funcionários do departamento que desempenham suas funções em sua totalidade.

10

11 Todas as vitórias ocultam uma abdicação. (Simone de Beauvoir)

12

13 KUSUNOKI, B. N.. IDENTIFICAÇÃO DE TRAJETÓRIAS PA- DRÕES E DE PONTOS INTERMEDIÁRIOS EM DADOS ESPAÇO-TEMPORAIS UTILIZANDO BUSCA POR SIMILARI- DADE. 60 p. Trabalho de Conclusão de Curso (Graduação). Bacharelado em Ciência da Computação Ű Universidade Estadual de Londrina, RESUMO O problema de reconhecimento de padrões é extremamente difundido e existem inúmeros trabalhos que abordam esse problema e suas variantes. Esta pesquisa consiste na busca de padrões de itinerários e de pontos intermediários em dados espaço-temporais utilizando busca por similaridade e técnicas de mineração de dados. A principal motivação para esta pesquisa foi a possibilidade de solucionar um problema real, referente ao problema de reconhecimento de padrões, onde o processo de se encontrar esses padrões pode ser manual e oneroso. O objetivo Ąnal é o reconhecimento dos padrões que foram citados anteriormente de forma automática. Palavras-chave: Busca por similaridade. Trajetória padrão. Itinerário padrão.

14

15 KUSUNOKI, B. N.. PATTERN RECOGNITION OF TRAJECTO- RIES AND INTERMEDIATE POINTS IN SPATIO-TEMPORAL DATA USING SIMILARITY SEARCH.. 60 p. Final Project (Undergraduation). Bachelor of Science in Computer Science Ű State University of Londrina, ABSTRACT The problem of pattern recognition is extremely widespread and exist in many works dealing with this problem and their variants. The research consists in Ąnding itinerary and intermediate point patterns in space-temporal data using similarity search and data mining techniques. The main motivation for this research is the possibility to solve real problems, about the pattern recognition, where the the process to Ąnd these patterns can be manual and expensive. The Ąnal objective is the pattern recognition that were mentioned earlier automatically. Keywords: Similarity search. Trajectory pattern. Itinerary pattern.

16

17 LISTA DE ILUSTRAÇÕES Figura 1 Ű Visualização de um ponto no mapa Figura 2 Ű Ilustração de alguns centroides representados pela letra M Figura 3 Ű Exemplo da árvore de decisão para problema de ir jantar no restaurante. 31 Figura 4 Ű Direcional habilitado (a) e Direcional desligado (b) Figura 5 Ű Ilustração das regiões Figura 6 Ű Ilustração dos pontos classiącados Figura 7 Ű Saída do programa de visualização utilizando R Figura 8 Ű A visualização do programa desenvolvido com Google Maps Figura 9 Ű Visualização dos pontos iniciais e Ąnais dos itinerários cadastrados Figura 10 ŰTrajetória com ruídos (a) e Itinerário cadastrado (b) Figura 11 ŰPontos de uma determinada trajetória Figura 12 ŰTotal de pontos obtidos Figura 13 ŰIntermediários obtidos Figura 14 ŰConstrução dos pontos de uma determinada trajetória Figura 15 ŰComparação de trajetórias Figura 16 Ű Ilustração do itinerário em vermelho e o padrão reconhecido em azul.. 55 Figura 17 ŰVelocidade do veículo entre dois envios de posições Figura 18 ŰIlustração dos pontos intermediários em azul Figura 19 ŰIlustração da comparação da distância entre pares de posições Figura 20 Ű Ilustração da comparação de trajetórias utilizando área dos polígonos.. 58

18

19 LISTA DE TABELAS Tabela 1 Ű Experimento com 2 bases de dados da mesma empresa em número de pontos Tabela 2 Ű Experimento com 2 bases de dados da mesma empresa em porcentagens. 37 Tabela 3 Ű Análise utilizando conjuntos de empresas distintas em número de pontos. 38 Tabela 4 Ű Análise utilizando conjuntos de empresas distintas em porcentagens.. 39

20

21 LISTA DE ABREVIATURAS E SIGLAS API GPS GIS Application Programming Interface. Global Positioning System. Geographic Information System. SAD69 South American Datum SQL Structured Query Language.

22

23 SUMÁRIO 1 Introdução Motivação Objetivos e contribuições Organização do trabalho Fundamentação Teórica Conceitos Geoprocessamento Coordenada geográąca Ponto Posição Centroide Trajetória Constante de mapa Mineração de dados Descoberta de Conhecimento em Banco de Dados Descoberta de padrões em séries temporais Busca por similaridade Dados espaço-temporais Árvore de decisão Descrição do problema Conceitos relacionados ao problema Posição Itinerário Direcional Região Análise dos dados complexos Análise dos dados utilizando os métodos de classiącação existentes no Weka Análise de bases de dados distintas Resultado da análise Visualização dos dados complexos no plano geográąco Trabalhos correlatos Experimentos

24 2.4.1 Utilização de árvores de decisão para se obter os pontos iniciais e Ąnais Detecção dos pontos de início e Ąm das trajetórias através do tempo parado Proposta de Solução Pré-processamento Construção das trajetórias descritas pelos veículos Construção dos pontos de cada trajetória Construção das regiões Comparação e identiącação das trajetórias mais frequentes Extrair os itinerários padrões Resultados Conclusão Referências

25 23 1 INTRODUÇÃO Na última década a utilização de técnicas de geoprocessamento cresceu substancialmente. Este crescimento pode ser observado pelo grande número de ferramentas criadas como Google Earth 1, Google Maps 2, ArcGIS 3 que podem ser utilizadas na cartograąa, fotogrametria, geoestatística, banco de dados geográącos, WebMapping 4, SIG(Geographic Information System) e auxiliando também em tomadas de decisão fundamentadas nas informações extraídas através das ferramentas citadas. Atualmente, existem diversas soluções que utilizam dados espaço-temporais para rastreamento e gerenciamento de veículos de forma inteligente visando a diminuição de gastos com manutenções, combustível, pneus, entre outros fatores que poderiam ser evitados com o uso correto do veículo. A pesquisa está ambientada na área de buscas por similaridade em dados espaço-temporais e será baseada em um problema real que ocorre em uma dessas soluções existentes no mercado. 1.1 Motivação A motivação da pesquisa é que em um dos sistemas de gerenciamento de frotas que existem no mercado, há algumas funcionalidades que dependem do cadastramento manual e exaustivo dos itinerários a serem percorridos pelos veículos, pois sem esses itinerários delineados previamente, não é possível inferir se o veículo está percorrendo o trajeto correto, se o mesmo está na velocidade correta para o trecho, se o motorista está gastando combustível além do necessário, entre outras conclusões. O problema consiste em encontrar itinerários padrões a partir de uma base de dados espaço-temporais e efetuar a extração de pontos intermediários, que podem ser pontos de ônibus de transporte coletivo ou paradas obrigatórias em viagens interestaduais, dos itinerários identiącados de forma automática. Esses dados são gerados a partir de veículos que possuem um módulo de GPSGlobal Positioning System que envia posições a cada um minuto e quarenta e cinco segundos ou em intervalos menores quando o direcional do módulo está ativado. O direcional é uma conąguração do módulo que quando habilitada, o veículo passa a reportar uma maior quantidade de posições quando o mesmo efetua 1 Google Earth é um aplicativo que permite ao utilizador visualizar e procurar por lugares de seu interesse, possibilitando a visualização de imagens de satélite, mapas, terrenos, edifícios 3D. 2 Google Maps é um produto que permite ao usuário traçar rotas para lugares, pesquisar por lugares de interesse como hotéis, restaurantes, lojas, permite também uma visão no nível da rua do local através do Google Street View. 3 ArcGIS é uma plataforma para criação e gerenciamento de soluções através da aplicação do conhecimento geográąco. 4 WebMapping é o processo de criação, implementação e geração de mapas para World Wide Web.

26 24 Capítulo 1. Introdução curvas com mais de vinte e cinco graus. Essas posições que descrevem em que localidade o automóvel se encontra no globo terrestre contêm informações como latitude, longitude, data em que foi enviada, velocidade do veículo, direção em graus, eventos como ignição ligada ou desligada, porta aberta ou fechada, entre outras. Essas posições são enviadas para um gateway onde são processadas e persistidas em sistemas de gerenciamento de banco de dados relacionais e que são utilizadas pelo software existente para efetuar o gerenciamento e rastreamento de veículos. 1.2 Objetivos e contribuições O principal objetivo deste trabalho de conclusão de curso foi obter uma solução que encontrasse itinerários e pontos intermediários padrões de tal forma que a solução fosse extraída dos dados espaço-temporais e processada gerando as trajetórias de cada itinerário juntamente com os respectivos pontos intermediários. O resultado deste trabalho pode ser utilizado em diversos problemas que os objetivos são a identiącação de trajetórias e locais padrões, de acordo com as trajetórias feitas por quaisquer objetos móveis que tenham dispositivos para reportar as posições geográącas dos mesmos juntamente com o instantes em que elas foram enviadas, como na identiącação de vias públicas para se implantar faixas exclusivas para ônibus, utilizando a identiącação das trajetórias frequentes, descritas por ônibus de transporte coletivo, onde há um grande número de localidades onde os ônibus permanecem por um longo tempo sem desenvolver um velocidade maior que, por exemplo, vinte quilômetros por hora ou não se deslocam mais que duzentos metros. Em se tratando de aplicações reais, as análises sempre estarão sujeitas a erros, visto que, os bancos de dados em sua maioria detêm dados com ruídos e por portanto, foi necessário efetuar um pré-processamento para Ąltrar os dados ruidosos dos dados Ądedignos. Um dos objetivos especíącos é o reconhecimento dos pontos onde cada itinerário começa e termina, para que se possa delimitar todas as trajetórias que passam por esses pontos e também identiącar e remover outliers. Outro objetivo é a identiącação de regiões semelhantes entre as trajetórias para inferir se determinadas regiões são pontos intermediários ou são somente pontos de tráfego intenso em determinados horários. Por Ąm a identiącação dos pontos intermediários de cada itinerário padrão reconhecido, que podem ser pontos de transporte coletivo de determinada linha de ônibus, locais de entrega de mercadorias, pontos de parada em viagens interestaduais, entre outros.

27 1.3. Organização do trabalho Organização do trabalho No capítulo 2 contém toda a fundamentação teórica para este trabalho de conclusão de curso, a descrição do problema, trabalhos correlacionados a proposta de pesquisa e os experimentos realizados; no capítulo 3 está descrita a proposta de solução do problema; no capítulo 4 contém os resultados obtidos e no capítulo 5 consta a conclusão e os trabalhos futuros.

28

29 27 2 FUNDAMENTAÇÃO TEÓRICA 2.1 Conceitos Antigamente, as informações como a disposição das malhas ferroviárias e dos recursos minerais em determinada região eram armazenadas somente em documentos e mapas em papel. Com o advento da tecnologia de geoprocessamento, foi possível transcrever e armazenar essas informações em ambiente computacional de tal forma que as mesmas pudessem ser representadas e analisadas com maior facilidade. Desta maneira, surgiu o geoprocessamento. Com o aumento das informações coletadas e o avanço no armazenamento de grandes quantidades de dados, surgiu a necessidade de se ter formas de se processar e extrair informações relevantes de forma automática que antes eram desconhecidas, utilizando técnicas de KDD(Knowledge-Discovery in Databases), mais especiącamente, mineração de dados Geoprocessamento Geoprocessamento é um processo que utiliza técnicas com fundamentação matemática e computacional para o processamento dos dados geográącos e que vem inćuenciando de forma crescente várias áreas como cartograąa, telecomunicações, transportes, planejamento urbano, análise de recursos naturais possibilitando assim o processamento, análise e tomadas de decisão baseadas nas informações retiradas desses dados [1] Coordenada geográąca As coordenadas (a latitude e a longitude) de um ponto sobre a superfície da Terra, se referem ao equador e a um meridiano-origem. No âmbito deste trabalho a longitude será representada por é a latitude por Ponto Um ponto é composto por 2 coordenadas geográącas( e ). A Ągura 1 mostra como é representado o ponto no mapa Posição Uma posição é composta pelas coordenadas x e y contendo também quando a posição foi enviada. (,, h ) (2.1)

30 28 Capítulo 2. Fundamentação Teórica Figura 1: Visualização de um ponto no mapa Centroide Centroide é o centro de gravidade de uma determinada unidade geográąca. Na geometria o centroide é um ponto que deąne o centro geométrico de uma forma, se a mesma possuir uma seção homogênea o centroide coincidirá com o centro de massa e se o corpo não for homogêneo e se o mesmo for submetido a um campo gravitacional constante o centroide será o centro de gravidade [2]. Figura 2: Ilustração de alguns centroides representados pela letra M. passos: Se tratando de dados geográącos o centroide pode ser calculado pelos seguintes 1. Converter lat1(latitude) e lng1(longitude) de graus para radianos. 1 = 1 Þ/180 1 = 1 Þ/180 (2.2) 2. Converter lat1/lng1 para coordenadas cartesianas para primeira posição. 1 = ( 1) ( 1) 1 = 1 = ( 1) ( 1) ( 1) (2.3)

31 2.1. Conceitos Repetir 1 e 2 para todas as posições para obter o centroide das mesmas. 4. Calcular o peso total de todas as posições. ( = )/ ( = )/ (2.4) ( = )/ 5. Converter a média de x, y, z de coordenadas para latitude e longitude. = 2(, ) h = ( + ) (2.5) = 2(, h ) 6. Converter lat e lng para graus. = 180/Þ = 180/Þ (2.6) Trajetória Uma trajetória, no contexto deste trabalho, é a evolução de um objeto no espaço em um determinado intervalo de tempo e pode ser deąnida por uma sequência Ąnita de posições ordenadas cronologicamente, : 1 2, cada posição Constante de mapa A constante de mapa C, também chamada de grau geodésico, é um valor aproximado resultante do cálculo do comprimento da circunferência da terra dividido por 360 graus, representado na fórmula 2.7. C = 2Þ 360 (2.7) Levando em consideração que o raio da terra é de metros, igual ao semieixo maior do modelo de coordenadas SAD69, temos: C = (Þ) = (2.8)

32 30 Capítulo 2. Fundamentação Teórica Mineração de dados Nas últimas décadas grandes organizações têm gerado uma grande quantidade de dados que podem ser interpretáveis por computadores com sistemas de gerenciamento de banco de dados, para que o este processamento seja possível, existe a tecnologia de banco de dados que disponibiliza linguagens de consulta como a SQL(Structured Query Language). O problema com a linguagem de consulta estruturada é que ela parte do pressuposto que o usuário tem conhecimento do esquema da base de dados. A mineração de dados é o processo de se obter informações antes desconhecidas à partir de padrões ou regras em bases de dados de grande volume [3]. Para Tan, a mineração de dados é o processo automático de descoberta de informações úteis em grandes quantidades de dados que não eram conhecidas antes da aplicação das técnicas de extração de informações relevantes da base de dados [4] Descoberta de Conhecimento em Banco de Dados A descoberta de conhecimento em bancos de dados(knowledge Discovery in Databases), este processo é composto normalmente por seis etapas, seleção dos dados a serem processados, remoção de ruídos, enriquecimento, transformação, mineração e a construção dos relatórios e apresentação dos resultados. Destes resultados pode ser obtido novas informações como, regras de associação, padrões seqüenciais e árvores de classiącação ou decisão. Os conhecimentos descobertos durante a garimpagem de dados podem ser descritos como regras de associação, hierarquias de classiącação, padrões seqüenciais, padrões com séries temporais e clusterização [3] Descoberta de padrões em séries temporais As séries temporais são seqüências de acontecimentos, sendo que cada evento pode ser um tipo imutável de uma determinada transação. Na análise das séries temporais, diversos padrões podem ser encontrados analisando as seqüências e as sub-seqüências. [??]. Séries podem ser comparadas por meio da deąnição de medidas de similaridades para tentar prever o comportamento da bolsa de valores, por exemplo [5] Busca por similaridade A busca por similaridade surgiu da necessidade de se ter consultas mais inteligentes, que possam comparar dados complexos e estabelecer relações de similaridade entre eles. Esse tipo de busca pode ser utilizado para veriącar semelhanças entre imagens, vídeos, séries temporais, dados genéticos, entre outros dados complexos [6]. Uma das aplicações da busca por similaridade é a detecção de semelhanças entre imagens médicas como ressonância magnética, mamograąa e tomograąa. Essa busca pode

33 2.1. Conceitos 31 auxiliar o diagnóstico do paciente, pois o médico pode recuperar imagens semelhantes da base de dados, comparar com a do paciente e veriącar os diagnósticos de cada imagem recuperada ajudando o médico na tomada de decisão e no prognóstico [7, 8] Dados espaço-temporais Antes, pesquisas em modelos de dados espaciais e temporais eram desenvolvidas separadamente, atualmente essas pesquisas estão correlacionadas. Quando existe a integração de espaço e tempo, temos dados geométricos evoluindo ao longo do tempo. Em banco de dados existem três abstrações fundamentais de dados espaço-temporais, pontos que descrevem a localização de um objeto, linhas que descrevem conexões no espaço ou a evolução de determinados objetos no espaço-tempo que podem ser representadas como polilinhas e regiões onde a medida é relevante representadas por polígonos [9] Árvore de decisão Árvores de decisão são estruturas que podem ser utilizados para aprendizagem e também para tomada de decisões de acordo com a entrada, a estrutura de uma árvore de decisão é similar a regras de se-então, estrutura muito utilizada para implementação de sistemas especialistas e em problemas cujo objetivo é classiącar o conjunto de dados de entrada, o conjunto de entrada pode ser discretos ou contínuos. Na Ągura 3 é ilustrada a estrutura de uma árvore decisão cujo objetivo é decidir se determinada pessoa deve ou não ir em um restaurante para jantar, neste exemplo os dados são discretos, sendo que o aprendizado através desses dados é chamado de classiącação. Inicialmente todos os atributos devem ser descritos e também é necessário um conjunto de entrada já classiącado para que o algoritmo de árvore de decisão possa gerar o modelo de classiącação. O modelo gerado é ilustrado no algoritmo 1. Figura 3: Exemplo da árvore de decisão para problema de ir jantar no restaurante.

34 32 Capítulo 2. Fundamentação Teórica Algoritmo 1: Modelo de classiącação do exemplo de ir jantar no restaurante. Entrada: [ ] Conjunto com as entradas com os respectivos atributos Saída : [ ] Conjunto contendo as entradas classiącadas enquanto existir entradas em [ ] faça entrada próxima entrada de [ ] se entrada.dinheiro == 0 então entrada.classiącação NÃO; [ ].adicionar(entrada); Ąm se senão se entrada.dinheiro entre 31 e 50 reais então se entrada.preço > 50 reais então entrada.classiącação NÃO; [ ].adicionar(entrada); Ąm se senão entrada.classiącação SIM; [ ].adicionar(entrada); Ąm se Ąm se senão se entrada.dinheiro > 50 reais então entrada.classiącação SIM; [ ].adicionar(entrada); Ąm se Ąm se Ąm se Ąm enqto 2.2 Descrição do problema O problema consiste na identiącação de trajetórias padrões utilizando busca por similaridade, das trajetórias desenvolvidas por objetos móveis no espaço geográąco, como, trajetórias desenvolvidas por veículos automotores, ciclistas, pedestres, animais, a partir de uma base de dados espaço-temporais; e de cada trajetória padrão reconhecida, obter os pontos intermediários padrões da mesma Conceitos relacionados ao problema Posição Uma posição é composta pelo identiącador, o identiącador do veículo, data e hora em que foi enviada, latitude, longitude, direção do veículo em relação ao globo terrestre no instante em que a posição foi enviada, velocidade do veículo, valor que indica se o

35 2.2. Descrição do problema 33 veículo está com a ignição ligada ou desligada no momento do envio da posição e o tipo de posição. Determinada posição também pode ser representada da seguinte forma: (,, h,,, çã,, çã, ) (2.9) Itinerário No âmbito deste trabalho um itinerário é deąnido como uma lista ordenada Ąnita de pontos, : 1 2, onde 1 é o ponto inicial e o é o Ąnal Direcional O direcional é uma conąguração do módulo que quando habilitada, o veículo passa a reportar uma maior quantidade de posições quando o mesmo efetua curvas com mais de vinte e cinco graus. Essa conąguração existe para que se possa delinear curvas com maior precisão, pois sem ela o veículo envia uma posição a cada 1 minuto e 45 segundos. A Ągura 4 ilustra as posições enviadas com o direcional habilitado e com a conąguração desligada. Figura 4: Direcional habilitado (a) e Direcional desligado (b).

36 34 Capítulo 2. Fundamentação Teórica Região Uma região pode ser representada por um quadrado de arestas de tamanho Δ no plano xy, deąnida por duas componentes (, ) (2.10) Dado um ponto (, ), podemos inferir qual região o mesmo se localiza no mapa, para isso deve-se efetuar dois cálculos para encontrar a primeira e a segunda componente ilustrados em 2.11, 2.12 respectivamente. = Δ = Δ (2.11) (2.12) Na Ągura 5 é mostrado algumas regiões plotadas no mapa, as regiões em verde demonstram que a região tem entre 3 à 10 pontos, as laranjas contêm de 11 à 20 pontos, as vermelhas de 21 à 30 pontos e as pretas têm no mínimo 31 pontos ou mais. Figura 5: Ilustração das regiões Análise dos dados complexos Nesta seção serão mostradas algumas análises dos dados complexos com a intenção de se ter uma melhor compreensão do problema.

37 2.2. Descrição do problema Análise dos dados utilizando os métodos de classiącação existentes no Weka Para esta análise, foi utilizado o software Weka 1 na versão e o sistema operacional utilizado foi Mac OS X na versão No total foram efetuados 32 testes utilizando os algoritmos padrões de classiącação disponíveis no software. Objetivo desta análise é veriącar se existe a possibilidade de se classiącar os pontos enviados pelos veículos como pontos de interesse, neste caso pontos iniciais, intermediários ou Ąnais. Esta primeira análise foi realizada da seguinte forma, primeiramente houve a necessidade de se classiącar o conjunto de dados A com base nos pontos iniciais e Ąnais já cadastrados no sistema. A classiącação consistiu em comparar cada posição do conjunto A com cada ponto de interesse cadastrado no sistema e veriącar se determinado ponto estiver a menos de 50 metros do ponto cadastrado, o mesmo é classiącado como um ponto de interesse, caso contrário o ponto é classiącado como uma posição normal. O segundo passo foi utilizar o conjunto de dados A como entrada para os algoritmos de classiącação contidos no Weka gerando assim um modelo de classiącação baseado nos dados classiącados do conjunto de dados A e o terceiro passo foi utilizar um outro conjunto de dados B para testar o modelo de classiącação analisando a acurácia do mesmo. Os conjuntos de dados são da mesma empresa mas de meses distintos e cada conjunto de dados possui posições. Os atributos utilizados para gerar o modelo de classiącação foram data, direção, velocidade, ignição, tipo e o atributo objetivo é se determinada posição é ou não um ponto inicial ou Ąnal. Na Ągura 6 estão demonstrados os resultados depois que o conjunto de dados B foi classiącado pelo modelo. O círculo preto representa um determinado ponto de interesse cadastrado no sistema com raio de 50 metros. Os pontos verdes representam os pontos classiącados de maneira correta pelo modelo. Os círculos azuis são os pontos que não são de interesse e o vermelho é uma posição que foi classiącada erroneamente como sendo de interesse pelo modelo de classiącação. A tabela 1 mostra os resultados obtidos utilizando diversos algoritmos de classiącação já implementados no programa Weka e a tabela 2 traz o resultado em porcentagem. 1 Weka Coleção de algoritmos de aprendizado de máquina para resolver problemas de mineração de dados implementados em Java e de código aberto sob a licença GPL.

38 36 Capítulo 2. Fundamentação Teórica Figura 6: Ilustração dos pontos classiącados. Nome do método Corretos Incorretos Positivos Negativos Falsos negativos Falsos positivos Logistic Attribute Selected Classifier Bagging Classification Via Regression Filtered Classifier Logit Boost Multi Class Classifier Random Committee Random Sub Space Decision Table JRip OneR PART J LMT Random Forest Random Tree REP Tree Tabela 1: Experimento com 2 bases de dados da mesma empresa em número de pontos.

39 2.2. Descrição do problema 37 Nome do método Corretos Incorretos Positivos Negativos Falsos negativos Falsos positivos Logistic % % % % % % AttributeSelectedClassifier % % % % % % Bagging % % % % % % ClassificationViaRegression % % % % % % FilteredClassifier % % % % % % LogitBoost % % % % % % MultiClassClassifier % % % % % % RandomCommittee 69.76% % % % % % RandomSubSpace % % % % % % DecisionTable % % % % % % JRip 73.86% % % % % % OneR % % % % % % PART % % % % % % J % % % % % % LMT % 25.99% % % % % RandomForest % 29.14% % % % % RandomTree % % % % % % REPTree % % % % % % Tabela 2: Experimento com 2 bases de dados da mesma empresa em porcentagens Análise de bases de dados distintas A segunda análise utiliza duas bases de dados de empresas distintas, cada uma com posições e de meses distintos. A tabela 3 mostra os resultados obtidos em número de pontos e a tabela 4 traz o resultado em porcentagem.

40 38 Capítulo 2. Fundamentação Teórica Nome do método Corretos Incorretos Positivos Negativos Falsos negativos Falsos positivos Logistic Attribute Selected Classifier Bagging Classification Via Regression Filtered Classifier Logit Boost Multi Class Classifier Random Committee Random Sub Space Decision Table JRip OneR PART J LMT Random Forest Random Tree REP Tree Tabela 3: Análise utilizando conjuntos de empresas distintas em número de pontos.

41 2.2. Descrição do problema 39 Nome do método Corretos Incorretos Positivos Negativos Falsos negativos Falsos positivos Logistic % % % % % % Attribute Selected Classifier % % % % % % Bagging % % % % % % Classification Via Regression % 8.875% % % % % Filtered Classifier 92.84% 7.162% % % % % Logit Boost % 7.278% % % % % Multi Class Classifier % % % % % % Random Committee 84.37% % % % % % Random Sub Space % 6.294% % % % % Decision Table % % % % % % JRip % % % % % % OneR % % % % % % PART 92.97% 7.032% % % % % J % % % % % % LMT % 9.174% % % % % Random Forest % % % % % % Random Tree % % % % % % REP Tree % % % % % % Tabela 4: Análise utilizando conjuntos de empresas distintas em porcentagens Resultado da análise Em ambas as bases de dados o resultado das classiącações dos dados pelos algoritmos não foi satisfatória, pois a porcentagem de dados classiącados corretamente como positivos foi relativamente baixo e a porcentagem de falsos negativos foi alta, tornando a classiącação e extração dos pontos de interesse inviável pois a maior parte dos pontos que eram de interesse foram classiącados erroneamente, o que poderia comprometer a delimitação das trajetórias feitas pelos veículos e por consequência a busca por similaridade entre as trajetórias reconhecidas Visualização dos dados complexos no plano geográąco Para facilitar a compreensão do problema foi desenvolvido um programa de visualização dos dados geográącos, inicialmente o software de visualização dos dados espaçotemporais começou a ser desenvolvido utilizando o programa R 2, programa utilizado para 2 R é um programa que oferece um ambiente para computação estatística e elaboração de gráącos.

42 40 Capítulo 2. Fundamentação Teórica computação estatística e construção de gráącos, mas com a grande quantidade de dados, em torno de milhões de posições geográącas, o desempenho do mesmo não foi satisfatório e também o R não tem mapas nativos com informações detalhadas como malhas rodoviárias e cidades. A Ągura 7 ilustra o resultado do processamento dos dados geográącos pelo programa desenvolvido utilizando o R y Raw data x Figura 7: Saída do programa de visualização utilizando R. Uma alternativa escolhida foi desenvolver o programa utilizando as APIs do Google, visto que as APIs proporcionam mais opções personalizadas para visualização dos dados, permitindo plotar pontos, polígonos e polilinhas no mapa. A Ągura 8 mostra a saída do programa escrito utilizando o Google Maps 3. 3 Google Maps é uma API que fornece diversas funcionalidades como visão da rua em determinada localização geográąca, construções em três dimensões, rotas de ônibus, entre outras diversas funcionalidades.

43 2.2. Descrição do problema 41 Figura 8: A visualização do programa desenvolvido com Google Maps. Mas como o Google Maps tem restrições de utilização do mesmo na criação de trabalhos derivados do conteúdo ou de qualquer parte da API, optou-se por desenvolver utilizando tecnologias open source 4 como Open Street Maps 5, Play Framework 6 e a biblioteca de javascript LeaĆet 7. A Ągura 9 mostra a visualização dos pontos iniciais dos itinerários cadastrados no sistema em verde e os Ąnais em vermelho. Existe a necessidade de se pré-processar os dados, pois na base de dados existem diversos ruídos que podem ser posições inseridas para teste da aplicação, posições duplicadas, posições com características especiais que só existem depois do cadastramento manual dos itinerários, posições incorretas devida a falha na conąguração do módulo que envia as posições ou até mesmo por falha de hardware. 4 O termo open source, ou código aberto em português, foi criado pela OSI (Open Source Initiative) e refere-se a software também conhecido por software livre. 5 Open Street Maps(OSM) é uma ferramenta colaborativa para criação e edição de mapas do mundo. 6 Play é uma ferramenta baseada na leveza e com uma arquitetura amigável para desenvolvimento web. É construída utilizando Akka, fornecendo um ambiente para aplicações escaláveis. 7 LeaĆet é uma biblioteca JavaScript desenvolvida para proporcionar uma melhor interação com mapas através de dispositivos móveis.

44 42 Capítulo 2. Fundamentação Teórica Figura 9: Visualização dos pontos iniciais e Ąnais dos itinerários cadastrados. Figura 10: Trajetória com ruídos (a) e Itinerário cadastrado (b). 2.3 Trabalhos correlatos Através de uma simples análise dos dados espaço-temporais pode-se retirar diversas informações de objetos em movimento como velocidade, aceleração, trajetória entre determinado espaço de tempo, que podem ser utilizadas para se obter os pontos intermediários visto que nesses pontos geralmente o objeto móvel permanece parado. Assim, existe a possibilidade de se agrupar essas informações de tal forma que se possa distin-

45 2.3. Trabalhos correlatos 43 guir quais trajetórias foram desenvolvidas por carros, caminhões, ônibus, motocicletas ou pedestres. Esta classiącação das trajetórias é feita analisando a variação da velocidade, aceleração e o intervalo em que a velocidade varia durante o decorrer da trajetória [10]. Shaw e Gopalan[11] têm como objetivo, encontrar os padrões de trajetórias mais frequentes em um banco de dados relacional que é alimentado por um arquivo de texto contendo as coordenadas. Esse trabalho utiliza uma modiącação do algoritmo de associação chamado Apriori para extrair as coordenadas mais frequentes da base de dados, que se assemelha a pesquisa, visto que as trajetórias mais frequentes têm uma maior chance de serem as trajetórias padrões que normalmente são utilizadas. Zheng, Wei e Peng[12] propõem uma forma de se inferir as rotas mais populares através de um conjunto de trajetórias incertas geradas por aplicações de geolocalização como Foursquare 8, Flickr 9 e trajetórias feitas por táxis. Neste trabalho foi utilizado um grafo roteável, onde os vértices são as posições geográącas, as arestas indicam o tempo de cada trajeto entre 2 vértices e um algoritmo denominado de top-k que obtém as k rotas mais utilizadas, este trabalho é correlacionado com a pesquisa pois ele detecta os lugares com maior número de visitas que no caso desta pesquisa podem ser os pontos intermediários. Existem outros trabalhos como de Wen [13] que cria um método que obtém as rotas regulares de uma base de dados que contem históricos das trajetórias já feitas por usuários com objetivo de obter mais informações sobre o comportamento das pessoas, recomendar roteiros de viagens de acordo com as rotas obtidas pelo método podendo assim melhorar a experiência do turista durante a viagem e como consequência disso uma maior satisfação do cliente, o trabalho de Wen tem relação com a pesquisa pois o algoritmo obtém diversas informações das localidades mais frequentadas o que se assemelha na identiącação dos locais que são pontos intermediários de uma determinada trajetória. O trabalho de Fontes e Bogorny [14] propõe um método de detecção de anomalias em trajetórias entre determinadas regiões delimitadas por polígonos no espaço geográąco, que leva em consideração a duração da trajetória, alinhamento do tempo dos pontos em relação as demais trajetórias e veriącando se a distância de cada ponto não está a uma distância maior que um determinado limiar, os autores utilizam janela de tempo para veriącar a similaridade das trajetórias, o que poderia ser aplicado também a pesquisa. Outro trabalho relacionado a pesquisa e ao reconhecimento de padrões entre trajetórias é o de Panagiotakis, Pelekis e Kopanakis, pois na pesquisa dos autores, existe a classiącação de sub-trajetórias utilizando uma método baseado em comparações entre 8 Foursquare é um aplicativo que permite ao utilizador indicar onde se encontra e procurar por lugares próximos de seu interesse. 9 O Flickr é um site da web de hospedagem e partilha de imagens, que possibilita indicar em que lugar as fotos foram tiradas.

46 44 Capítulo 2. Fundamentação Teórica objetos que estiveram no mesmo lugar e em instantes muito próximos [15]. Aplicação de métodos que fazem o alinhamento de posições de GPS enviados pelo usuário à malha rodoviária, obtendo as trajetórias com uma baixa taxa de amostragem de posições [16]. O artigo [17] utiliza um método de clusterização para agrupar rotas realizadas por táxis com objetivo de identiącar outliers que podem ser rotas fraudulentas que têm maiores distâncias em relação as rotas comumente utilizadas para se ir a um determinado lugar, este trabalho está correlacionado a pesquisa pois as trajetórias têm uma baixa amostragem de posições. 2.4 Experimentos Utilização de árvores de decisão para se obter os pontos iniciais e Ąnais Objetivo deste experimento foi veriącar se o reconhecimento dos pontos de início e Ąm das trajetórias era possível utilizando uma árvore de decisão. O primeiro teste feito foi utilizando somente os atributos direção, velocidade, ignição, tipo e a data em que a posição foi enviada, no resultado que foi obtido a porcentagem de falsos positivo foi maior que 86% no conjunto de testes que foi submetido a árvore de decisão, houve uma grande perda de dados relevantes para classiącação dos pontos iniciais ou Ąnais, visto que das posições que eram pontos iniciais ou Ąnais, posições foram classiącadas como negativas pelo modelo de classiącação gerado pelo algoritmo J48 do Weka Detecção dos pontos de início e Ąm das trajetórias através do tempo parado O reconhecimento dos pontos de início e Ąm das trajetórias com base no tempo parado consistiu em obter os locais delimitados por um limiar distância(δ ), onde os veículos estiveram parados por um certo tempo que é determinado por um limiar(δ ) como é demonstrado no algoritmo 2. A base de dados que foi utilizada nos experimentos possui 90 milhões de posições de um período total de seis meses de captura de dados, sendo que cada posição no conjunto de dados tinha atributos como velocidade, direção do veículo, data em que a posição foi enviada, entre outros. Neste experimento os atributos utilizados foram somente a data e a velocidade. Após o algoritmo ser rodado o resultado obtido foi que das 90 milhões de posições, eram posições onde o veículo estava parado durante um tempo maior ou igual ao Δ que neste caso foi de 10 segundos, sendo que dessas , somente

47 2.4. Experimentos posições foram identiącadas corretamente como pontos iniciais ou Ąnais comparando com as 1101 posições que deveriam ser identiącadas, mas dessas posições somente 536 eram distintas. E na classiącação dos pontos intermediários foram classiącados 137 posições como positivos sendo que o número de pontos itinerários é de 1204 pontos, e somente 53 das posições reconhecidas eram distintos. Na Ągura 12 está ilustrado a quantidade total de pontos obtidos variando o Δ e na Ągura 13 é ilustrada a quantidade de pontos iniciais, Ąnais e intermediários reconhecidos mudando o Δ, que é quanto tempo determinado veículo deve permanecer dentro de um raio que determinado pelo Δ. Figura 11: Pontos de uma determinada trajetória. 80 Pontos da trajetória 60 Velocidade Tempo (minutos)

48 46 Capítulo 2. Fundamentação Teórica Algoritmo 2: IdentiĄcação das regiões onde os veículos Ącaram parados durante um determinado Δ. Entrada: çõ conjunto com as posições enviadas pelos veículos â Δ Saída : çõ conjunto de pontos parados enquanto existir posição em çõ faça próxima posição de çõ ; se existir próxima posição em çõ então 1 próxima posição de çõ distanciaeuclidiana(, 1); 1.. ; se < â && < então ;. ;.adicionar( ); enquanto existir próxima posição em çõ && < â && < faça 3 próxima posição de çõ distanciaeuclidiana(, 3); 3.. ; se < â && < então.adicionar( 3); calcularcentroide( ); 3. ; se > então sim; Ąm se Ąm se Ąm enqto se == sim então çõ ; não; Ąm se Ąm se Ąm se Ąm enqto

49 2.4. Experimentos 47 Figura 12: Total de pontos obtidos. 12,000 Total de pontos obtidos Número de pontos 10,000 8,000 6,000 4, Limiar de tempo parado (segundos) Número de pontos Figura 13: Intermediários obtidos. Total de pontos intermediários Total de pontos iniciais e Ąnais Limiar de tempo (segundos)

50

51 49 3 PROPOSTA DE SOLUÇÃO A proposta de solução do problema é dividida em cinco etapas, que serão o préprocessamento dos dados, a construção das trajetórias descritas pelos veículos, construção das regiões, Ąltragem das trajetórias mais frequentes e a identiącação das trajetórias com maior número de pontos intermediários frequentes e elencá-los como os possíveis itinerários padrões. 3.1 Pré-processamento Objetivo do pré-processamento foi Ąltrar todas as posições quando a conąguração do direcional não estava habilitada e também entradas ruidosas, agrupando os dados por veículo e reordenando as posições pela ordem de inserção na base de dados. 3.2 Construção das trajetórias descritas pelos veículos A construção das trajetórias feitas pelos veículos baseou-se na iteração do conjunto de posições obtidas de cada veículo, identiącando cada início de trajetória como a transição da ignição do veículo de desligada para ligada; o mesmo foi feito para se completar a construção de uma determinada trajetória quando o veículo estava com a ignição desligada e sendo que na posição anterior o veículo estava com o motor ligado. O algoritmo que está descrito em 3. A detecção de ciclos dentro de uma mesma trajetória é feita através do armazenamento da primeira posição da trajetória durante a construção da mesma; se existir algum outro ponto que a distância até o ponto inicial seja menor que o limiar de distância, este último ponto se torna o ponto Ąnal da trajetória e a partir do próximo ponto inicia-se uma nova trajetória. 3.3 Construção dos pontos de cada trajetória A construção dos pontos de cada trajetória foi obtida através da iteração de todos pontos que compõem a trajetória, em pares, analisando a distância euclidiana entre cada par, se a distância entre os dois pontos for maior que o limiar de distância a construção de pontos é necessária. A construção é feita a partir da equação da reta que passa entre o par de pontos; Ąxa-se um ponto como ponto inicial; é adicionado ou subtraído o limiar de distância na longitude do ponto Ąxado e com isso se obtém a latitude do mesmo até que a

52 50 Capítulo 3. Proposta de Solução longitude seja maior ou menor, de acordo com o coeąciente angular da reta. O resultado da construção dos pontos de uma determinada trajetória é ilustrada na Ągura 14. Figura 14: Construção dos pontos de uma determinada trajetória. 3.4 Construção das regiões Neste passo objetivo é obter as regiões correspondentes a todas as trajetórias reconhecidas para que a comparação entre trajetórias seja possível. As regiões são construídas de acordo com o algoritmo Comparação e identiącação das trajetórias mais frequentes Todas as trajetórias são comparadas através das regiões de cada uma de tal forma que as que tiverem uma maior porcentagem em comum com as demais trajetórias obtidas será elencada como uma trajetória frequente. Na Ągura 15 está ilustrado quatro comparações entre duas trajetórias, a comparação é feita pela média da porcentagem de regiões que são comuns entre as duas trajetórias em relação ao total de regiões de cada uma e no algoritmo 5 é mostrado como o reconhecimento é feito.

53 3.6. Extrair os itinerários padrões 51 Figura 15: Comparação de trajetórias. 3.6 Extrair os itinerários padrões O último passo é elencar as trajetórias que têm um maior número de pontos intermediários coincidentes, em relação as outras trajetórias Ąltradas. Esta comparação, utilizou as regiões dos pontos intermediários identiącados quando o veículo permanecia por um determinado tempo em uma região com raio determinado pelo limiar de distância, o algoritmo para extração das trajetórias com maior número de pontos intermediários coincidentes está ilustrado em 6.

54 52 Capítulo 3. Proposta de Solução Algoritmo 3: Construção das trajetórias. Entrada: çõ conjunto com as posições enviadas pelos veículos â Saída : ó conjunto de trajetórias enquanto existir posições em çõ faça próxima posição de çõ ; se é uma posição cuja ignição está desligada então nova trajetória; ;.adicionar( ); se existir próxima posição em çõ então próxima posição de çõ Ąm se senão Retornar ó ; Ąm se enquanto for do mesmo veículo de e a ignição estiver ligada faça.adicionar( ); se existir próxima posição em çõ então próxima posição de çõ ; Ąm se senão Retornar ó ; Ąm se distanciaeuclidiana(, ); se < â então.adicionar( ); ó.adicionar( ); nova trajetória;.adicionar( ); ; Ąm se Ąm enqto Ąm se senão se existir próxima posição em çõ então próxima posição de çõ Ąm se senão Retornar ó ; Ąm se Ąm se Ąm enqto