Proposta de um Método para o Controle da Qualidade de Dados em Agricultura de Precisão

Transcrição

1 Proposta de um Método para o Controle da Qualidade de Dados em Agricultura de Precisão Allan K. Veiga 1, Wilian F. Costa 1, Etienne A. Cartolano Jr. 1, Antonio M. Saraiva 1 1 Centro de Pesquisa em Biodiversidade e Computação BioComp Escola Politécnica (Poli), Universidade de São Paulo (USP) - São Paulo SP Brasil {allan.kv,wilianfc,cartolano,saraiva}@usp.br Abstract. This paper describes a method for dealing with important Data Quality (DQ) issues in precision agriculture, such as transform poor data into data fit for use; measuring, assessing and improving DQ; and define DQ metrics and concepts. These and others issues can be handled by following the three steps of this method: (1) Identify DQ Needs; (2) Defining a DQ Policy; and (3) Implementing DQ Mechanisms. The application of this method and its periodic reviewing allows organizations controlling the quality of their data, improving the fitness-for-use of data and having better results in precision agriculture. Resumo. Este trabalho propõem um método para tratar importantes questões de Qualidade de Dados (QD) na agricultura de precisão, tais como transformar os dados adequado ao uso; medir, avaliar e melhorar a QD; e definir métricas e conceitos de QD. Essas e outras questões podem ser endereçadas a partir das seguintes etapas do método proposto: (1) Identificação das Necessidades de QD; (2) Definição de uma Política de QD; e (3) Implementação de Mecanismos de QD. A aplicação desse método, associada a sua revisão periódica, permite às organizações controlar a qualidade de seus dados, adequar o uso dos dados e obter melhores resultados na agricultura de precisão. 1. Introdução A Agricultura de Precisão (AP), pode ser caracterizada pelo uso de diversas tecnologias para melhorar as atividades agrícolas (plantio, colheita, fertilização e adequado manejo do solo). A geração de modelos em AP utiliza informações relativas a atributos químicos, físicos e ambientais obtidos durante a fertilização, plantio e colheita para a obtenção de recomendações que possam melhorar a produtividade e minimizar o uso de insumos agrícolas (Coelho, 2005). De acordo com Menegatti & Molin (2003), três são os componentes primários da AP: o sistema de posicionamento global, os mecanismos para controle de aplicação de nutrientes e o banco de dados, que guarda as informações usadas para gerar modelos que definem relações de causa efeito de aplicação de insumos e produtividade. Para alimentar e operar esses componentes, Menegatti & Molin (2003) aponta como necessária a coleta de uma grande quantidade de dados, que pode ser feita de forma automática, com custo relativamente baixo. Contudo, existe um número considerável de erros sistemáticos introduzidos, sendo que apenas alguns desses erros podem ser eliminados por determinados programas computacionais (Menegatti & Molin, 2003).

2 Este trabalho propõe um método que aborda questões de Qualidade de Dados (QD) que vão além de apenas correções de erros pontuais. Este artigo propõe tratar a qualidade como uma componente dos projetos de AP, adotando uma análise prévia, estruturada e sistemática das necessidades de dados do projeto e a definição de aplicação de uma política de QD. A relevância dos dados, e da sua qualidade, justificam a adoção de medidas não somente corretivas, mas também preventivas de tratamento dos dados, que devem seguir um método que permita estruturar tal atividade. 2. Conceitos de QD De acordo com Crosby (1984, apud Wang et al., 1993), é amplamente aceito que a qualidade pode ser definida como a conformidade com os requisitos. Isso implica que o conceito de qualidade muda à medida que os requisitos dos usuários mudam. Assim, para se definir um conceito de qualidade em um determinado contexto, é necessário entender e considerar os requisitos que afetam a satisfação dos usuários dos dados (Rose, 1994). Uma definição frequentemente utilizada para conceituar QD é a de que dados de alta qualidade são dados adequados ao uso (Strong et al., 1997); ou seja, os dados devem servir aos propósitos de quem os usa. De acordo com Wang et al. (1993), em geral, dados de alta qualidade são capazes de representar as condições do mundo real e de serem utilizados de maneira satisfatória pelos seus usuários. Visto que os dados podem ser utilizados de diversas maneiras na AP, a definição de um conceito de QD nesse domínio é um desafio. O entendimento do que é QD em um domínio é essencial para a realização da avaliação da QD. A avaliação da QD consiste em julgar se um conjunto de dados está adequado para ser um utilizado de maneira satisfatória para um determinado propósito específico. Para que essa avaliação da QD seja realizada adequadamente é necessário considerar um conjunto de métricas de QD que forneçam medidas de diversos aspectos da qualidade dos dados. Essas métricas são chamadas de dimensões de QD. Essas métricas são usadas como parâmetros para a melhoria da QD. Essa melhoria pode ser realizada por meio de um conjunto de mecanismos que são implementados para otimizarem as medidas das dimensões de QD. Em suma o mecanismos de QD são responsáveis pela redução de erros que degradam a qualidade. O método proposto por este trabalho tem como objetivo permitir que a QD possa ser medida, avaliada e melhorada dentro de organizações que lidam com AP. O método inclui realizar a identificação das necessidades de QD, a definição de uma política para formalizar conceitos de QD e o desenvolvimento de mecanismos para medir e melhorar a qualidade dos dados na AP. A seguir este método é descrito e exemplificado com aplicações em agricultura de precisão. 3. Proposta de um Método de Controle de QD na Agricultura de Precisão Aplicando o método descrito a seguir no contexto de AP, é possível identificar as necessidades de QD dos usuários dos dados, definir políticas que formalizam a QD e implementar mecanismos para medir e melhorar a QD com o objetivo de continuamente medir, avaliar e melhorar a adequação ao uso dos dados. O método proposto neste trabalho é composto de três etapas principais:

3 1. Identificação de Necessidades de QD: definição de dados adequados ao uso; 2. Definição de uma Política de QD: conjunto de declarações que formaliza como os dados devem estar para atender as necessidades de QD; 3. Implementação de Mecanismos de QD: implementação de mecanismos que façam a política de QD ser cumprida na organização ETAPA I Identificação de Necessidades de QD O objetivo da primeira etapa é entender quais são as necessidades de QD na organização. Esse objetivo pode ser endereçado por meio da identificação, compreensão e das relações entre os seguintes componentes: Elementos de Informação (EI); Dimensões de QD; Problemas de QD; Erros de QD; Fonte de Erros de QD Elementos de Informação Os EI são informações que possuem algum valor na AP. O custo de controle de QD é proporcional a quantidade de EI. Portanto, recomenda-se utilizar os EI que possuem maior valor na AP, caso seja inviável a análise de todos os EI. Os EI podem ser classificados em dois tipos: Simples: elementos que possuem valores atômicos como latitude, longitude, produtividade de massa seca, umidade, ph de solo, K, P, V, CTC, por exemplo; Compostos: elementos compostos por outros EI simples ou compostos, por exemplo, pontos descritos em coordenadas geográficas (latitude, longitude e datum geodésico), linhas formadas por pontos que delimitam os limites de um talhão ou conjunto de polígonos que representam as regiões dos talhões, conjuntos de pontos que representam dados obtido por máquinas, análises de nutrientes e textura do solo, entre outros (Burrough et al., 1998). É importante entender o ciclo de vida dos EI, compreender como essas informações são geradas, gerenciadas, manipuladas e utilizadas, quem são os atores relacionados a essas informações (pessoas, sistemas, equipamentos, organizações) e qual é o valor gerado a partir dessas informações. Os EI são os componentes centrais nas próximas sub-etapa da Identificação de Necessidades de QD, ou seja, a identificação dos próximos componentes serão sempre de acordo com cada um dos EI Dimensões de QD Para cada EI, um conjunto de dimensões de QD relevantes deve ser identificado. Essas dimensões são aspectos de QD, como completeza, acurácia, precisão, credibilidade e temporalidade, por exemplo (Veiga, 2012). A seleção dessas dimensões para cada EI é baseada nas necessidades dos usuários. Por exemplo, a completeza é uma dimensão essencial em EI coordenadas geográficas para a maioria das aplicações em AP. A definição de cada dimensão em relação a cada EI pode variar. Por exemplo, a dimensão de credibilidade em dados de atributos químicos do solo pode estar associado ao método utilizado ou a credibilidade o laboratório contratado para obter essas informações, enquanto que a dimensão de credibilidade em dados geoespaciais pode estar associado ao equipamento ou ao método de georeferenciamento utilizado.

4 A seleção das dimensões de QD e as suas definições em relação aos EI são importantes, pois a partir das dimensões, as medidas de QD serão obtidas, as quais permitirão realizar a avaliação da adequação ao uso dos dados Problemas de QD As dimensões de QD são degradadas por um ou mais problemas de QD. Por exemplo, valores incorretos são problemas que podem degradar a dimensão de acurácia e valores faltantes são problemas que podem degradar as dimensões de completeza e de precisão Erros de QD Os problemas de QD são gerados por um ou mais erros de QD. Por exemplo, erros de digitação podem gerar problemas de valores incorretos e erros de medição de equipamentos podem gerar erros de valores faltantes. Em AP, um exemplos comum de erros de QD é a associação incorreta entre os resultados de uma análise e suas respectivas coordenadas. Em cada análise, as coordenadas são associadas as amostras normalmente em uma junção de tabelas, muitas vezes disponibilizados em planilhas manualmente preenchidas. Nestas planilhas, as coordenadas e respectivas amostras são associadas de acordo com um índice préestabelecido. Erros de associação de índices de amostras, podem causar vários problemas, como valores faltantes para os pontos Fontes de Erros de QD Os erros de QD podem possuir uma ou mais fontes de erros. Por exemplo, a causa dos erros de digitação pode ser a digitação manual dos dados, erros de medição de equipamentos podem ser gerados por equipamentos com defeito, equipamentos ultrapassados ou de baixa qualidade. Entender essas fontes de erros permitem identificar onde estão as vulnerabilidades de QD na organização. Em AP, uma fontes de erros comum está relacionado a não utilização de padrões para troca e geração de informações. Cada laboratório, técnico ou engenheiro agrícola cria suas próprias planilhas, arquivos ESRI Shapefile ou imagem raster lidando com as informações de acordo com suas preferências pessoais e experiências. A troca destas informações e o uso destes dados na ausência do responsável, pode ser um tarefa difícil. Assim, a adoção de padrões interoperáveis para a geração e controle destas informações é um fator essencial para o gerenciamento adequado da QD em AP. Identificar, entender e relacionar os cinco componentes descritos nesta seção permite identificar as necessidades de QD da organização e suportar a criação de uma política de QD apropriada, conforme descrito a seguir (Veiga, 2012) ETAPA II Definição de uma Política de QD O objetivo da segunda etapa é definir uma política de QD que declare como a informação deve estar para satisfazer os requisitos de QD da organização. Baseado nas necessidades de QD, um conjunto de Declarações de QD é estabelecido. Uma Declaração de QD descreve a condição em que o dados deve estar para ter qualidade, por exemplo: Dados referentes aos atributos químicos do solo devem estar georeferenciados, Coordenadas geográficas deve possuir precisão inferior a 20

5 metros, As amostras de solo deverão ocorrer em grade de no máximo 60 metros de distância e profundidade de 20cm ou Pontos de produtividade fora do perímetro do talhão devem passar por avaliação manual antes de ser descartado. Cada Declaração de QD deve ser especificada em Estados de QD. Estado de QD é uma formalização de uma Declaração de QD, onde um dado pode assumir o estado de Com qualidade ou Sem qualidade em relação ao uma Declaração de QD. Por exemplo, o dado possui o estado de Com qualidade em relação a Declaração de QD Coordenadas geográficas deve possuir precisão inferior a 20 metros se P < 20m, onde P representa o valor da precisão das coordenadas geográficas. Considerando que os dados podem ser classificados em dois estados ( Com qualidade ou Sem qualidade ), a política de QD pode ser analisada sistematicamente para verificar a sua aderência as necessidade de QD da organização. Vários métodos podem ser utilizados para a modelagem e a análise da política, como Redes de Petri Colorida ou Qualitative Reasoning, por exemplo. Com a formalização de como os dados devem estar para atender a necessidade de QD, o próximo passo é implementar mecanismos para que os dados atendam a política de QD ETAPA III Implementação de Mecanismos de QD O objetivo da terceira etapa é identificar, projetar, implementar e implantar métodos, técnicas, ferramentas ou procedimentos para impor a política de QD na organização (Veiga, 2012). Cada mecanismo de QD é implementado para impor uma parte da política da QD. A combinação de todos os mecanismos deve cobrir toda a política. Os mecanismos de qualidade de dados podem ser classificados em cinco classes: (1) Prevenção: para prevenir a ocorrência de erros de QD; (2) Detecção: para detectar erros de QD ocorridos; (3) Correção: para corrigir erros de QD detectados; (4) Recomendação: para recomendar correção de erros de QD; (5) Medição: para atribuir um valor qualitativo ou quantitativo a uma dimensão de QD de um EI. Um exemplo de mecanismo detecção de erros de medições é o uso de modelos estatístico para a detecção de outliers. Métodos estatísticos não-paramétricos podem ser utilizados para a recomendações de perfis históricos dos dados (Costa et al., 2013). Mecanismos de prevenção e correção de erros podem ser implementados por meio de serviços web de geoprocessamento (Yang et al., 2010). Esses serviços podem ser mecanismos de tratamentos simples de dados, como a exclusão de valores nulos ou inválidos (Menegatti & Molin, 2004), ou algoritmos complexos, como interpoladores e geradores de recomendação de aplicação de insumos (Santana et al., 2010). 4. Considerações Finais O método proposto neste trabalho permite investigar de maneira sistemática e estruturada as principais necessidades de QD da organização, as fontes de problemas de QD, definir e formalizar uma política de QD que informa como a organização lida com a QD e implementar mecanismos para medir e melhorar a QD. Desse modo, a organização pode controlar a QD por meio da: Medição da QD, onde cada elemento de informação relevante possui valores referentes a qualidade da

6 informação em diversas dimensões; Avaliação da QD, onde o usuário, baseado nas medidas de QD, poderá avaliar se os dados são adequados para determinado propósito; e Melhoria da QD por meio de mecanismos de redução de erros que degradam a QD. Referências BURROUGH, P. A.; MCDONNEL, R. Principles of Geographical Information Systems. Vol Oxford university press Oxford COELHO, A. M. Agricultura de precisão: manejo da variabilidade espacial e temporal dos solos e culturas. Embrapa Milho e Sorgo COSTA, W. F.; SARAIVA, A. M.; VEIGA, A. K.; SANTANA, F. S.; QUINTANILHA, J. A. Applying Multiresolution Segmentation Algorithm to Generate Crop Management Zones based on Interpolated Layers, In: Proceedings of EFITA-WCCA-CIGR Conference Sustainable Agriculture through ICT Innovation. Turim, Itália MENEGATTI, L.A; MOLIN, J. P. Metodologia para identificação e caracterização de erros em mapas de produtividade. Revista Brasileira de Engenharia Agrícola e Ambiental, v7, n2 p Campina Grande, PB MENEGATTI, L.A; MOLIN, J. P. Removal of errors in yield maps through raw data filtering. Revista Brasileira de Engenharia Agrícola e Ambiental, n. 8, ROSE, P. Quality in services and services in quality. Customer Driven Quality in Product Design, IEEE Colloquium on. p SANTANA, F. S.; COSTA, W. F.; SARAIVA, A. M.; MOLIN, J. P.; MURAKAMI, E. Computação orientada a serviços em agricultura de precisão: serviço de recomendação para aplicação de insumos em taxa variável. In: Anais do Congresso Brasileiro de Agricultura de Precisão ConBAP STRONG, D. M.; LEE, Y. W.; WANG, R. Y. Data quality in context. Transactions on Communications of the ACM. 40, n. 5, p VEIGA, A. K. Um estudo sobre qualidade de dados em biodiversidade: aplicação a um sistema de digitalização de ocorrências de espécies Dissertação de Mestrado, Escola Politécnica, Universidade de São Paulo, São Paulo, Brasil. Disponível em: WANG, R.; KON, H.; MADNICK, S. Data Quality Requirements Analysis and Modeling. In: Proceedings of the Ninth International Conference of Data Engineering. p YANG, C. R.; GOODCHILD, R.; GAHEGAN, M. M. Geospatial Cyberinfrastructure: Past, present and future. Computers, Environment and Urban Systems. 34,