A qualidade dos dados digitalizados: padrões e procedimentos

Transcrição

1 A qualidade dos dados digitalizados: padrões e procedimentos Rui Figueira Museu Nacional de História Natural e CERENA Centro de Recursos Naturais do IST

2 Objectivo Reflectir e discutir os princípios de qualidade dos dados de ocorrência de espécies; a importância dos padrões de dados e prática na avaliação da qualidade, incluindo a georreferenciação Índice Os utilizadores de dados de biodiversidade Conceitos Garantir a qualidade em todas as fases do processo Prática de Georreferenciação Conclusões

3 Fontes Documentos disponibilizados pelo GBIF em Principles of Data Quality ( Principles and Methods of Data Cleaning ( Guide to Best Practices for Georeferencing (

4 Utilizadores A comunidade de utilizadores de dados de biodiverisdade é vasta: os próprios responsáveis pela produção dos dados: taxonomistas, investigadores, técnicos, colectores; utilizadores não envolvidos na produção de dados: decisores políticos, cientistas, agricultores, produtores florestais, gestores ambienatis, ONGAs, profissionais da área da saúde, profissionais na área farmacêutica, diversas indústrias, jardins botânicos e zoológicos, etc.

5 Exemplo de utilização Avaliação de risco para a saúde Cislaghi C, Nimis PL, Nature 387,

6 Que informação? O quê Ramalina canariensis J. Steiner Dados Taxonómicos/nomenclaturais Onde Dados espaciais Quem Dados da colecção Quando Dados da colecção O quê Dados descritivos

7 Os padrões de dados Para que a rede que integra o GBIF possa partilhar e integrar os dados de vários fornecedores, tem de estar baseada em padrões de dados: ABCD (Access to Biological Collection Data) Pretende a cobertura completa e unificada das colecções biológicas. É por isso complexo Darwin Core Tabela HTML: Core2Draft_v1-4_HTML

8 Darwin Core2 O Darwin Core 2 é um conjunto simples de definições de tipos de dados destinado a suportar a partiilha e integração de dados primários de biodiversidade Ver Tabela

9 Conceitos Exactidão (accuracy) proximidade dos valores medidos, observados ou estimados, aos valores reais ou verdadeiros Precisão ou resolução (precision) precisão estatística proximidade (ou variabilidade) entre várias observações precisão numérica resolução, número de dígitos significativos para uma determinada observação alta precisão, baixa exactidão 2-baixa precisão, baixa exactid 3-baixa precisão, alta exactidão 4-alta precisão, alta exactidão

10 Conceitos Qualidade Quando se trata de dados espaciais, é aceite que a qualidade depende da utilização que lhes será dada A qualidade dos dados é multidimensional, envolvendo a gestão dos dados, análise e modelação, controlo de qualidade, armazenamento e apresentação.

11 Conceitos Incerteza e Erro Existe sempre incerteza nos dados, ou seja, na forma como o observador apreende/compreende os dados. O erro inclui as imprecisões e inexactidões. Pode ser aleatório ou sistemático. Um exemplo de erro sistemático é a definição errada de um datum.

12 Conceitos Validação e limpeza A validação consiste em determinar se os dados são inexactos, incompletos ou não razoáveis. Exige a verificação de: formatos outlier informação completa razoabilidade e consistência limites identificação de outliers

13 Conceitos Validação e limpeza A limpeza consiste na correcção dos erros. É importante garantir que os dados não são perdidos inadvertidamente. Muitas vezes é melhor reter quer os dados antigos como os corrigidos, lado a lado, na base de dados

14 Princípios de qualidade dos dados A visão, a política e a estratégia É importante que uma instituição defina a sua visão, política e estratégia em relação à qualidade dos dados a definição de uma visão força uma instituição a pensar a longo prazo sobre a suas necessidades de informação e de dados motiva as acções da instituição e fundamenta as decisões intra e extra-organização a implementação de uma política força o pensamento abrangente sobre a qualidade, e reavaliar as práticas do dia-a-dia

15 Princípios de qualidade dos dados A visão, a política e a estratégia formaliza o processo de gestão dos dados apoia na definição de objectivos para: reduzir custos, aumentar a qualidade dos dados, melhorar a relação com os destinatários, melhorar os processos de decisão

16 Princípios de qualidade dos dados A visão, a política e a estratégia a estratégia permite decidir a abordagem a vastas quantidades de dados, podendo ser definida a curto, médio e longo prazo curto-prazo; dados que podem ser processados e verificados em 6 a 12 meses médio-prazo: dados que podem ser processados em 18 meses, sem aumento significativo de custos longo-prazo: dados que podem ser processados ou verificado com base nos seguintes critérios grupos taxonómicos revistos recentemente colecções importantes grupos importantes (famílias importantes, taxa relevantes a nível nacional, taxa ameaçados)

17 Princípios de qualidade dos dados São princípios de boa gestão de dados não reinventar a roda observar a eficiência na recolha de dados e procedimentos de controlo de qualidade partilha de dados, informação e ferramentas utilizar padrões, ou desenvolver novos procurar parcerias e criação de redes reduzir a duplicação na recolha de dados e controlo de qualidade assegurar a criação de boa documentação e de metadados

18 Princípios de qualidade dos dados A prevenção é o melhor remédio

19 Princípios de qualidade dos dados As seguintes características devem ainda ser observadas: conjunto de informação mínima completa

20 Princípios de qualidade dos dados As seguintes características devem ainda ser observadas: consistência dados representados sempre da mesma forma utilizar listas para a entrada de dados

21 Princípios de qualidade dos dados As seguintes características devem ainda ser observadas: flexibilidade para comportar o dinamismo do processo transparência os erros, se não corrigidos, devem ser evidenciado definir controlos

22 Princípios de qualidade dos dados As seguintes características devem ainda ser observadas: minimizar a duplicação e reedição dos dados manter os dados originais a definição de categorias pode levar à perda de qualidade

23 Princípios de qualidade dos dados As seguintes características devem ainda ser observadas: documentação é um princípio chave, permite ao utilizador verifica o ajustamento dos dados ao seu objectivo feedback definir mecanismos para promover o feedback dos utilizadores, e fazer com que estes se reflictam na qualidade dos dados formação e treino pode aumentar largamente a qualidade dos dados. Deve estender-se desde os colectores até aos operadores de inserção de dados e gestores da base de dados. Depende bastante d documentação produzida

24 Dados taxonómicos e nomenclaturais Consiste nos seguintes elementos: nome (científico, comum, hierarquia, rank) estado nomenclatural (aceite, typus, sinónimo) referência (autor, local e data de publicação) determinador elementos de qualidade (exactidão da identificação, qualificadores) Tipos de erro erros de escrita minimizado pela utilização de dicionários de nomes aceites. Os IDs da fonte devem ser mantidos para facilitar a actualização A utilização de desenhos relacionais das bases de dados permitem garantir a coerência e minimização dos erros erros na identificação registar indicação da certeza da identificação

25 Dados do colector e da colheita Consiste nos seguintes elementos: autor da colheita de nº de colector experiência do observador data e período de colheita método de colheita (em particular para dados observacionais) dados associados

26 Captura dos dados Pode ser efectuada da seguinte forma: oportunista campanha de campo observações de larga escala em grelhas Nº ind Diversidade

27 Entrada de dados A interface deve facilitar a entrada de dados sem erros

28 Entrada de dados A interface deve facilitar a entrada de dados sem erros

29 Dados espaciais Ferramentas para a georreferenciação Transformação de coordenadas do IGeoE BioGeoMancer Classic Com serviço de georreferenciação, que inclui um interpretador de texto (em inglês) para a atribuição automática de coordenadas MaNIS Com documentação e ferramentas para a georreferenciação

30 Dados espaciais Importância de boa descrição do local Descrições do local como: Sines, São Torpes, junto a casa com antena tem pouco valor após algum tempo... É importante utilizar referências estáveis no território, e se forem pontos, aumenta a precisão Evitar a utilização de termos como próximo de..., centro de..., oeste de... Fornecer sempre uma descrição da localidade, ainda que se tenha obtido coordenadas

31 Dados espaciais Importância de boa descrição do local Registar coordenadas com o máximo de precisão possível A informação do Datum é essencial e deve ser sempre registada Se se utilizar UTM, registar também a zona. Ao utilizar GPS, é necessário verificar as condições de recepção, e registar a precisão A altitude não é registada com precisão aceitável através do GPS Registar a extensão da área de estudo e o ano da colheita

32 Dados espaciais Georreferenciar dados de colecções Classificar a descrição do local Determinar a Lat/Long Utilizar os desvios para determinar as coordenadas Determinar a extensão do local Calcular a incerteza extensão da localidade datum desconhecido imprecisão na medição de distância imprecisão na medição da direcção imprecisão da medição das coordenadas escala do mapa

33 Calcular a incerteza Dados espaciais MaNIS Permite calcular a incerteza de uma georreferenciação

34 Gazetteers Permitem a pesquisa de localidades para identificação das suas coordenadas IGeoE-SIG Alexandria Digital Library

35 Dados espaciais Validar a georreferenciação/identificação taxonómica É possível a validação dos passos de georreferenciação, ou de identificação do espécimen, por observação do mapa de distribuição. Os locais outliers devem ser verificados novamente, em particular se a restante informação (ecológica, distribuição potencial) não é coerente com a do local suspeito

36 Documentação A documentação deve existir ao nível do conjunto de dados, e ao níve do registo Os metadados fornecem informação sobre o conteúdo, extensão, acessibilidade, estado de desenvolvimento, ajuste aos propósitos e adequabilidade para o uso Os metadados deverão detalhar: a exactidão da localização espacial a exactidão dos atributos lineage - descreve as fontes de dados assim como o processamento até ao seu estado actual estado de desenvolvimento acessibilidade - contactos, condições e métodos de acesso, formato dos dados, copyright, custos, restrições de utilização

37 Armazenamento dos dados O armazenamento dos dados tem um efeito na qualidade dos dados, de várias formas Backups - a realização regular de cópias de segurança ajuda a garantir a qualidade dos dados Arquivo - arquivar dados, incluindo os obsoletos, em particular de dados de várias fontes (universidades, particulares, ONGAs), que, po estarem dispersas, dificultam o acesso à informação

38 Conclusões A qualidade dos dados depende do uso que lhes é destinado, e é função de um conjunto multivariado de factores A documentação de todas fases do processamento dos dados é essencial para assegurar aos operadores na instituição, e aos utilizadores dos dados, que os procedimentos e usos são adequados O conjunto de documentos guia e ferramentas disponíveis apoia na determinação de níveis de precisão e exactidão dos dados