Gestão da Informaçãodesafios em: escala, contexto, distribuição, curadoria,...

Transcrição

1 Desafio 1: Gestão da informação Marta Mattoso Semish 2007 Coordenação: Flávio Wagner Lisandro Granville UFRGS UFRGS Edison Ishikawa 30 de junho a 02 de julho Gestão da Informaçãodesafios em: escala, contexto, distribuição, curadoria,... Marta Mattoso Engenharia de Sistemas COPPE Universidade Federal do Rio de Janeiro marta@cos.ufrj.br

2 Problemas técnicos e científicos: Escala 1. Redução (abstração e sumarização) das massas de dados por meio de modelagem computacional, simulações e outros; 2. Utilização de processamento paralelo envolvendo recursos heterogêneos como nas grades (grids) computacionais; 3. Estudos em modelos e mecanismos de conciliação e integração de dados com larga escala de heterogeneidade; 4. Utilização de estruturas de indexação dinâmicas e distribuídas do tipo P2P; 5. Estudo de infra-estruturas adaptáveis e inteligentes para o processamento distribuído de informações; Problemas técnicos e científicos: Contexto 6. Definição e uso da noção de contexto para a recuperação de informação, considerando fatores como localização do usuário, perfil de interesses, objetivos dentre outros; 7. Projeto e implementação de descritores de conteúdo multimodal e algoritmos para extração e indexação desses descritores, permitindo buscas multimodais; 8. Consideração, no armazenamento e recuperação, de fatores inerentes à heterogeneidade na aquisição de dados tais como sensores, celulares, PDAs, etc. ; 9. Trabalho em modelos conceituais dos domínios ou gêneros do entretenimento digital, incluindo o desenvolvimento de métodos e implementando sistemas de manipulação de enredos, ganhando experiência com os requisitos dos diferentes tipos de aplicação;

3 Problemas técnicos e científicos: Curadoria 10. Estudo de formas alternativas de disponibilização da informação, incluindo pesquisa em novos tipos de interfaces; 11. Tratamento da confiabilidade e validade dos dados e da propriedade intelectual; Detalhando Escala Contexto Curadoria

4 Problemas técnicos e científicos: Escala 1. Redução (abstração e sumarização) das massas de dados por meio de modelagem computacional, simulações e outros; Engenharia Computacional

5 DESAFIOS para Ciência & Tecnologia Evolução da Ciência & Ciência em Tempo real Complexidade dos fenômenos Avalanche de informações e conhecimentos Gestão: Monitorar informação, extrair conhecimento e transformar em decisão Evolução da Ciência Ciência baseada em Observações Cientista obtém dados por observação direta Cientista analisam dados Ciência baseada em Análises Cientista constrói o modelo analítico Realiza previsões Ciência baseada em Simulações Simula o modelo analítico Valida o modelo e realiza previsões

6 Evolução da Ciência (cont.) Ciência baseada em Observações Ciência baseada em Análises Ciência baseada em Simulações Ciência baseada em Dados Dados obtidos por instrumentos, sensores ou dados gerados por simulação Processados por software Armazenados em bases de dados/arquivos Cientista analisa bases de dados/arquivos Recursos armazenar, gerenciar, manipular... Modelos Conjunto de idéias que descrevem um processo natural Algoritmos Programas implementação computacional de um modelo Dados Obtidos em redes de sensores Gerados por mecanismos de coleta Gerados por programas científicos Workflows Combinação de modelos ou programas e dados Experimentos Execução de programas e workflows

7 Recursos Fonte: adaptado de Carole Goble, mygrid Recursos Científicos - isolados Filtros, transformadores de formato de dados Execução isolada de programas e workflows Resultado Resultadodo Wf Wf isolado isoladode de parametros parametros Dados isolados dos Processos que os geraram Inúmeros programas disponíveis

8 Com imagens ainda mais crítico Como essas imagens foram criadas? São do mesmo paciente? Usam o mesmo padrão de cores? Fonte: adaptado de Juliana Freire, VisTrails Re-trabalho, Inconsistências Relacionamento implícito Sem compartilhamento de experiências Conhecimento científico localizado Perda de informação Recursos Científicos isolados não escalam

9 Problemas técnicos e científicos: Escala 2. Utilização de processamento paralelo envolvendo recursos heterogêneos como nas grades (grids) computacionais; Open Science Grid 2006 Construído pelo ivdgl (International Virtual Data Grid Laboratory) No pico: Agrega 59 sítios de grid através dos EUA, Brasil e Coréia Sul Mais de CPUs só nos EUA Terabytes de espaço em disco

10 [ Perspectivas de formação em Grid Congresso da SBC 2007 IME- Rio Segunda Escola de Grid VLDB 2007 & Vecpar 2008 Toulouse, FR Workshop em HP Data Grid Projeto EELA UFRJ Tutoriais e escolas Grid- ( Sinapad- MCT Laboratórios

11 Perspectivas de formação em Grid Mais detalhes em: Congresso da SBC 2007 IME- Rio Segunda Escola de Grid Grid Data Management: open problems and new issues Vecpar 2008 Toulouse, FR Esther Pacitti, Patrick Valduriez, Marta Mattoso Segundo Workshop em HP Data Grid Journal of Grid Computing, Springer(to appear) Projeto EELA UFRJ Tutoriais e escolas Grid- ( Sinapad- MCT Laboratórios Problemas técnicos e científicos: Escala 3. Estudos em modelos e mecanismos de conciliação e integração de dados com larga escala de heterogeneidade;

12 Gerência Universal de Dados Data Server Data Server Fonte: Prof. Bernhard Mitschang, Digital Libraries Panorama Data Server Data Server Fonte: Prof. Bernhard Mitschang, Digital Libraries

13 Visão de pesquisas Optimimization Metadata Analysis Data Placem. Transaction Data GRID... Data Server Data Server Business Processes (BPEL) Web Services and Workflow Information Integration Data/Content Management... Fonte: Prof. Bernhard Mitschang, Digital Libraries Problemas técnicos e científicos: Contexto 5. Definição e uso da noção de contexto para a recuperação de informação, considerando fatores como localização do usuário, perfil de interesses, objetivos dentre outros;

14 Problemas técnicos e científicos: Contexto 6. Projeto e implementação de descritores de conteúdo multimodal e algoritmos para extração e indexação desses descritores, permitindo buscas multimodais; 7. Consideração, no armazenamento e recuperação, de fatores inerentes à heterogeneidade na aquisição de dados tais como sensores, celulares, PDAs (i.e., personal digital assistant), etc. ; 8. Trabalho em modelos conceituais dos domínios ou gêneros do entretenimento digital, incluindo o desenvolvimento de métodos e implementando sistemas de manipulação de enredos, ganhando experiência com os requisitos dos diferentes tipos de aplicação; Projetos visionários - Nexus Professor Bernhard Mitschang Applications of Parallel and Distributed Systems: Department Stuttgart University, Alemanha Bernhard.Mitschang@ipvs.uni-stuttgart.de

15 Contexto: Vizinhança Time Table WGS84: 9,175E, 48,7826N H 16:19 Restaurant in 100m? H 16:14 16:17 H Musikhochschule Stuttgart Que contexto é necessário? Geographic context: map data Streets, buildings, land marks, points of interest,... Data source: geographic information systems (GIS) Stationary objects, rarely chaning Dynamic context: movement and change Persons, vehicles,traffic situation, weather,... Data source: sensors Information context: digital world, "cyberspace" web sites, documents, game objects,... Technical context: infrastructure access networks, topology, services (printer, projector,...) Musikhochschule Stuttgart

16 Problemas técnicos e científicos: Curadoria 10. Estudo de formas alternativas de disponibilização da informação, incluindo pesquisa em novos tipos de interfaces; 11. Tratamento da confiabilidade e validade dos dados e da propriedade intelectual; myexperiments, Taverna Projetos visionários - mygrid UK e-science project Professor Carole Goble The University of Manchester, UK carole.goble@manchester.ac.uk

17 Alguns Desafios De onde vem o conhecimento (Fala com o Nelson)? Como modelamos a qualidade (Fala com a Ana)? Escalabilidade da tecnologia da Web Semantica? Visualização do conhecimento (Ver com Gerson)? Qual o ciclo de vida da proveniência? Modelos diferentes de conhecimento para domínios diferentes? knowledge Camadas de proveniência Proveniência que faz parte do conhecimento do domínio Proveniência para o contexto vs execução workflow Pessoas vs máquina Modelos diferentes para itens diferentes, mas precisam de integração Tecnologias flexíveis para compartilhamento e integração provenance Fonte: adaptado de Carole Goble, mygrid Mãos à obra! Processos e Técnicas Engenharia de Aplicações Científicas Gerência de Workflow Científico Ambientes Computacionais (HPC) em Grid, redes móveis, sensores, etc Proveniência e curadoria de dados Mecanismos para Gerenciamento e Manutenção de Conhecimento Científico

18 Workshop on E-Science SDDD/SBES 2007 Submissões abertas! Obrigada! Marta Mattoso COPPE/ Sistemas Universidade Federal do Rio de Janeiro