Início KDD. Avançados. Bancos de Dados. Disponíveis na webpage

Transcrição

1 Sobre esses Slides Bancos de Dados Avançados DCC030 TCC: Bancos de Dados Avançados (Ciência Computação) DCC049 TSI: Bancos de Dados Avançados (Sistemas Informação) DCC842 Bancos de Dados (Pós Graduação) MIRELLA M. MORO p// / Disponíveis na webpage NÃO são suficientes! Slides em inglês são provenientes das disciplinas de banco de dados da Stanford University, escritos pelo profs. Jeff Ullman e Hector Garcia Molina (a menos que tenha um M ao lado do número do slide) 2 science puzzle explained.html data scientist is being called the sexiest job of the 21st century/ 4 g,, Início SGBD Modelagem, estrutura, consulta Aplicações tradicionais NoSQL: texto, documentos, grafos e afins Agora Conexão: Web, streams, móveis, paralelo, workflow, Contexto: t nuvem, hardware, privacidade, id d proveniência i Coleta, extração, indexação, processamento, entrega IR E.g., sistemas de recomendação e classificadores KDD Descobertade Conhecimento Mineração de Dados E.g., aprendizado de máquina e big data analytics Bancos de Dados 5 Os salários, por áreas de atuação, também sobem na medida da qualificação do profissional. Além da experiência, ditada por anos de trabalho no setor, a formação acadêmica também pode significar um incremento importante no salário. Um profissional de Arquitetura da Informação com mestrado ou doutorado pode ganhar até 74,7% mais do que um que possui apenas formação superior. 15 de agosto de

2 Quanto Ganha Profissional de TI TI Geral Bancos de Dados Diretor: R$ Gerente: R$ Gerente: R$ Coordenador: R$ Coordenador: d R$ Supervisor: R$ Consultor: R$ DBA Oracle: R$ Analista Negócios: R$ DBA Pleno: R$ Analista: R$ DBA SQL: R$ Técnico em TI: R$ Redes de Computadores, analista: R$ Processamento de dados, analista: R$ Programador, android: R$ Segurança da informação, pleno: R$ ganha um profissional de ti/ 7 8 Linhas de pesquisa: Mirella Gerência de dados da Web Processamento de Consultas Biblioteca Digital BDBComp Redes Sociais Redes Sociais Acadêmicas Índices de Produtividade Sistemas de Recomendação Outros tópicos NoSQL, BigData Modelagem de Dados SIGMO OD 16 SFO SI GMOD 13 3 NYC exame/edicoes/1108/noticias/para os cientistasde dados nao ha desemprego SIGM MOD 12 Objetivo Esta disciplina visa o estudo de conceitos avançados de bancos de dados incluindo aspectos operacionais em sistemas de bancos de dados técnicas para armazenamento modelagem e consulta a dados estruturados e semiestruturados PHX 9 10 Ensinar NÃO é objetivo Programação em SQL embutido Truques DB2, Oracle, MS SQL Server, Implementação interna DB2, Oracle, MS SQL Embora possam ser vistos no trabalho final Implementar Um banco de dados do zero (embora seja uma excelente ideia ) Aplicações de banco de dados (embora possa ser feito no trabalho final) Preparar para Provas de certificação Provas de concursos POSCOMP Desenferrujar OU Revisar conceitos NÃO é objetivo Ter mais chances de entrar no PPGCC 11 12

3 Objetivo (de novo) Esta disciplina visa o estudo de conceitos avançados de bancos de dados incluindo aspectos operacionais em sistemas de bancos de dados técnicas para armazenamento modelagem e consulta a dados estruturados e semiestruturados Programa 1. Revisão dos conceitos básicos de banco de dados. 2. Armazenamento de dados: organização de arquivos, índices em árvore e hash 3. Processamento de consultas: ordenamento externo, avaliação de operadores relacionais, tradução de SQL para álgebra, seletividade e estimativa de custo, otimizador típico 4. Processamento de transações: transação e conceitos do sistema, propriedades ACID, agendamento de transações, suporte em SQL 5. Controle de concorrência: gerenciamento de bloqueios, protocolos de controle de concorrência 6. Recuperação de falhas: conceitos de recuperação, ARIES, log, protocolo de logs, pontos de verificação, backup e recuperação 7. Segurança e integridade dd 8. DEMAIS CONCEITOS ATUAIS (XML/NoSQL, Recomendação...) Avaliação Detalhes Exercícios e Participação: 30 pontos (2 exercícios online + 1 apresentação artigo) Trabalho Final Apresentação: 30 pontos (pode ser em dupla) Trabalho Final Escrito: 40 pontos (pode ser em dupla) Bibliografia G Molina Molina, Ullman, Widom: DatabaseSystems:The CompleteBook Book. 2001/2008. Elmasri, Navathe: Sistemas de Banco de Dados, Ramakrishnan, Gehrke: Database Management Systems Silberchatz, Korth, Sudarshan: Database Systems Concepts, Exercício 0 PREENHER O QUESTIONÁRIO antes da próxima aula goo.gl/85f43pgl/85f43p Cronograma: SERÁ ADAPTADO ~tamanho turma 15/03 EXERCÍCIOS DE REVISÃO de conceitos básicos Vejam slides online, estudem se necessário 22/03 Discussão trabalhos: TRAGAM LAPTOPS 26/04 Exercícios de Avaliação 1 online e com consulta 03/05 Aula especial escrita/apresentação artigos 08,10/05 Apresentação INTERMEDIÁRIA 14 26/06 Apresentação FINAL 28/06 Exercícios de Avaliação 2 online e com consulta 10/07 meio dia ÚLTIMA OPORTUNIDADE entregas 1. Desenvolvimento Trabalho Final dois tipos diferentes de trabalho Aplicação funcionando Entregarrelatório relatório até 10pgs: funcionalidades daaplicaçãoaplicação 2. Pesquisa Seminário com os resultados da pesquisa Entregar artigo até 10pgs formato SBC: motivação, estado da arte e resultados da pesquisa SBBD Uberlândia, logo ali JIDM: mensal Anais do SBBD: fevereiro e maio Posteres/Demo: julho 17 18

4 1. Conceitos *básicos* Trabalho Final duas apresentações 08-10/05 (a confirmar) 10 a 15 minutos (depende do número de grupos) O que é, importância/relevância, casos de uso PARTICIPAÇÃO DA TURMA!!!!! Críticas, sugestões, ajuda 2. Trabalho final 14 26/06 (a confirmar) 20a 30minutos (depende do número de grupos) Aplicação ou Pesquisa Temas Trabalho Final (EM >>DUPLAS<< Maiores detalhes: 22/03) Trabalhos em colaboração com outras disciplinas Bancos de Dados Geográficos (Clodoveu) Bancos de Dados Web (Alberto) Mineração de Dados (Wagner) PAA (Jussara et al) Classes de Grafos (Vinícius) RI+ Comp. Social (Jussara + Marcos) O trabalho da disciplina Recomendação (Rodrygo) pode servir para iniciar > Falar com os professores dissertação/tese ou para ser o POC/monografia Temas de Pesquisa 1. Nonrelational data 1. Temporal XML (graph, nosql,...) 2. XML Benchmarks 2. Big data 3. XML Publish/Subscribe 3. Keyword search 4. XML Ranking 4. Probabilistic processing 5. XML Retrieval 5. Ranking 6. XML Native Databases 6. Recommendation exist, MonetDB/Xquery, myxmldb, Ozone, Sedna, 7. Social networks Tamino 8. Stream processing 9. Uncertain data dt O trabalho da disciplina pode servir para iniciar dissertação/tese ou para ser o POC/monografia Para Incentivar a Pesquisa Seminário para trabalhos publicados CIDR 2017 (8SIGMOD ( ) Biennial Conference on Innovative Data Systems Research top top top ATIVIDADE Escolher um artigo publicado e marcar como seu (planilha CIDR + 8SIGMOD) html (PDF + slides) Ler e entender (contexto, problema, solução, avaliação) Preparar a apresentação (ou pegar a pronta) Reduzir para 5 minutos (depende # trabalhos) Apresentar para a turma Exemplos de Publicações Trabalhos em temas interessantes dissertação, tese, poc, monografia; exemplos de semestres anteriores: XML em GPU SBBD 12 TripTag: redes sociaisde turismo SBBD 13 QualiDados: jogo qualidade dados SBBD 13 GeoNoSQL: BD geoespacial em NoSQL CotB 14 NoSQL Geo: performance DEXA 15 Predição MMA SBBD demo 15 Taxonomia Geo cidadão SBBD short 15 Análise Colaborações Acadêmicas SBBD demo 15 VersionGraph: controle versões grafo SBBD demo 15 [só BDA] POIView: pontos de interesse SBBD demo 15 [só BDA] Colaborações no GitHub: análise SBBD short 16 Outros Deadlines Junho L.A LA Junho Hawaii Junho Gramado Julho SocInfo Agosto CASON Agosto GeoInfo@ Campos do Jordão Agosto L.A. LA 23 24

5 Bancos de Dados Avançados A seguir: introdução ao conteúdo da disciplina Do You Know SQL? Explain the difference between: SELECT b FROM R WHERE a<10 OR a>=10; and SELECT b FROM R; And How About These? SELECT a FROM R, S WHERE R.b = S.b; SELECT a FROM R WHERE b IN (SELECT b FROM S); Introduzindo Programa de milhagens BDA Você acumula pontos [participação + extra] Participando de discussões (saber seu nome) Escrevendo no quadro as respostas para exercícios Fazendo exercícios e entregando POR MOODLE turma CC até 09hs Explique a diferença entre (c) SELECT a (a) SELECT b FROM R FROM R, S WHERE R.b = S.b; WHERE a<10 OR a>=10; e e (b) SELECT b FROM R; (d) SELECT a FROM R WHERE b IN (SELECT b FROM S); 29 Interesting Stuff About Databases It used to be about boring stuff: employee records, bank records, etc. Today, the field covers all the largest sources of data, with many new ideas. Web search Data mining Scientific and medical databases Integrating information 30

6 More Interesting Stuff Database programming centers around limited programming glanguages g Only area where non Turing complete languages make sense Leads to very succinct programming, but also to unique query optimization problems Still More You may not notice it, but databases arebehind almosteverything you do on the Web Google searches Queries at Amazon, ebay, etc And More Databases often have unique concurrencycontrol problems Many activities (transactions) at the database at all times Must not confuse actions, e.g., two withdrawals fromthe sameaccount account must each debit the account Banco de Dados Avançados Databases [IBD] Collection of information that exists over a long period of time, often many years Collection of data that t is managed by a DBMS: Create new DBs + specify their schema, DDL Query data + modify data, DML Storage of very large amounts of data: durability, secure, efficient access Control access to data from N users at once, w/o conflicts and corrupting data Early ages Databases = FILES Airline reservation systems Banking systems Corporate records 35M 36M

7 Databases = RDBMS IBD (DCC011) Relations = Tables SELECT balance FROM Accounts WHERE accountno = 67890; 1.Examine all tuples from Accounts [FROM] 2.Pick out those that satisfy criteria [WHERE] 3.Produce answer with specific attributes of those tuples [SELECT] Smaller and Smaller Systems DBMS = large, expensive, on large computers N giga DBMS PC 1 single disk 37M 38M Bigger andbigger Systems One gigabyte isn t much data Corporate = 100s GB Retail chains = N TB [1000 GB = 10^12b] INT, CHAR.JPG,.MP3,.MPG 1h video = 1GB.MPG Satellite = PB [1000 TB = 10^15b] Houston, we have a problem Melhordefinição ainda O que distingue um sistema de BD de qualquer q outro software é: SBDs assumem que os dados são tantos e tão grandes que (geralmente) não cabem na memória principal p e devem ser alocados primariamente em disco o tempo todo 39M 40 Smaller / Bigger Systems Tertiary Storage Terciary device: more than a disk Usually transporting an object (storing reading) CD, DVD, clusters Smaller / Bigger Systems Parallel Computing Store enormous volumes of data accessing large amounts of that data quickly Speed up Index structures Parallelism: reading disks in parallel, distributed system, high speed network Store large amount of data + move quickly = query performance???? 41M 42M

8 Smaller / Bigger Systems And More Store large amount of data + move quickly = query yperformance???? Storage + access + algorithms!! Algorithms: break queries up for parallel l / distributed computers VERY ACTIVE RESEARCH AREA Client Server and Multi Tier Architecture Server = bottleneck Client application server (connections, transactions, authorization, ) Server web servers as clients (end user apps) Multimedia Data Information Integration (Web, data warehouse) 43M 44M DBMS Trabalho Final é tudo Trabalho final MAIOR Conceitos básicos Exercícios de Avaliação 1 Trabalho final outras disciplinas + monografias Próximas aulas imperdíveis Submissões para N confs, SBBD/JIDM