Motivação. Armazenamento de Dados -- Ficheiros & Bases-de-Dados -- Motivação (2) Sistemas de Informação

Transcrição

1 Motivação Armazenamento de Dados -- Ficheiros & Bases-de-Dados -- Sistemas Informáticos I, 2005/2006 SLIDES 8 Departamento de Engenharia Informática Numerus clausus = 120, Duração média=4.5anos Alunos Inscritos 120x4.5 = 630 Adicionemos alunos de mestrado, doutoramento, docentes e funcionários ~ 1000 pessoas Sistema de Informação struct Pessoa { char nome[80]; long BI; char morada[200]; pixel_rgb fotografia[640][480];... }; sizeof(pessoa) 900 Kbyte 900Kbyte * Mbyte Motivação (2) É necessário armazenar os dados de forma persistente (i.e. não volátil) Não é possível manter simultaneamente todos os dados em memória, mesmo quando o programa está em execução Os 900 Mbyte foram uma estimativa por baixo! Sistemas de Informação Actualmente, é comum separar-se as aplicações em dados persistentes e lógica de negócio Em sistemas pequenos : Ficheiros directos Em sistemas grandes : Bases-de-dados Lógica de Controlo Dados Persistentes Programa 1

2 Sistema de Ficheiros Sistema de Ficheiros: Recurso directamente disponível a nível do sistema operativo O SO apenas oferece primitivas para: Abrir e fechar ficheiros Ler e escrever blocos de bytes no ficheiro O programador é responsável por programar toda a gestão de dados nos ficheiros Índices para pesquisas rápidas, tolerância a erros, gestão de concorrência, etc. Bases-de-Dados Existe um programa especial (SGBD Sistema de Gestão de Base-de-Dados) que faz toda a gestão dos dados Oracle, MS-SQL Server, Postgre, MySQL, etc. O programa estabelece uma ligação à base-de-dados utilizando um protocolo chamado ODBC A BD pode estar na mesma máquina ou noutra máquina Através da ligação, envia os seus dados e pode fazer pesquisas SQL = Structured Query Language Aplicação Aplicação ODBC Base de Dados SGBD (Sistema de Gestão de BD) Acesso a ficheiros Sistemas de Ficheiros O sistema operativo disponibiliza funções para: Abrir e fechar ficheiros open() / close() Ler e escrever dados read() / write() Quando se abre um ficheiro, é retornado um handle (inteiro) que representa o ficheiro nesse processo 2

3 Acesso a ficheiros (2) Como é que o SO organiza os ficheiros? Associado a cada handle, que representa um ficheiro aberto, também existe um FILE POINTER (FP) O FP representa a posição corrente de leitura ou escrita no ficheiro O FP é incrementado automaticamente sempre que há uma leitura ou escrita Ficheiro FP Associado a cada handle existe um buffer de dados Princípio da localidade temporal e espacial Funciona como cache e prefetch Árvore de Directorias Como é que o SO sabe onde estão os ficheiros? Disk Data Layout 3

4 Disk Performance Parameters Access time Ta = (seek time) + (rotational delay) The time it takes to get in position to read or write. Seek Time & Rotational Delay Today, the common size of a disk is about 9cm. Average seek time: 5 to 10 ms. Data transfer occurs as the sector moves under the head. At 10,000 rpm the rotational delay is 3ms. Floppy disks rotate between 300 and 600 rpm. The average delay will be between 100 and 200 ms. Transfer Time Average Total Access Time T = b r. N Ta = Ts b 2r rn T = transfer time b = number of bytes to be transferred N = number of bytes on a track r = rotation speed, in revolutions per second Ts = average seek time 4

5 Exemplo Consider a disk with average seek time of 10 ms, rotation speed of 10,000 rpm, 512-byte sectors with 320 sectors per track. Suppose we want to read a file with 2560 sectors for a total of 1.3MBytes. What is the Total Transfer Time? Exemplo: v1 First, we assume that the file is stored on contiguous on disk, and occupies all the sectors in 8 adjacent tracks (8 tracks x 320 sectors/track = 2560 sectors). This corresponds to a sequential storage of the file. T1 = Time to read first track: T1 = 10 (seek time) + 3 (rotational delay) + 6 (read 320 sectors) = 19ms Next reads the seek time will be 0. Each sucessive track is read in (3 + 6) = 9 ms Total time = x 9 = 82 ms = 0,082 seconds Exemplo: v2 Now, assume the file is spreaded over the disk, and the acessess to the sectors are distributed randomly. For each sector we have: T sector = 10 (seek) + 3 (rotational delay) (read 1 sector) Total time = 2560 x = ms = secs Conclusions from this example The order in which the sectors are read from the disk has a tremendous effect on I/O performance. Seek time is the reason for differences in performance. For a single disk request there will be a number of I/O requests. If requests are selected randomly, we will get the worst possible performance. In this case it is 406 times slower!!! 5

6 Disk Scheduling Policies Disk Scheduling Policies First-in, first-out (FIFO) Process request sequentially. Fair to all processes. Approaches random scheduling in performance if there are many processes. Disk Scheduling Policies Priority Goal is not to optimize disk use but to meet other objectives. Short batch jobs may have higher priority. Provide good interactive response time. Disk Scheduling Policies Shortest Service Time First (SSTF) Select the disk I/O request that requires the least movement of the disk arm from its current position. Always choose the minimum Seek time. 6

7 Disk Scheduling Policies SCAN The disk arm starts at one end of the disk, and moves toward the other end, servicing requests until it gets to the other end of the disk, where the head movement is reversed and servicing continues. Disk Scheduling Policies C-SCAN Restricts scanning to one direction only. The head moves from one end of the disk to the other, servicing requests as it goes. When it reaches the other end, however, it immediately returns to the beginning of the disk, without servicing any requests on the return trip. Disk Scheduling Policies N-step-SCAN Segments the disk request queue into sub-queues of length N. Sub-queues are process one at a time, using SCAN. New requests added to other queue when queue is processed. FSCAN Two queues. One queue is empty for new request. Disk Scheduling: Exemplo Request queue (0-199). 98, 183, 37, 122, 14, 124, 65, 67 Head pointer 53 7

8 FCFS SSTF SCAN C-SCAN 8

9 C-LOOK C-LOOK Version of C-SCAN Arm only goes as far as the last request in each direction, then reverses direction immediately, without first going all the way to the end of the disk. Disk-Scheduling Algorithms Como saber quais os sectores onde está um ficheiro? SSTF is common and has a natural appeal SCAN and C-SCAN perform better for systems that place a heavy load on the disk. Either SSTF or LOOK is a reasonable choice for the default algorithm. Contiguous allocation Linked allocation Indexed allocation Performance depends on the number and types of requests. Requests for disk service can be influenced by the file-allocation method. 9

10 Contiguous Allocation Linked Allocation FAT: File Allocation Table Indexed Allocation 10

11 Um exemplo prático FAT (DOS/Windows) O disco encontra-se dividido em sectores (clusters), a unidade mínima de informação a que se consegue aceder num disco No início do disco (disquete) existe: Boot sector File Allocation Table (FAT) Disk Root Directory FAT Cada entrada da FAT indica qual o próximo sector que um certo ficheiro ocupa Cada entrada da Disk Root Directory indica o nome e atributos de um certo ficheiro, assim como o seu primeiro sector Disco Exame.doc RH : Frequência.doc RH : Boot FAT Directory Table Data EOF EOF FREEEOF 214 BAD EOF O ficheiro Frequência.doc ocupa os sectores 201, 203, 204 e Questões A Disk Root Table apenas contém as entradas do directório raiz do disco. Como é que são guardadas as sub-directorias? FAT16 quer dizer que os ponteiros na FAT são de 16 bits. Qual é o número máximo de ficheiros que o disco pode ter? Tendo um disco de 40Gbytes, qual seria o tamanho de cada sector (cluster)? Vê algum problema nisso? (hoje, em Windows, quando não se utiliza NTFS utiliza-se FAT32) Voltemos ao Sistema de Informação Suponhamos que armazenamos todas as pessoas do DEI num ficheiro sequencial Pessoas.dat JOANA FRANCISCA R. Fernão Lop Qual é o problema se quisermos encontrar o aluno com o BI Nº ? Esquecendo as caches Tempo médio de acesso ao disco = 10ms Em média temos de percorrer ½ ficheiro = 500 entradas 500 entradas X 10ms = 5000ms = 5s!!! 11

12 Utilização de Índices Se se sabe que vão ser feitas pesquisas por BI, cria-se uma tabela especial que para cada BI indica qual a entrada no ficheiro que a contém. Esta tabela chama-se um índice sobre o BI A tabela é armazenada conjuntamente no ficheiro ou num ficheiro à parte Pessoas.dat Utilização de Índices Os índices resultam porque Tipicamente o tamanho do índice é muito mais pequeno do que o tamanho dos dados Muitas vezes é mesmo possível manter todo o índice em memória Os índices podem estar ordenados (pesquisa binária) ou pode-se fazer hashing ( ) ( ) BI Entrada Este tipo de tabelas é conhecida como TABELA INVERTIDA (Inverted Table) Tamanho do Índice Atenção: em muitos sistemas, o tamanho dos índices pode tornar-se um problema. Bases de Dados No nosso caso e admitindo que o Sistema de Informação comporta no máximo alunos, qual é que teria de ser o tamanho da tabela de índices para BIs? 12

13 Bases-de-Dados Modelo de Dados Aplicação ODBC Base de Dados SGBD (Sistema de Gestão de BD) A maioria das bases-de-dados actuais seguem o chamado MODELO RELACIONAL No Modelo Relacional, os dados são vistos em termos de tabelas e relações entre tabelas A aplicação estabelece uma ligação ao SGBD que é responsável por manter todos os dados da aplicação O protocolo de comunicação utilizado é ODBC A linguagem utilizada para falar com a BD chama-se SQL (Structured Query Language) A base-de-dados tem obrigação de: Mandar os dados de forma persistente Facilitar a forma como a gestão dos dados é realizada Responder a interrogações e actualizações de forma rápida Tolerar falhas (e.g. faltar a luz a meio de uma escrita) Tabela Alunos Tabelas Chave Primária: Atributo especial que permite identificar univocamente um tuplo Atributo: Algo que caracteriza a entidade Relacionamentos Tabela Alunos Tabela Cadeiras Tabela Inscrições Tuplo: Conjunto ordenado de dados relacionados 13

14 Relacionamentos Exemplo Prático MS Access A tabela Inscrições está relacionada com a tabela Alunos e Cadeiras As chaves primárias dos relacionamentos aparecem como atributos da chave do relacionamento Queries Como as tabelas estão relacionadas, é possível fazer interrogações (queries) à base-de-dados Exemplo: Quais os nomes e anos de nascimento dos alunos que estiveram inscritos a Tecnologias dos Computadores em 1998 Queries - SQL Quais os nomes e os anos de nascimento dos alunos que estiveram inscritos a Tecnologias dos Computadores em SELECT FROM WHERE nome, ano_nasc alunos A, cadeiras C, inscrições INS nome_cadeira= Tecnologias dos Computadores AND INS.ano = 1998 AND C.num_cadeira = INS.num_cadeira AND INS.num_aluno = A.num_aluno

15 Queries - SQL Inserção de Dados - SQL 6 As queries em SQL também retornam tabelas SELECT nome, ano_nasc FROM alunos A, cadeiras C, inscrições INS WHERE nome_cadeira= Tecnologias dos Computadores AND INS.ano = 1998 AND C.num_cadeira = INS.num_cadeira AND INS.num_aluno = A.num_aluno Também se podem inserir dados na base-de-dados INSERT INTO alunos (num_aluno, nome, morada, ano_nasc) VALUES ( , Teresa Matos, R. Alforrecas, 12, Coimbra, 1984) SELECT INSERT UPDATE DELETE Outro Exemplo Relacionamento entre tabelas 15

16 Queries sobre a BD select Title from Movie where Rating = 'PG' select Name, Address from Customer select * from Movie where Genre like '%action%' select * from Movie where Rating = 'R'order by Title Operações sobre a BD insert into Customer values (9876, 'John Smith', '602 Greenbriar Court', ' ') update Movie set Genre = 'thriller drama'where title = 'Unbreakable' delete from Movie where Rating = 'R' Recordemos Criação de Bases-de-Dados Aplicação ODBC Base de Dados Na prática, quando se quer fazer uma base-dedados, não se começa por criar tabelas Cria-se (modela-se) o problema: Modelo CONCEPTURAL da Base-de-dados SELECT nome FROM alunos SGBD (Sistema de Gestão de BD) O que viaja na ligação são estas ordens, na linguagem SQL. A aplicação tem de enviar as suas ordens nesta linguagem e processar os resultados retornados Para criar o modelo conceptual da Base-de-dados, utilizam-se Diagramas ENTIDADE- RELACIONAMENTO (Diagramas ER) Só após se ter o diagrama Entidade- Relacionamento é que se criam as tabelas: MODELO FÍSICO da Base-de-dados Muitas vezes, as ferramentas permitem passar automaticamente do modelo conceptual para o modelo físico 16

17 Modelo Entidade-Relacionamento Modela o problema em termos de ENTIDADES e RELAÇÕES entre entidades As relações podem ser de: 1 para 1 (1:1) 1 para N (1:N) N para N (N:N) As relações podem ter participação obrigatória ou não ALUNO N Inscrito N CADEIRA 1 Possui N TESTE Leitura do ER Cada aluno pode estar inscrito em várias cadeiras; cada cadeira pode ter vários alunos inscritos Cada aluno tem de estar obrigatoriamente inscrito a uma cadeira; pode haver cadeiras sem alunos (e.g. cadeiras que não funcionam num ano) Em cada cadeira pode haver vários testes; cada teste só pode pertencer a uma cadeira Pode haver cadeiras sem testes; Cada teste tem de ter obrigatoriamente uma cadeira associada Recordemos Transacções em BDs Motivação REDE Base de Dados Transfere da conta para a conta : boolean ok = conta1.retira( ); 2: if (ok) 3: { 4: conta2.coloca( ); 5: } -- E se a aplicação crasha na linha 2?? -- E se deixa de haver ligação de rede na linha 4?? -- E se o servidor crasha entre a linha 1 e 2?? 17

18 Transacções em BDs Uma das razões muito importantes para se utilizar BDs, para além da performance, é o ter garantias de integridade de dados Transacção: uma conjunto de operações que devem ser executadas de forma indivisível (i.e. atómica) Uma operação atómica é aquela em que ou executa tudo ou não executa nada. As base-de-dados têm suporte directo para transacções. Transacções Transacção Tem um início bem definido Ou existe um COMMIT ou um ROLLBACK COMMIT As alterações tornam-se permanentes ROLLBACK As alterações são anuladas Durante uma transacção, as alterações na BD apenas são visíveis para o utilizador que as está a fazer. Todos os outros utilizadores vêem os dados como se nada estivesse a acontecer (...) trans.begintransaction(); boolean ok = conta1.retira( ); if (ok) { conta2.coloca( ); trans.committransaction(); } else trans.rollbacktransaction(); Transacções Ideia da Implementação Para saber mais Sempre que um utilizador inicia uma transacção, todos os dados sobre os quais trabalha são privados (é feita uma cópia) Quando é feito o COMMIT da transacção, a BD é então actualizada No caso de haver conflito no acesso a dados, pode ser necessário suspender temporariamente outras transacções Dentro da transacção: é criada uma cópia de todos os dados que estão a ser actualizados Computer Science An Overview Capítulo 8 (8.1, 8.2, 8.3) Capítulo 9 (9.1, 9.2, 9.3) Computer Science Illuminated Capítulo 11 (11.1, 11.2) Capítulo 12 (12.1, 12.3 COMMIT: Actualiza-se ROLLBACK: Deita-se fora 18