Pesquisa binária em árvores-b + Índices em SQL

Transcrição

1 Pesquisa binária em árvores-b + K= 5 5 K= Bases de Dados Fernando Silva / Departamento de Ciência de Computadores Índices em SQL criar um ficheiro de índices sobre um atributo de uma dada tabela: CREATE INDEX NomeIndex ON NomeRelaçãoR(Atributo) para remover o índice: DROP INDEX NomeIndex A escolha de qual o índice a criar não é fácil. Não deve ser criado para relações onde ocorram muitas alterações nos seus tuplos. Porquê? Exemplo: indexar o atributo a relação empregado com base no departamento. CREATE INDEX EmpDepIndex ON Empregado(Ndep) Indices em SQL: não é standard (até SQL). Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 4

2 Definição de árvore-b + de ordem p nó-interno:. "!"!"!#%$'&()$+*,,.-0/ e # apontador para uma sub-árvore B +.. Em cada nó-interno, têm-se que %45!"!"!.$'&.. Para qualquer valor de pesquisa 6 na sub-árvore apontada por, têm-se que:.7&869-.:<;=?>@?, ou 6A-B.CD>FEG; ou.h;i86d>feb,. 4. Cada nó tem no máximo p-apontadores. 5. Cada nó, excepto a raíz, tem pelo menos JDKL/NMPOPQSR (condição de overflow) apontadores para sub-árvores. A raíz tem pelo menos dois apontadores para sub-árvores, se for um nó interno. 6. Um nó interno com q apontadores,,.-0/, tem,th; valores de pesquisa. nó-folha:. IU#V'I*I"W NVSX*I"!"!"!)YU.$'&NV:$'&=*ITZ)["\]=*,, -?/, NV^ apontador para bloco em disco que contém um registo cujo campo de pesquisa é., e _Z["\ ] apontador para nó-folha seguinte.. Em cada nó-folha têm-se que 45!"!"!%$'&(,.-0/. 4. cada nó-folha tem pelo menos `DKL/NMPOPQSa valores (condição de underflow). 5. todos os nós-folha estão ao mesmo nível. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores Vantagens de uma árvore-b + Uma das vantagens destas estruturas é que qualquer caminho da raíz a uma qualquer das folhas tem igual comprimento (árvores equilibradas). Em média, uma árvore-b + quando estável, tem cada nó apenas 69% cheio. Sendo assim, quantos nós e entradas tem, em média, uma árvore-b + de ordem p=4. Cada nó tem em média apontadores e valores. raíz: nó entradas apontadores nível : nós 506 entradas 59 apontadores nível : 59 nós 68 entradas 67 apontadores nível-folhas: 67 nós apontadores para registos Bases de Dados Fernando Silva / Departamento de Ciência de Computadores

3 Número de acessos a blocos (cont. slide 4) b EBcededfded registos; g Eihjded bytes por registo; kleghjdempn bytes por bloco em disco; op b EGhqd registos por bloco. indice-secundário denso: g rseghqt bytes por registo; op b revuxw registos por bloco; b re5c dedfded registos (um apontador por cada registo do ficheiro a indexar). o r EyJDK b r M"op b r QSR=EyJDK^cededfdedfMPufw QSR+Enenm blocos no ficheiro de índices. pesquisa binária: JDKCzx{P erso~}(qsr=e5 acessos. Procurar um registo envolve 0 acessos a blocos em disco. índice-primário: op b E5ufw registos por bloco; b EBc dfded registos (um apontador para cada bloco do ficheiro a indexar). o EyJDK^c dedfdempuxw QSR4Ent blocos no ficheiro de índices. Pesquisa binária: Jƒ 7 r o R=E5u acessos.procurar um registo envolve 7 acessos a blocos em disco. indice níveis-múltiplos: o nível igual a índice secundário b E5cededfd registos, op b E5ufw registos por bloco. o EyJDK b M"op b QSR=Enfnm blocos no ō nível. o r EyJDK o M"op b QSR=EyJDKƒnfnmfMPufweQSRˆEB blocos no ō nível. ošeyjdk orm"op b QSR=EyJDK^ empufweqsr_egh bloco no ō nível. Procurar um registo envolve aceder um bloco em cada nível e um bloco do ficheiro, neste caso 4 acessos a blocos. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 9 Árvores de pesquisa: Árvores B + Os índices de níveis-múltiplos são normalmente implementados como árvores B +, que deixam algum espaço livre em cada bloco de forma a simplicar adição e remoção de valores. Uma árvore-b + tem uma estrutura diferente para nós-internos e nós-folha: no-interno: P K Ki- Pi Ki Kq- Pq X X<=K X Ki- < X <= Ki X Kq- < X no-folha: K Pr K Pr Ki Pri Kq- Prq- Pnext no-folha seguinte Pri = apontador para o bloco de um ficheiro que contem o registo cujo campo depesquisa e Ki Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 0

4 Índices-secundários (cont.) Também podemos ter índices-secundários sobre campos não-chave do ficheiro de dados. Neste caso teremos vários registos do ficheiro apontados com o mesmo valor de indexação. ficheiro de indices-secundario campo-index. aptr-seq-aptrs Sequencia de aptrs para blocos campo-index ficheiro de dados Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 7 Índices de níveis-múltiplos N ō de acessos em esquemas de indexação anteriores: K 7 Œ Q blocos (Œ = n ō de blocos do fich. de indexação). Índices de níveis-múltiplos: n ō de acessos a blocos = 7 f ƒž V <Œ, com Œ ) 5O (blocking-factor E `DK:.MP =QSa ). o. nivel o. nivel ficheiro-dados Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 8

5 Índices cluster Se os registos de um ficheiro estiverem ordenados por um campo não-chave, então poderemos ter registos com valores iguais para este campo e podemos pensar criar um ficheiro de índices-cluster para indexar apenas os valores diferentes (i.e. o primeiro valor de cada cluster). Este campo designase por campo-cluster. Problemas com adição ou remoção de registos. campo-cluster aptr-bloco 4 Pnome EBI DNasc End Sal Ndep Ana Catarina Eduardo Gabriel Antonio Anabela ficheiro de indices-cluster Carla Carlos Diana 4 ficheiro ordenado Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 5 Índices-secundários Indexam ficheiros de registos não ordenados e em geral incluem um registo (valor e apontador) para cada registo desse ficheiro. Se o campo de indexação for um campo-chave do ficheiro a indexar, então o ficheiro de índices-secundário é denso. Requerem mais memória e maior tempo de procura do que índices-primários. ficheiro de indices-secundario campo-index aptr-bloco Pnome EBI DNasc End Sal Ndep Ana 45 Catarina 46 Eduardo Gabriel Antonio Anabela Carla Carlos Diana campo chave ficheiro de dados Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 6

6 ½ š š ½ š Indice primário o índice corresponde ao campo chave de ordenação de um ficheiro ordenado. Pnome EBI DNasc End Sal Ndep campo-index. Ana Carlos Diana aptr-bloco Ana Anabela Antonio Carla Catarina Carlos ficheiro de indices Diana Eduardo Gabriel ficheiro ordenado o maior inconveniente nos indices primários é inserir e remover registos (obriga a ordenação no ficheiro e possivelmente nos indices). Bases de Dados Fernando Silva / Departamento de Ciência de Computadores Número de acessos a blocos (ficheiro vs. indice primário). Ficheiro ordenado com r= 0,000 registos. Tamanho de um registo, R=00 bytes. Tamanho dos blocos em disco, B=04 bytes. š œyžcÿ D š œyžy )ª«D š registos por bloco. š "žc # N D± š Número de blocos necessário para o ficheiro ordenado: x blocos. š³²x Pesquisa linear sobre o ficheiro: acessos a blocos, em média. Pesquisa binária: Sµ #¹ ±š³² acessos a blocos em média. Construção do ficheiro de índices-primário (um índice para cada bloco): campo de indexação: º š³²x bytes; apontador para blocos:» bytes. Registo do ficheiro de índices: ¼¾½ bytes. F Àš œyžsÿ«< NœDšÁœYž" )ª «Â #œãšåäæ entradas e q½ š YžC ½ x registos por bloco, no ficheiro de índices. D±š Yž (±Èš Ç Sµ #¹ ±Éš q½ blocos no ficheiro de índices. Pesquisa binária no fich. de índices: acessos. Portanto, em média são necessários 7 acessos para encontrar um registo de um ficheiro através de um fich. índices-primário. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 4

7 Ficheiros de Hash (ou de acesso directo) os registos estão organizados com base numa técnica de hashing a procura tem por base uma condição de igualdade num único campo campo de hash. acesso muito rápido com base no campo de hash. Hashing: seja Ë Ì<Í uma função de hash e Î um valor do campo de hash de um registo Ï, então ËÐÌÎXÍ determina o endereço do bloco em disco no qual está armazenado Ï. campo de hash registo r: v h( v ) = endereco do bloco em disco Vantagem: normalmente só precisamos de aceder a um único bloco para determinar o registo. Desvantagem: acesso por outros campos é dispendioso. Problemas de colisões. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores Estruturas de Indices para Ficheiros Índices ou estruturas de acesso são estruturas de dados que vizam acelerar o acesso a registos em resposta a determinadas condições de procura. Uma estrutura de índices é um ficheiro em que cada registo se compõe de: um campo de indexação - um campo do ficheiro. um apontador para um bloco em disco - que contém registos com valor igual ao campo de indexação. A ideia é que sendo o ficheiro de índices mais pequeno, podemos tê-lo em memória e usá-lo para localizar mais depressa os registos nos blocos do disco. Num ficheiro de índices, os registos estão ordenados pelo valor do campo de indexação. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores

8 Ficheiros Ordenados ficheiros em que os registos estão fisicamente ordenados (nos blocos) com base nos valores de um dos seus campos (campo de ordenação). Vantagens: acesso por ordem a registos é muito eficiente. encontrar o registo seguinte (por ordem) é muito eficiente (normalmente está no mesmo bloco). procura com base num valor do campo de ordenação é muito rápida (uando pesquisa binária). se o acesso a registos não for com base no campo de ordenação não há qualquer vantagem sobre ficheiros não-ordenados. Desvantagens: inserir e remover registos são operações dispendiosas, porque os registos têm de permanecer ordenados após estas operações. A inserção obriga a determinar a posição no ficheiro e arranjar espaço para o registo, o que obriga ao deslocamento de registos para outros blocos para libertar espaço. Melhora-se a eficiência, usando um ficheiro de transações e fazendo periodicamente a junção desse ficheiro com o ficheiro-master para produzir um novo. Procura fica mais complexa. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 9 Exemplo de ficheiro (de registos) ordenado Bloco Pnome EBI DNasc End Sal Ndep Ana Anabela Antonio Bloco Bloco n Carla Catarina Carlos Teresa Tiago Zacarias. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 0

9 Operações sobre ficheiros leitura: não alteram o ficheiro, apenas se localizam determinados registos para que os seus campos possam ser lidos. escrita: alteram o ficheiro, removendo ou adicionando registos ou actualizando campos de registos. Algumas das operações mais habituais: find - procura um registo que satisfaz a condição de procura. Transfere o bloco que contém esse registo para um buffer em memória, se não estiver já lá. Passa a ser o registo corrente. read - copia o registo corrente do buffer para uma variável do programa. Actualiza o apontador para o registo corrente. insert - insere um novo registo no ficheiro. Localiza o bloco onde o registo deve ser inserido, transfere esse bloco para memória (buffer), escreve o registo no bloco em buffer e escreve o bloco em buffer para o disco. Outras operações: delete, findnext, modify, findall, open, close, etc. Estas operações determinam métodos de acesso ao sistema de ficheiros. É também importante conhecer a organização do ficheiro, i.e. como é que os blocos e registos são armazenados em disco e como são interligados. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 7 Ficheiros Heap (registos não-ordenados) tipo de organização mais simples e básica. os registos são colocados no ficheiro pela ordem e que são inseridos; novos registos são adicionados no fim do ficheiro. Vantagens: inserção é muito eficiente. O último bloco em disco é copiado para memória, o novo registo é adicionado e o bloco é re-escrito para o disco. Desvantagens: procurar um registo não é eficiente, envolve pesquisa linear sobre os blocos em disco. remoção de registos conduz a blocos com buracos. necessário re-organizar periodicamente o ficheiro para recuperar espaço. leitura de todos os registos por ordem de um determinado campo, obriga a criação de uma cópia (ordenação é aqui uma operação dispendiosa). Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 8

10 Ficheiros e registos Os dados de uma BDs são guardados em ficheiros de registos. Cada registo é um conjunto de valores relacionados, onde cada valor representa um atributo de uma relação. Um registo corresponde aos valores de um tuplo de uma relação. O formato de um registo é definido pelo tipo de dados que a tabela, que o registo representa, pode tomar (definido no CREATE TABLE). BDs recentes precisam de guardar objectos não estruturados, como sejam imagens, video ou audio, ou texto livre. Estes objectos são designados por BLOBs (Binary Large Objects). Se uma tabela contém um atributo do tipo BLOB, o registo de tuplos dessa tabela terá na sua estrutura apenas um apontador para um bloco em memória onde está guardado o BLOB. Os registos podem ter comprimento fixo ou variável (depende do tipo de dados). Se tiverem comprimento variável existem marcas-especiais para indicar a separação entre campos. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 5 Associação registos e blocos em disco Dado que a unidade de transferência para o disco é um bloco, para guardarmos os dados de uma BDs em disco temos de fazer corresponder os registos aos blocos em disco. Tamanho do bloco: B bytes; Tamanho do registo: R bytes; Supõe-se Ñ ÒÔÓ, então: bfr= Õ<ÑyÖÓW dá-nos o número de registos por bloco (blocking factor). O objectivo de uma boa organização de ficheiros é o de permitir a localização do bloco em disco que contém um determinado registo envolvendo um número mínimo de transferências de blocos do disco para memória. A verificação se um dado registo está entre os registos guardados num dado bloco só pode ser feita com uma cópia do bloco em memória (depois de carregado do disco para memória), e pode ter-se de carregar mais do que um bloco até se encontrar o registo pretendido. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 6

11 Armazenamento de BDs Habitualmente, as BDs possuem grandes volumes de dados que têm de existir durante grandes períodos de tempo. Usam-se discos magnéticos para a BDs porque: Em geral, a BDs é demasiado grande para ficar na memória central. menor risco de perdas de informação, pois os discos são não-voláteis. menor custo. Assim, é importante conhecer técnicas de armazenamento de informação em discos. O acesso a uma parte parte da BDs pelo DBMS envolve: localizar em disco a parte da BDs que se pretende aceder; copiar essa parte para memória para processamento, e em caso de alteração, reescrer essa parte no disco. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores Discos Os discos magnéticos são habitualmente constituídos por várias placas circulares empilhadas com cabeças de leitura/escrita independentes. Cada placa contém um conjuntos pistas circulares e concêntricas (capacidade até 50 Kbytes). O conjunto das várias pistas com o mesmo diâmetro nas várias placas, constitui um cilindro. A informação guardada num mesmo cilindro pode ser acedida mais rápidamente. Cada pista é normalmente dividida em sectores ou blocos (de tamanho fixo). A divisão de um disco em blocos (ou páginas) de um determinado tamanho é feita pelo S.O. quando da formatação do disco. O tamanho típico de blocos em disco é de 5 bytes a 4Kbytes. A leitura de um bloco do disco está condicionada por vários factores: tempo-posicionamento da cabeça de leitura na pista correcta tempo-de-rotação do disco até que o bloco pretendido fique em posição tempo-de-transferência de um bloco do disco para memória. O tempo total de leitura é a soma destes tempos. Os mais significativos são os de posicionamento e rotação. Tempos de acesso a disco: 6 a 0 ms. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores 4

12 ¹ Ù ² ² ² Estruturas de Armazenamento de Informação Onde e como guardar os dados que constituem a Base de Dados? Estrutura lógica onde guardar: ficheiros de registos. Estrutura física onde guardar: (tipicamente) discos magnéticos. Hierarquia de Memória: Memória primária - pode ser acedida directamente pelo CPU: memória central (RAM) e caches. acesso rápido, mas é volátil e de capacidade limitada devido ao custo (actualmente grandes servidores de BDs têm Û GB de RAM). Memória secundária - inclui periféricos de maior capacidade e de menor custo, e.g. discos magnéticos ou ópticos, e tapes. a informação neste tipo de memória não pode ser processada directamente pelo CPU, tem de ser primeiro copiada para a memória central. Bases de Dados Fernando Silva / Departamento de Ciência de Computadores Tipos de memória e periféricos Caches: static RAM; memória mais cara; acelera execução de progamas. Memória central: dynamic RAM (DRAM); volátil; menor custo que cache mas mais lenta. Discos magnéticos: maior capacidade e menor custo que DRAM. Juke-boxes de discos ópticos; Write-Once-Read-Many (WORM); usa discos CD-ROM; mais lentos que discos magnéticos. DVD (Digital Video Disk): mais recente e de maior capacidade (4 a 5 GB por deisco). Fitas magnéticas (tape juke-boxes): o meio mais barato de armazenamento e normalmente usado para backups. Unidades de medida: byte = 8 bits (bit toma valor 0 ou ) š² kilobyte = ~ØÃÙ e bytes š³² Megabyte = e e bytes š² Gigabyte = ÚÙ e e Ð e bytes Terabyte = ² gigabytes Bases de Dados Fernando Silva / Departamento de Ciência de Computadores