Armazenamento e Recuperação da Informação

Coleção UAB UFSCar Sistemas de Informação Organização e Recuperação da Informação Jander Moreira Armazenamento e Recuperação da Informação

Armazenamento e Recuperação da Informação

Reitor Targino de Araújo Filho Vice-Reitor Pedro Manoel Galetti Junior Pró-Reitora de Graduação Emília Freitas de Lima Secretária de Educação a Distância - SEaD Aline Maria de Medeiros Rodrigues Reali Coordenação UAB-UFSCar Claudia Raimundo Reyes Daniel Mill Denise Abreu-e-Lima Joice Otsuka Valéria Sperduti Lima Coordenadora do Curso de Sistemas de Informação Vânia Neris UAB-UFSCar Universidade Federal de São Carlos Rodovia Washington Luís, km 235 13565-905 - São Carlos, SP, Brasil Telefax (16) 3351-8420 www.uab.ufscar.br uab@ufscar.br

Jander Moreira Armazenamento e Recuperação da Informação 2011

2011, Jander Moreira Concepção Pedagógica Daniel Mill Supervisão Douglas Henrique Perez Pino Equipe de Revisão Linguística Ana Luiza Menezes Baldin Jorge Ialanji Filholini Paula Sayuri Yanagiwara Priscilla Del Fiori Sara Naime Vidal Vital Equipe de Editoração Eletrônica Christhiano Henrique Menezes de Ávila Peres Izis Cavalcanti Rodrigo Rosalis da Silva Equipe de Ilustração Jorge Luís Alves de Oliveira Priscila Martins de Alexandre Thaisa Assami Guimarães Makino Capa e Projeto Gráfico Luís Gustavo Sousa Sguissardi Todos os direitos reservados. Nenhuma parte desta obra pode ser reproduzida ou transmitida por qualquer forma e/ou quaisquer meios (eletrônicos ou mecânicos, incluindo fotocópia e gravação) ou arquivada em qualquer sistema de banco de dados sem permissão escrita do titular do direito autoral.

........... Sumário Apresentação................................................ 9 Unidade 1: Análise de algoritmos 1.1 Primeiras palavras... 13 1.2 Comparação entre algoritmos e análise de complexidade..... 14 1.2.1 A complexidade dos algoritmos.... 14 1.2.2 O que são o melhor caso, o pior caso e o caso médio?.... 15 1.3 Complexidade assintótica................................. 17 1.3.1 Aspectos formais e notação.... 18 1.3.2 O impacto da complexidade.... 21 1.3.3 O modelo de computador e os comandos... 23 1.3.4 Trechos de tempo constante............................. 24 1.3.5 Trechos com repetições.... 25 1.4 Outras considerações... 33 1.5 Considerações finais... 34 Unidade 2: Métodos de ordenação 2.1 Primeiras palavras... 39 2.2 Ordenação na memória principal... 39 2.2.1 Métodos básicos de ordenação... 40 2.2.2 Métodos avançados de ordenação.... 45

2.3 Ordenação na memória secundária... 53 2.4 Considerações finais... 56 Unidade 3: Representação da informação 3.1 Primeiras palavras... 61 3.2 Representação básica da informação....................... 62 3.3 Informações na memória principal......................... 67 3.4 Informações na memória secundária....................... 69 3.4.1 Discos rígidos como memória secundária.... 70 3.5 Considerações finais... 75 Unidade 4: Organização de dados em memória principal 4.1 Primeiras palavras... 79 4.2 Tabelas em memória principal e operações sobre elas... 79 4.3 Formas de organização.... 82 4.3.1 Tabelas sem ordenação... 82 4.3.2 Tabelas ordenadas... 88 4.3.3 Tabelas hash......................................... 95 4.4 Considerações finais... 103 Unidade 5: Organização de dados em memória secundária 5.1 Primeiras palavras... 107 5.2 Tabelas em memória secundária e restrições de acesso..... 107

5.3 Formas de organização.... 111 5.3.1 Arquivos sem ordenação... 111 5.3.2 Arquivos ordenados.... 116 5.3.3 Arquivos com controle dos blocos....................... 120 5.3.4 Arquivos indexados... 123 5.4 Considerações finais... 129 Unidade 6: Conceitos de compressão de dados 6.1 Primeiras palavras... 133 6.2 Os símbolos e a compressão............................. 134 6.3 Codificação de Huffman... 136 6.4 Codificação LZW........................................ 139 6.5 Considerações finais... 142 Referências................................................ 143

Apresentação A visão do desenvolvimento de um programa para resolver problemas passa pelos conceitos de algoritmos e do uso adequado de uma linguagem de programação. Mas isso não basta; é preciso conhecer as diversas estruturações e técnicas para a manipulação de dados. Este livro cobre diversos aspectos essenciais para uma manipulação adequada dos dados. O primeiro passo, neste universo, passa pelas noções de análise de algoritmos. Para entender algoritmos, não basta medir o tempo que ele leva para executar, pois é preciso conhecer seu comportamento como um todo e saber como a variação da quantidade de dados que será processada influenciará no custo de tempo desta execução. A análise de algoritmos, neste contexto, inclui entender como cada instrução de um algoritmo ou programa influencia no tempo de execução. Laços de repetição executados diversas vezes aumentam o tempo de execução, enquanto comandos condicionais podem determinar se partes custosas dos algoritmos são ou não executadas. Dependendo dos dados, os algoritmos também podem ter desempenhos diferentes. Por exemplo, ordenar uma coleção de dados que esteja ordenada em partes tende a ser mais simples do que encarar uma coleção completamente embaralhada. Ordenar conjuntos de dados é importante nas organizações de dados. Localizar itens em coleções ordenadas é sempre mais eficiente do que em coleções sem ordenação. Desta forma, técnicas clássicas de ordenação em memória principal são abordadas, cobrindo métodos mais triviais com desempenho menor e também métodos mais sofisticados, cujos desempenhos são significativamente melhores. Por outro lado, quando os dados são armazenados em memória secundária, o problema é diferente. Entender as implicações dos acessos feitos aos discos rígidos torna-se crítico para se ter eficiência na ordenação de grandes arquivos de dados. O conhecimento da análise de algoritmos e a manipulação para ordenação dão base para as organizações de dados. Inicialmente é preciso compreender como os dados são representados e como efetivamente os armazenamentos em memória principal e em memória secundária se apresentam, tanto em termos de semelhanças quanto de diferenças. Dados armazenados em memória principal, quando consideradas coleções relativamente grandes, são usualmente organizados em arranjos (vetores) de registros. Esses registros podem ser mantidos ou não de forma ordenada. Entender como diferentes opções de organização influenciam no desempenho é essencial para as escolhas. Como um conjunto de dados é organizado pela primeira vez? 9

Como são adicionados novos registros a este conjunto? Como e quais os custos das remoções? Como podem ser feitas as buscas por informações? Como cada organização se comporta com a continuidade do seu uso, considerando-se que a eficiência pode ser comprometida com o tempo? Cada uma dessas perguntas, se respondida adequadamente, permite ao desenvolvedor optar pela melhor organização para cada situação que se apresenta. Nem sempre as opções mais sofisticadas são as melhores para todos os casos. Entender quando aplicar soluções diferentes é o ponto chave para soluções mais ou menos adequadas. Ao contrário da memória principal, para a qual o acesso aos dados é rápido, a memória secundária (em específico os discos rígidos) possui características estruturais diferentes e o custo de tempo para acessar os dados é significativamente maior. As formas de organização de dados para discos também será coberta neste livro. Se o custo de tempo de se chegar à informação é um ponto crítico no desempenho, então técnicas, estruturações e algoritmos que considerem a relevância deste fato devem ser considerados. Portanto, dados armazenados em disco também podem não ter nenhuma ordenação ou seguirem um critério de ordem crescente para um dado atributo. Os custos para se chegar aos dados para as diferentes estratégias de organização são também diferentes. Considerar como um novo registro é inserido ao conjunto e como uma remoção é realizada é, também, um ponto de interesse. Arquivos não ordenados e arquivos ordenados são cobertos sistematicamente, avaliando seus pontos positivos e negativos. Além destes, uma organização que envolve uma estrutura auxiliar para as buscas é considerada e, desse modo, uma visão sobre indexação é considerada. Um último ponto, mas não menos importante, é abordado: a compressão dos dados. Manter os mesmos dados usando menos bytes é importante tanto para reduzir o espaço necessário para armazenamento quanto para reduzir a banda em uma transmissão pela rede. Embora a compressão de dados seja um tópico bastante amplo, podendo envolver perda de qualidade (como é o caso da compressão de músicas com o MP3), o foco deste livro são as noções de compressão sem perda, a qual pode ser aplicada a dados como catálogos, listas de funcionários e clientes, documentos etc. Assim, a compressão é vista em como representar uma mesma informação usando menos bits. De forma geral, o conteúdo deste livro complementa conceitos de algoritmos, programação e estruturas de dados, dando bases sólidas para entender aspectos importantes de bancos de dados e aplicações que exijam volumes de dados consideráveis. 10