Aula 21 Ordenação externa

Tamanho: px

Começar a partir da página:

Download "Aula 21 Ordenação externa"

Sílvia Caetano Gabeira
9 Há anos
Visualizações:

1 MC3305 Algoritmos e Estruturas de Dados II Aula 21 Ordenação externa Slides adaptados de Brian Cooper (Yahoo Research) Prof. Jesús P. Mena-Chalco [email protected] 2Q

2 Números de Ackermann 2

3 Problema: Ordenar um conjunto grande dados 3

4 1 acesso a disco Vários milhões de instruções de máquina Disk Access Time = Seek Time (moving disk head to correct track) + Rotational Delay (rotating disk to correct block in track) + Transfer Time (time to transfer block of data to main memory) 4

5 Por que ordenar? 5

6 Por que ordenar? Usuário geralmente quer os dados ordenados. Ordenar é o primeiro passo para carregar os dados em uma estrutura tipo árvore B+. Ordenar é muito útil para eliminar duplicações. (data deduplication) Criação de uma árvore geradora mínima. Projeção de objetos em um espaço 3D. 6

7 Algoritmos para ordenar elementos Baseado em comparações: Quicksort Mergesort Heapsort Selection sort Insertion sort Bubble sort Ordenação em tempo linear: Radix sort Ordenação de primeiros elementos (seleção parcial): Partial Quicksort 7

8 Algoritmos para ordenar elementos Baseado em comparações: Quicksort Mergesort Heapsort Selection sort Insertion sort Bubble sort Ordenação em tempo linear: Radix sort Ordenação de primeiros elementos (seleção parcial): Partial Quicksort Por que esses algoritmos não são úteis para bancos de dados? 8

9 Um problema de espaço RAM ROM 9

10 Um problema de espaço 4 GB: $ GB: $300 Como ordenar dados cujo tamanho seja maior ao da memória principal? 10

11 Mergesort Banana Grapefruit Apple Orange Mango Kiwi Strawberry Blueberry Banana Grapefruit Apple Orange Mango Kiwi Strawberry Blueberry Banana Grapefruit Banana Grapefruit Apple Orange Apple Orange Mango Kiwi Kiwi Mango Strawberry Blueberry Blueberry Strawberry 11

12 Mergesort Banana Grapefruit Apple Orange Kiwi Mango Blueberry Strawberry Apple Banana Grapefruit Orange Apple Banana Blueberry Grapefruit Kiwi Mango Orange Strawberry Blueberry Kiwi Mango Strawberry 12

13 Não é bom o suficiente Considerando um arquivo com N registros. Para ordenar são necessários O(N logn) comparações. Queremos minimizar o acesso a disco (I/O) Não queremos pagar O(N logn) Ideia principal: Ordenação baseada em páginas, não em registros: Ler páginas completas na memória RAM (não registros individuais) Realizar alguma operação em memória principal. Escrever os bloco processados em memória secundária. Repetir. 13

14 2-way external merge sort etapas Pass 0: sort each page Sorted Unsorted RAM Pass 1: merge two pages into one run Sorted Sorted Sorted RAM Pass 2: merge two runs into one run Sorted Sorted Sorted Sorted! RAM 14

15 2-way external merge sort 15

16 2-way sort: custo computacional P pages in the file Each pass: read and wrote P pages How many passes? etapas Pass 0 Pass 1: went from P pages to P/2 runs Pass 2: went from P/2 runs to P/4 runs Total number of passes: Log2 P + 1 Total cost: 2P * ( Log2 P + 1) 16

17 2-way sort: custo computacional 17

18 2-way sort: custo computacional Why is this better than plain old merge sort? N >> P So O(N lg N) >> O(P lg P) Example: 1,000,000 record file 8 KB pages 100 byte records = 80 records per page = 12,500 pages Plain merge sort: 41,863,137 disk I/O s 2-way external merge sort: 365,241 disk I/O s 4.8 days versus 1 hour 18

19 Podemos fazer algo melhor? 2-way merge sort only uses 3 memory buffers Two buffers to hold input records One buffer to hold output records When that buffer fills up, flush to disk Usually we have a lot more memory than that Idea: read as much data into memory as possible each pass Thus reducing the number of passes Recall total cost: 2P * Passes 19

20 External merge sort Assign B input buffers and 1 output buffer Pass 0: Read in runs of B pages, sort, write to disk Pass 1: Merge B runs into one For each run, read one block When a block is used up, read next block of run Pass 2: Merge B runs into one Sorted! 20

21 External merge sort 21

22 Example Input Output

23 Example Input Output

24 Example Input Output

25 Example Input Output

26 Example Input Output

27 Example Input Output

28 Example Input Output

29 Example Input Output

30 Example Input Output

31 Example Input Output

32 Example Input Output

33 Example Input Output

34 Example Input Output

35 Example Input Output

36 Example Input Output

37 Example Input Output

38 Example Input Output

39 39

40 External merge sort P pages in file, B buffer pages in RAM P/B runs of size B Each pass: read and write P pages How many passes? LogB-1 P/B + 1 Total cost: 2P * LogB-1 P/B

41 Exemplo 1,000,000 records in 12,500 pages Use 10 buffer pages in memory 4 passes 100,000 disk I/Os 17 minutes versus 1 hour for 2-way sort 41

42 Limitações Problem: CPU must wait for I/O Suppose I need to read a new block Stop merging Initiate I/O Wait Complete I/O Resume merging 42

43 Solution: double buffering Keep a second set of buffers Process one set while waiting for disk I/O to fill the other set Input Output

44 Solution: double buffering Keep a second set of buffers Process one set while waiting for disk I/O to fill the other set Input Output

45 Solution: double buffering Keep a second set of buffers Process one set while waiting for disk I/O to fill the other set Input Output

46 Solution: double buffering Keep a second set of buffers Process one set while waiting for disk I/O to fill the other set Input Output

47 Solution: double buffering Keep a second set of buffers Process one set while waiting for disk I/O to fill the other set Input Output

48 Solution: double buffering Keep a second set of buffers Process one set while waiting for disk I/O to fill the other set Input Output

49 Questões importantes Sorting is very important Basic algorithms not sufficient Assume memory access free, CPU is costly In databases, memory (e.g. disk) access is costly, CPU is (almost free) Try to minimize disk accesses 2-way sort: read and write records in blocks External merge sort: fill up as much memory as possible Double buffering: read and compute at the same time 49

50 Sobre as avaliações 50

51 51

52 Sobre a P2 Tópicos: Todos os tratados no quadrimestre (dia 13/08 estará disponível uma lista de exercício) Dia: 18/08 (com inicio -opcional- 30min antes do horário) Resumo: Pode trazer uma folha A4 contendo um resumo (feito a mao) 52

Documentos relacionados

Operações Coseqüenciais. Processamento Coseqüencial. Modelo para implementação de processos coseqüenciais

Operações Coseqüenciais. Processamento Coseqüencial. Modelo para implementação de processos coseqüenciais Processamento Coseqüencial Leandro C. Cintra M.C.F. de Oliveira Fonte: Folk & Zoelick, File Structures Operações Coseqüenciais Envolvem o processamento coordenado (simultâneo) de duas ou mais listas de