Organização e Arquitetura de Computadores II (CEA 509) Armazenamento e o Sistema de E/S

Transcrição

1 Universidade Federal de Ouro Preto Departamento de Computação e Sistemas - DECSI Organização e Arquitetura de Computadores II (CEA 509) Armazenamento e o Sistema de E/S Vicente Amorim vicente.amorim.ufop@gmail.com

2 Sumário * Introdução. * Conceitos Básicos. * Organização dos meios de armazenamento. * Interconexão entre Processador, Memória e Dispositivos de E/S. * Medidas de Desempenho de E/S.

3 Introdução

4 Introdução * Sistemas de armazenamento: - Normalmente possuem grande dependência pelo lado do usuário. - Interrupção/erro na execução de programas não causam tanto estrago quanto a perda de dados armazenados em memória não-volátil. - Ênfase dos sistemas de armazenamento é então dependência/ custo, enquanto processadores olham para variáveis desempenho/custo.

5 Introdução * Sistemas de armazenamento:

6 Introdução * Sistemas de armazenamento: - Deve-se ainda considerar capacidade de expansão. - Conceito de desempenho em sistemas de armazenamento é normalmente um pouco mais complexo: Em alguns dispositivos, latência é o que mais importa. Em outros, vazão é o mais importante. Outras variáveis importantes: Características do dispositivo, tipo de conexão, hierarquia de memória, sistema operacional, etc.

7 Introdução * Sistemas de E/S em geral: - Podem ser classificados segundo três características principais: Comportamento: somente leitura, somente escrita ou armazenamento (leitura e escrita). Tipo de usuário: humano ou outra máquina podem ser clientes de um sistema de armazenamento. Taxa de transferência: Velocidade máxima de transmissão dos dados entre os dispositivos e/ou entre a memória principal e o processador.

8 Introdução * Sistemas de E/S em geral:

9 Introdução * Sistemas de E/S em geral: - Largura de banda pode ser utilizada como métrica de eficiência Qual a quantidade de dados que se consegue mover em um sistema dentro de um determinado período de tempo? Sistema de streaming de dados, transf. de grande quantidade de dados, etc Quantas operações de E/S se consegue executar por uma unidade de tempo? Operações bancárias, transf. de pequenos blocos de dados não relacionados, etc

10 Introdução * Sistemas de E/S em geral: - Largura de banda pode ser utilizada como métrica de eficiência Em determinados casos, as duas métricas podem importar: Deseja-se transferir uma grande quantidade de dados com um curto prazo de resposta. Desktops e embarcados estão mais focados no tempo de resposta. Servidores estão mais relacionados à vazão do sistema e capacidade de expansão dos dispositivos de E/S.

11 Armazenamento em Discos

12 Armazenamento em Discos * Introdução - Discos magnéticos são baseados em pratos rotativos cobertos por uma superfície magnética que utilizam uma cabeça móvel de leitura/escrita. - Não voláteis: Dados continuam armazenados mesmo após interrupção do fornecimento de alimentação. - Os pratos (1-4) giram em velocidades que variam de 5400 a RPM. - Diâmetro varia de 1.0 a 3.5 polegadas.

13 Armazenamento em Discos * Introdução - Superfície do disco é dividida em círculos concêntricos chamados de trilhas. Comumente existem 10,000 a 50,000 trilhas por superfície. - Cada trilha é dividida em setores nos quais a informação está contida. Cada trilha possui entre 100 e 500 setores; Normalmente possui tamanho de 512 bytes.

14 Armazenamento em Discos * Introdução Cabeçote fixo Cabeçote móvel

15 Armazenamento em Discos * Introdução - Anos 90: Introdução do conceito ZBR (zone bit recording): Anteriormente, número de bits era constante em qualquer setor do disco; ZBR permite aumentar o número de bits nas trilhas mais externas, consequentemente, aumenta também a capacidade do disco. - Cilindro: Cabeças de leitura (superior/inferior) movimentam-se em conjunto.

16 Armazenamento em Discos * Introdução - Cilindro: (cont.) Cabeças de leitura/escrita ficam sobre a mesma trilha em ambas as superfícies. Cilindro: Todas as trilhas que estão sob as cabeças de leitura/ escrita em um dado ponto das superfícies.

17 Armazenamento em Discos * Introdução

18 Armazenamento em Discos * Operação básica - Acesso aos dados - SO deve instruir o disco a: Posicionar a cabeça e leitura/escrita na trilha devida (seek): seek time: Tempo para posicionamento da cabeça de leitura/ escrita. Tempo médio gira em torno de 3ms a 13ms. Atualmente seek time gira em torno de 25% a 35% do anunciado. Vantagem pela localidade : Acessos sucessivos a um mesmo arquivo / escalonamento de acessos em conjunto.

19 Armazenamento em Discos * Operação básica - Acesso aos dados - SO deve instruir o disco a: (cont.) Aguardar pelo setor correto: Setor com os dados desejados deve estar sob a cabeça de leitura/escrita; rotational latency (latência rotacional): Tempo gasto para que o setor correto esteja sob a cabeça de leitura/escrita; Considerando um disco de 5400RPM:

20 Armazenamento em Discos * Operação básica - Acesso aos dados - SO deve instruir o disco a: (cont.) Transferir os dados: Bloco de bits desejado é transferido pelo controlador para a memória principal. Tempo de transferência é dado em função do tamanho do setor, velocidade de rotação e densidade de gravação de um trilha. Em 2008 tempo de transferência perto de 125MB/s. Atualmente, supera-se os 375MB/s.

21 Armazenamento em Discos * Operação básica - Controlador Cada disco possui um controlador : Interface entre o SO e os dados armazenados no disco (hardware). Possui conhecimento para manipular e buscar os dados requisitados. Último componente a impor overhead na transferência dos dados uma vez que possui uma memória cache interna.

22 Armazenamento em Discos * Operação básica - Características Densidade dos discos cresceu continuamente por mais de 50 anos.

23 Armazenamento em Discos * Operação básica - Características Em 2008, os discos de um determinado fabricante - quando comprados em larga escala - custavam entre $0.20 e $2.00 cada gigabyte. Principal forma de otimização do uso dos discos está na idea da manutenção de informações correlatas em blocos próximos do disco - reduzir tempo de seek. Interfaces ATA (Advanced Technology Attachment) e SCSI (Small Computer Systems Interface) possuem um microprocessador interno para otimizações.

24 Armazenamento em Discos * Operação básica - Características Interfaces mais inteligentes tentam armazenar os dados mais de forma contínua que randômica. Consequentemente, blocos sequenciais podem estar em diferentes trilhas.

25 Armazenamento em Memória flash

26 Armazenamento em Memória Flash * Introdução - Até agora, a memória flash é a tecnologia que mais perto chegou de competir com os discos. - Memória não-volátil com latência 100 a 1000 vezes menor que um disco rígido. - Proporcionalmente menor que um disco, mais energeticamente eficiente e mais resistente a impactos. - Atualmente sua popularidade vem aumentando e seu uso na área de embarcados é muito grande.

27 Armazenamento em Memória Flash * Introdução

28 Armazenamento em Memória Flash * Introdução - Custo por gigabyte normalmente é maior quando comparado aos discos rígidos. - O primeiro tipo de memória flash era conhecido como NOR flash (devido a similaridade da célula de armazenamento com uma porta NOR). - Atualmente utiliza-se o padrão NAND que provê uma densidade de armazenamento muito maior: NAND só pode ser lida/escrita em blocos uma vez que ligações internas para acesso aleatório foram removidas.

29 Armazenamento em Memória Flash * Introdução

30 Armazenamento em Memória Flash * Introdução - Problema: Diferentemente de outras memórias, a NAND possui um limite muito menor para escritas em cada bloco. - Solução corrente (wear leveling): Incluso um controlador em hardware para garantir um espalhamento ótimo dos dados nos blocos (re-mapeando os dados para os menos utilizados). - Com tal solução dispositivos dificilmente ultrapassam o limite de escrita dos blocos da memória. - Entretanto, utilização de controladores pode limitar o desempenho da memória.

31 Armazenamento em Memória Flash * Introdução - Limite no número de escritas é uma das razão para memória flash não ser utilizada em servidores. - Desde 2008 já é possível se encontrar no mercado versões de notebooks/laptops com armazenamento via memória flash. - Atualmente existem versões de hardware híbrido que combinam determinadas quantidades de memória flash com um armazenamento massivo via disco rígido. - A longo prazo, a memória flash tende a ter seu custo reduzido.

32 Conexão entre processador, memória, e dispositivos de E/S

33 Conexão entre processador, memória e dispositivos de E/S * Introdução - É sabido que um sistema computacional é formado por um conjunto de componentes: CPU, memória, dispositivos de E/S, - Para que programas possam ser executados a CPU deve poder conversar com cada um desses componentes (direta ou indiretamente). - Durante muito tempo, o canal de comunicação da CPU com os outros componentes era feito através de um barramento (bus).

34 Conexão entre processador, memória e dispositivos de E/S * Barramentos - Link implementado por um conjunto de fios utilizado para conectar vários subsistemas. - Vantagens: Por ser um canal de comunicação único, novos dispositivos podem ser adicionados/retirados facilmente; Baixo-custo uma vez que o mesmo conjunto de fios pode ser utilizado de maneiras diferentes;

35 Conexão entre processador, memória e dispositivos de E/S * Barramentos - Desvantagem: Cria um gargalo de comunicação ao limitar a vazão através de um único ponto. Todo o tráfego de E/S acaba passando pelo mesmo componente. - Se dividem em duas categorias: Processador/memória: Curtos, de altíssima velocidade interconectando o processador à memória. E/S: São mais longos e podem interconectar dispositivos de diversas naturezas. Não se comunicam diretamente com a mem.

36 Conexão entre processador, memória e dispositivos de E/S * Barramentos - Características: A dificuldade no projeto dos barramentos é dada basicamente devido ao seu tamanho e o número de dispositivos suportados. Dificuldade no controle em hardware de fios paralelos com dados em alta velocidade: clock skew: Sinal de clock chega aos diversos componentes em tempos diferentes; reflection: Sinal é refletido de volta no barramento quando chega em seu final (para sanar normalmente utiliza-se terminadores).

37 Conexão entre processador, memória e dispositivos de E/S * Interconexões de E/S - Conceitos básicos: Uma transação típica de E/S é composta de duas partes: envio do endereço e envio/recebimento do dado. Output: Uma leitura retira os dados da memória para o processador ou dispositivo de E/S. Input: Uma escrita escreve na memória os dados vindos do processador ou dispositivo de E/S. As interconexões de E/S servem como uma maneira de se expandir a capacidade da máquina agregando novo hardware.

38 Conexão entre processador, memória e dispositivos de E/S * Interconexões de E/S - Conceitos básicos: Para fazer com que as operações de E/S ficassem mais fáceis de gerenciar, padrões foram criados pela indústria. Padrões servem como especificação para fabricação do hardware, de modo que o mesmo genérico. Alguns dos mais populares padrões: Firewire, USB, PCI Express (PCIe), Serial ATA (SATA) e Serial Attached SCSI (SAS).

39 Conexão entre processador, memória e dispositivos de E/S * Interconexões de E/S

40 Conexão entre processador, memória e dispositivos de E/S * Interconexões de E/S - Barramentos síncronos: Protocolo de comunicação é sempre sincronização de acordo com o clock. Barramento pode ser rápido, uma vez que envolve pouca lógica e responde sempre a um protocolo pré-determinado. Desvantagens: Todos os dispositivos conectados ao barramento devem funcionar na mesma frequência; e Devido ao clock skew barramentos síncronos não podem ser longos.

41 Conexão entre processador, memória e dispositivos de E/S * Interconexões de E/S - Barramentos assíncronos: Não possuem dependência ou sincronização com o ciclo de clock. Podem acomodar uma quantidade maior de dispositivos sem sofrer com clock skew. Envio e recebimento dos dados entre transmissor e receptor é feito através de um protocolo handshaking. Handshaking protocol utiliza um conjunto de fios à parte.

42 Conexão entre processador, memória e dispositivos de E/S * Interconexões de E/S - Processadores x86

43 Conexão entre processador, memória e dispositivos de E/S * Interconexões de E/S - Processadores x86

44 Interface de E/S com processador/memória/so

45 Interface de E/S com processador/memória/so * Introdução - Um barramento ou um protocolo definem como os dados devem ser comunicados. - Principais questionamentos: Qual é o papel do sistema operacional? Como os dados são transferidos de/para a memória? Como uma requisição de usuário é transformada em comandos a serem comunicados ao dispositivo?

46 Interface de E/S com processador/memória/so * Introdução - Qual é o papel do sistema operacional? Fazer a interface entre o hardware e o programa que requisita operações de E/S. Principais motivações: Múltiplos programas que utilizam a CPU compartilham o sistema de E/S; Uso de interrupções faz com que as mesmas sejam tratadas pelo SO em modo supervisor; e Complexidade do gerenciamento do subsistema de E/S faz com que SO precise intervir em sua administração.

47 Interface de E/S com processador/memória/so * Introdução - Qual é o papel do sistema operacional? Motivações levam a tarefas específicas do SO: SO garante que um programa de usuário acesse somente a partes específicas de um dispositivo de E/S (permissões). Abstração de rotinas de baixo-nível para operações padrões em nível de usuário. Gerenciamento e manipulação de interrupções geradas por dispositivos de E/S. Acesso justo a recursos compartilhados e escalonamento dos mesmos de modo a aumentar a vazão do sistema.

48 Interface de E/S com processador/memória/so * Introdução - Qual é o papel do sistema operacional? Como prevenir que usuários se comuniquem diretamente com dispositivos de E/S? SO precisa fornecer diferentes tipos de comunicação: Envio de instruções a serem processadas nos dispositivos: read, write, seek, config, etc. Recebimento de informações do dispositivo após finalizar E/S. Movimentação de dados entre dispositivo de E/S e memória (ex.: bloco de dados do disco sendo movimentados para memória RAM).

49 Interface de E/S com processador/memória/so * Comandos para os dispositivos de E/S - Conceitos básicos Para se comunicar com um dispositivo de E/S o SO precisa ser capaz de endereçá-lo. Dois possíveis métodos de endereçamento: E/S mapeada em memória (memory mapped I/O): Porções da memória são reservadas para a troca de dados com dispositivos. Toda escrita/leitura para os endereços dentro dessa região são interpretados como comandos para o dispositivo. Programas de usuário não podem fazer E/S via mapeamento de memória pois não possuem acesso direto às regiões endereçáveis.

50 Interface de E/S com processador/memória/so * Comandos para os dispositivos de E/S - Conceitos básicos Dois possíveis métodos de endereçamento: (cont.) E/S mapeada em memória (memory mapped I/O): Processador escreve o endereço e dados diretamente na memória; Memória ignora tais dados pois não fará uso dos mesmos; Controlador do dispositivo enxerga os dados e os transmite ao dispositivo em forma de comandos. Na ocorrência de um evento, o endereço está codificado como o tipo e id do dispositivo.

51 Interface de E/S com processador/memória/so * Comandos para os dispositivos de E/S - Conceitos básicos Dois possíveis métodos de endereçamento: (cont.) Instruções especiais de E/S: Processador pode ter que perguntar sobre estado atual do dispositivo de E/S. Ex.: Impressora deve estar pronta antes de se enviar comando de impressão, seek das cabeças de leitura do disco, etc. Cada uma das instruções requer um comando diferente de E/S.

52 Interface de E/S com processador/memória/so * Comunicação com o Processador - Operações de E/S são normalmente executadas em duas diferentes vias. - Como dispositivos de E/S conseguem se comunicar com o processador? Pooling Processo de verificação periódica dos bits de status para ver se é o momento da próxima operação de E/S. Dispositivo de E/S coloca a informação em um registrador de status e processador recupera tal dado.

53 Interface de E/S com processador/memória/so * Comunicação com o Processador - Como dispositivos de E/S conseguem se comunicar com o processador? Pooling (cont.) Conceito pode ser utilizado de diferentes maneiras. Aplicativos embarcados de tempo-real fazem o pooling diretamente nos dispositivos de E/S. Frequência da operação e tempo gasto na E/S são predeterminados, facilitando operações dessa natureza. Desvantagem: Muito overhead uma vez que processador verifica muitas vezes se existe alguma operação de E/S.

54 Interface de E/S com processador/memória/so * Comunicação com o Processador - Como dispositivos de E/S conseguem se comunicar com o processador? E/S dirigida por interrupções (Interrupt-driven I/O): Interrupções são geradas para se notificar o processador da ocorrência de algum evento. Indicam que um determinado dispositivo precisa de atenção no tratamento dos dados. Próprio dispositivo gera a interrupção de acordo com um protocolo pré-estabelecido. Além de interrupções de E/S existem as de notificação interna.

55 Interface de E/S com processador/memória/so * Comunicação com o Processador - Como dispositivos de E/S conseguem se comunicar com o processador? E/S dirigida por interrupções (Interrupt-driven I/O): (cont.) Diferenças interrupções vs. excessões: Interrupções são assíncronas com respeito à execução de instruções. Interrupções não interrompem a execução de uma instrução, uma vez que a existência de interrupções só é verificada entre uma instrução e outra pela unidade de controle; Interrupções além de notificar um evento carregam com si informações sobre o dispositivo que a gerou. Além disso, interrupções podem ter diversos níveis diferentes de urgência.

56 Interface de E/S com processador/memória/so * Comunicação com o Processador - Como dispositivos de E/S conseguem se comunicar com o processador? E/S dirigida por interrupções (Interrupt-driven I/O): (cont.) Comunicação para o processador deve conter a identidade do dispositivo lançador da interrupção. Quando um processador reconhece uma interrupção: Dispositivo pode enviar um vetor de endereços ou um campo de status que será colocado dentro do registrador de causa da interrupção. SO entra em cena interpretando os dados acima. Logo, não existe necessidade do processador vigiar (poll) o dispositivo.

57 Interface de E/S com processador/memória/so * Comunicação com o Processador - Níveis de Prioridade das Interrupções Maioria dos mecanismos de interrupção possuem esquemas de níveis de prioridade para suportar a urgência de cada dispositivo. Prioridades indicam a ordem de preferência na qual o processador deve considerar cada interrupção. Tendência: Quanto mais rápido o dispositivo de E/S, mais alta será sua prioridade no sistema. MIPS provê as primitivas para que o SO possa implementar uma política de prioridades válida.

58 Interface de E/S com processador/memória/so * Comunicação com o Processador - Níveis de Prioridade das Interrupções Registradores de status e causa:

59 Interface de E/S com processador/memória/so * Comunicação com o Processador - Níveis de Prioridade das Interrupções Registrador de status determina que alguém pode (ou não) interromper o processador (interrupt enable bit). Existe um bit na máscara de interrupções para cada entrada no campo de interrupções pendentes do registrador de causa. Para habilitar uma determinada interrupção deve haver o valor 1 na posição correspondente da máscara de bits. Quando ocorre uma interrupção, a razão da mesma pode ser encontrada no campo exception code do registrador de causa.

60 Interface de E/S com processador/memória/so * Comunicação com o Processador - Passos no tratamento de uma interrupção: 1. AND lógico é feito entre os campos interrupt mask e pending interrupts para se verificar qual é a interrupção; 2. Seleção da interrupção de mais alta prioridade. Convenção diz que a que está mais à esquerda é a de maior prioridade; 3. Salvamento do campo interrupt mask do registrador de status; 4. Alteração do campo interrupt mask para desabilitar todas as interrupções de prioridade menor ou igual à que está sendo tratada;

61 Interface de E/S com processador/memória/so * Comunicação com o Processador - Passos no tratamento de uma interrupção: (cont.) 5. Salvamento do estado do processador para tratamento da interrupção; 6. De forma a permitir interrupções de maior prioridade, marcase como 1 o interrupt enable bit do registrador de causa; 7. Chamada à rotina apropriada para tratamento da interrupção; 8. Antes de restaurar o estado, marcar como 0 o interrupt enable bit do registrador de causa. Isto permite a restauração do estado anterior do campo interrupt mask.

62 Interface de E/S com processador/memória/so * Comunicação com o Processador - Transferência de Dados entre o Dispositivo e a Memória Polling e interrupção funciona bem para comunicação com dispositivos com baixa vazão. Velocidade ainda não é importante pois o foco é reduzir o custo na implementação dos controladores. E/S dirigido por interrupções: pequenas quantidades de informação são transferidas por vez de/para o dispositivo. E/S dirigido por interrupções requer a ação do SO somente quando uma nova interrupção é gerada.

63 Interface de E/S com processador/memória/so * Comunicação com o Processador - Transferência de Dados entre o Dispositivo e a Memória E/S via interrupções é um método funciona bem para pequenas quantidades de dados. Overhead pode se intolerável para alguns dispositivos (discos rígidos, por exemplo). Dispositivos mais rápidos requerem a transferência de blocos maiores de dados (centenas a milhares de bytes por vez). Como transferir grandes quantidades de dados diretamente para a memória sem interferência do processador?

64 Interface de E/S com processador/memória/so * Comunicação com o Processador - Transferência de Dados entre o Dispositivo e a Memória Acesso direto a memória (direct memory access DMA): Mecanismo de interrupção continua sendo utilizado pelo dispositivo mas somente para notificar a finalização de transferência dos dados. Controladores DMA são implementados para transferir os dados entre o dispositivo e uma memória independente do proc. Controlador de DMA vira o master da comunicação e gerencia as leituras/escritas entre ele e a memória.

65 Interface de E/S com processador/memória/so * Comunicação com o Processador - Transferência de Dados entre o Dispositivo e a Memória Acesso direto a memória (direct memory access DMA): Três passos: Processador configura o controlador DMA com o dispositivo, a operação a ser executada, o endereço de memória fonte/destino e a quantidade de bytes a ser transferida. Controlador inicia a operação. Quando os dados estão disponíveis a transferência é iniciada. Se a transferência é muito grande, o próximo endereço de memória é pego automaticamente. Quando a transferência é finalizada uma interrupção é gerada pelo controlador para avisar o processador.

66 Interface de E/S com processador/memória/so * Comunicação com o Processador - Desenvolvendo um sistema de E/S Quando desenvolvendo um sistema de E/S duas variáveis devem ser consideradas: latência e largura de banda. Cálculo da latência de um sistema não totalmente carregado é relativamente simples: é suficiente acompanhar o caminho do dados. Cálculo da latência média é mais complexo: pode envolver simulações ou teoria das filas.

67 Interface de E/S com processador/memória/so * Comunicação com o Processador - Desenvolvendo um sistema de E/S Atingir os requisitos de largura de banda é outro desafio. Designers podem ter que balancear todo o sistema para conseguir prover a largura de banda requerida. Solução para tais problemas pode passar pelos seguintes passos: Encontrar o link mais fraco de todo sistema de E/S (memória, processador, etc); Configurar o link mais fraco para suportar a largura de banda requerida; e

68 Interface de E/S com processador/memória/so * Comunicação com o Processador - Desenvolvendo um sistema de E/S Solução para tais problemas pode passar pelos seguintes passos: (cont.) Determinar os requisitos para o restante do sistema e configurá-los para suportar a largura de banda requerida.