Python Cookbook David Beazley Brian K. Jones

Transcrição

1 Python Cookbook David Beazley Brian K. Jones Novatec

2 Authorized Portuguese translation of the English edition of titled Python Cookbook, 3rd Edition, ISBN , David Beazley and Brian K. Jones. This translation is published and sold by permission of O'Reilly Media, Inc., the owner of all rights to publish and sell the same. Tradução em português autorizada da edição em inglês do título Python Cookbook, 3rd Edition, ISBN , David Beazley e Brian K. Jones. Esta tradução é publicada e vendida com a permissão da O'Reilly Media, Inc., detentora de todos os direitos para publicação e venda desta obra. Novatec Editora Ltda Todos os direitos reservados e protegidos pela Lei de 19/02/1998. É proibida a reprodução desta obra, mesmo parcial, por qualquer processo, sem prévia autorização, por escrito, do autor e da Editora. Editor: Rubens Prates Tradução: Lúcia A. Kinoshita Revisão técnica: Aurelio Jargas Revisão gramatical: Marta Almeida de Sá Editoração eletrônica: Carolina Kuwabata ISBN: Histórico de impressões: Novembro/2013 Primeira edição Novatec Editora Ltda. Rua Luís Antônio dos Santos São Paulo, SP Brasil Tel.: Fax: novatec@novatec.com.br Site: Twitter: twitter.com/novateceditora Facebook: facebook.com/novatec LinkedIn: linkedin.com/in/novatec

3 Sumário Prefácio...13 Capítulo 1 Estruturas de dados e algoritmos Desempacotar uma sequência em variáveis separadas Desempacotar elementos de iteráveis de tamanho arbitrário Manter os últimos N itens Encontrar os N itens maiores ou menores Implementar uma fila de prioridades Mapear chaves a múltiplos valores em um dicionário Manter dicionários em ordem Fazer cálculos com dicionários Encontrar itens comuns em dois dicionários Remover itens duplicados de uma sequência, preservando a ordem Dar nome a uma fatia (slice) Determinar os itens que ocorrem mais frequentemente em uma sequência Ordenar uma lista de dicionários por meio de uma chave comum Ordenar objetos sem suporte nativo para comparação Agrupar registros de acordo com um campo Filtrar elementos de uma sequência Extrair um subconjunto de um dicionário Mapear nomes a elementos de sequência Transformar e reduzir dados ao mesmo tempo Combinar múltiplos mapeamentos em um único mapeamento Capítulo 2 Strings e textos Separar strings de acordo com vários delimitadores Fazer correspondência de texto no início ou no fim de uma string Fazer correspondência de strings utilizando padrões de curinga do shell Fazer correspondência e pesquisa de padrões de texto Pesquisar e substituir textos Pesquisar e substituir textos sem diferenciar letras minúsculas de maiúsculas Especificar uma expressão regular para obter a correspondência mais curta possível Escrever uma expressão regular para padrões multilinha

4 6 Python Cookbook 2.9. Normalizar texto Unicode para gerar uma representação padrão Trabalhar com caracteres Unicode em expressões regulares Remover caracteres indesejados de strings Sanitizar e limpar textos Alinhar strings de texto Combinar e concatenar strings Interpolar variáveis em strings Reformatar texto para gerar um número fixo de colunas Manipular entidades HTML e XML em textos Extrair tokens de textos Escrever um parser descendente recursivo simples Executar operações de texto em strings de bytes Capítulo 3 Números, datas e horas Arredondar valores numéricos Realizar cálculos decimais precisos Formatar números para saída Trabalhar com inteiros binários, octais e hexadecimais Empacotar e desempacotar inteiros grandes a partir de bytes Executar operações matemáticas com números complexos Trabalhar com infinito e NaNs Fazer cálculos com frações Fazer cálculos com arrays numéricos grandes Executar cálculos algébricos matriciais e lineares Selecionar itens aleatoriamente Converter dias para segundos e outras conversões básicas relacionadas com tempo Determinar o dia da última sexta-feira Encontrar o intervalo de datas do mês corrente Converter strings em datetimes Manipular datas que envolvem fuso horário Capítulo 4 Iteradores e geradores Consumir manualmente um iterador Delegar iterações Criar novos padrões de iteração com geradores Implementar o protocolo do iterador Iterar ao contrário Definir funções geradoras com estado extra Obter uma fatia de um iterador Descartar a primeira parte de um iterável Iterar por todas as combinações ou permutações possíveis Iterar pelos pares índice-valor de uma sequência...152

5 Sumário Iterar por várias sequências simultaneamente Iterar pelos itens em contêineres separados Criar pipelines para processamento de dados Linearizar uma sequência aninhada Iterar de modo ordenado por iteráveis ordenados e combinados Substituir laços while infinitos por um iterador Capítulo 5 Arquivos e I/O Ler e escrever dados de texto Enviar dados de saída para um arquivo Apresentar dados com um separador ou com um final de linha diferente Ler e escrever dados binários Escrever em um arquivo que ainda não existe Realizar operações de I/O em uma string Ler e escrever em arquivos de dados compactados Iterar por registros de tamanho fixo Ler dados binários em um buffer mutável Mapear arquivos binários em memória Manipular nomes de caminho Verificar se um arquivo existe Obter uma listagem de diretório Ignorar a codificação de nomes de arquivo Apresentar nomes indevidos de arquivo Adicionar ou alterar a codificação de um arquivo aberto Escrever bytes em um arquivo texto Encapsular um descritor de arquivo como um objeto arquivo Criar arquivos e diretórios temporários Comunicar-se usando portas seriais Serializar objetos Python Capítulo 6 Codificação e processamento de dados Ler e escrever dados CSV Ler e escrever dados JSON Fazer parse de dados XML simples Efetuar parse de arquivos XML enormes de modo incremental Transformar um dicionário em XML Fazer parse, modificar e reescrever XML Fazer parse de documentos XML com namespaces Interagir com um banco de dados relacional Decodificar e codificar dígitos hexadecimais Decodificar e codificar Base

6 8 Python Cookbook 6.11 Ler e escrever arrays de estruturas binárias Ler estruturas binárias aninhadas e de tamanhos variáveis Sintetizar dados e realizar cálculos estatísticos Capítulo 7 Funções Criar funções que aceitem qualquer quantidade de argumentos Criar funções que aceitem somente argumentos nomeados Associar metadados informativos aos argumentos de uma função Retornar múltiplos valores de uma função Definir funções com argumentos default Definir funções anônimas ou inline Capturar variáveis em funções anônimas Fazer um callable de n argumentos funcionar como um callable com menos argumentos Substituir classes com um único método por funções Levar um estado extra às funções de callback Definir funções de callback inline Acessar variáveis definidas em uma closure Capítulo 8 Classes e objetos Alterar a representação em string de instâncias Personalizar a formatação de strings Fazer os objetos suportarem o protocolo de gerenciamento de contexto Economizar memória ao criar uma grande quantidade de instâncias Encapsular nomes em uma classe Criar atributos gerenciados Chamar um método da classe pai Estender uma propriedade em uma subclasse Criar um novo tipo de atributo de classe ou de instância Usar propriedades processadas em modo lazy Simplificar a inicialização de estruturas de dados Definir uma interface ou uma classe base abstrata Implementar um modelo de dados ou um sistema de tipos Implementar contêineres personalizados Delegar acesso a atributos Definir mais de um construtor em uma classe Criar uma instância sem chamar init Estender classes com mixins Implementar objetos stateful ou máquinas de estado Chamar um método em um objeto especificando o nome como uma string Implementar o padrão Visitor Implementar o padrão Visitor sem recursão Gerenciar memória em estruturas de dados cíclicas...354

7 Sumário Fazer as classes suportarem operações de comparação Cria instâncias em cache Capítulo 9 Metaprogramação Colocar um wrapper em torno de uma função Preservar metadados de funções ao criar decoradores Desfazer o encapsulamento de um decorador Definir um decorador que aceite argumentos Definir um decorador com atributos ajustáveis pelo usuário Definir um decorador que aceite um argumento opcional Impor uma verificação de tipos em uma função por meio de um decorador Definir decoradores como parte de uma classe Definir decoradores como classes Aplicar decoradores a métodos de classe e estáticos Criar decoradores que adicionam argumentos a funções encapsuladas Usar decoradores para modificar definições de classe Utilizar uma metaclasse para controlar a criação de instâncias Capturar a ordem de definição de atributos de classe Definir uma metaclasse que aceite argumentos opcionais Impor uma assinatura de argumentos em *args e **kwargs Impor convenções de codificação em classes Definir classes por meio do próprio programa Inicializar membros de classe no momento da definição Implementar múltiplos despachos com anotações de função Evitar métodos repetitivos de propriedades Definir gerenciadores de contexto da maneira fácil Executar código com efeitos colaterais locais Fazer parse e análise de código-fonte em Python Fazer o disassembly de bytecodes de Python Capítulo 10 Módulos e pacotes Criar um pacote hierárquico de módulos Controlar a importação de tudo Importar submódulos de pacote usando nomes relativos Separar um módulo em vários arquivos Fazer diretórios separados de código serem importados com um namespace comum Recarregar módulos Tornar um diretório ou um arquivo zip executável como um script principal Ler arquivos de dados que estão em um pacote Adicionar diretórios a sys.path Importar módulos usando um nome especificado em uma string Carregar módulos de um computador remoto usando hooks na importação...453

8 10 Python Cookbook Inserir patches em módulos na importação Instalar pacotes somente para você mesmo Criar um novo ambiente Python Distribuir pacotes Capítulo 11 Redes e programação web Interagir com serviços HTTP como um cliente Criar um servidor TCP Criar um servidor UDP Gerar um intervalo de endereços IP a partir de um endereço CIDR Criar uma interface simples baseada em REST Implementar uma chamada de procedimento remoto simples usando XML-RPC Efetuar comunicação somente entre interpretadores Implementar chamadas de procedimentos remotos Autenticar clientes facilmente Adicionar SSL a serviços de rede Passar um descritor de arquivo socket entre processos Entender como funciona o I/O orientado a eventos Enviar e receber arrays extensos Capítulo 12 Concorrência Iniciar e terminar threads Determinar se uma thread foi iniciada Efetuar comunicação entre threads Travar seções críticas Utilizar lock evitando deadlocks Armazenar estados específicos de threads Criar um pool de threads Realizar programação paralela simples Lidar com o GIL (e como parar de se preocupar com ele) Definir uma tarefa do tipo ator Implementar troca de mensagens usando o padrão publish/subscribe Usar geradores como alternativa às threads Fazer polling em várias filas de threads Disparar um processo daemon no Unix Capítulo 13 Criação de scripts utilitários e administração de sistemas Aceitar entrada em scripts por meio de redirecionamento, pipes ou arquivos de entrada Terminar um programa com uma mensagem de erro Efetuar parse de opções da linha de comando Solicitar uma senha em tempo de execução

9 Sumário Obter o tamanho do terminal Executar um comando externo e obter sua saída Copiar ou mover arquivos e diretórios Criar e descompactar arquivos Localizar arquivos pelo nome Ler arquivos de configuração Adicionar logging em scripts simples Adicionar logging em bibliotecas Criar um cronômetro Estabelecer limites quanto ao uso de memória e de CPU Iniciar um navegador web Capítulo 14 Testes, depuração e exceções Testar saída enviada ao stdout Modificar objetos em testes de unidade Testar condições excepcionais em testes de unidade Fazer log do resultado do teste em um arquivo Ignorar ou antecipar falhas em testes Lidar com várias exceções Capturar todas as exceções Criar exceções personalizadas Gerar uma exceção em resposta a outra exceção Gerar novamente a última exceção Gerar mensagens de aviso (warnings) Depurar falhas básicas de programas Gerar um perfil e medir tempos em seu programa Fazer seus programas executarem mais rapidamente Capítulo 15 Extensões C Acessar código C usando ctypes Criar um módulo simples de extensão C Criar uma função de extensão que opere em arrays Administrar ponteiros opacos em módulos de extensão C Definir e exportar APIs C a partir de módulos de extensão Chamar o Python a partir do C Liberar o GIL em extensões C Combinar threads de C e de Python Encapsular código C com Swig Encapsular código C existente com Cython Usar Cython para implementar operações de alto desempenho em arrays Transformar um ponteiro de função em um callable Passar strings terminadas com NULL para bibliotecas C

10 12 Python Cookbook Passar strings Unicode para bibliotecas C Converter strings C para Python Trabalhar com strings C com codificação duvidosa Passar nomes de arquivo a extensões C Passar arquivos abertos para extensões C Ler objetos do tipo arquivo a partir do C Consumir um iterável a partir do C Diagnosticar falha de segmentação Apêndice A Leituras complementares Recursos online Livros para aprender sobre Python Livros mais avançados