Ryan Mitchell. Novatec

Transcrição

1 Ryan Mitchell Novatec

2 Authorized Portuguese translation of the English edition of titled Web Scraping with Python, ISBN Ryan Mitchell. This translation is published and sold by permission of O'Reilly Media, Inc., the owner of all rights to publish and sell the same. Tradução em português autorizada da edição em inglês da obra Web Scraping with Python, ISBN Ryan Mitchell. Esta tradução é publicada e vendida com a permissão da O'Reilly Media, Inc., detentora de todos os direitos para publicação e venda desta obra. Novatec Editora Ltda Todos os direitos reservados e protegidos pela Lei de 19/02/1998. É proibida a reprodução desta obra, mesmo parcial, por qualquer processo, sem prévia autorização, por escrito, do autor e da Editora. Editor: Rubens Prates Tradução: Aldir José Coelho Corrêa da Silva Revisão gramatical: Marta Almeida de Sá Assistente editorial: Priscila A. Yoshimatsu Editoração eletrônica: Carolina Kuwabata ISBN: IG Histórico de impressões: Agosto/2015 Primeira edição Novatec Editora Ltda. Rua Luís Antônio dos Santos São Paulo, SP Brasil Tel.: novatec@novatec.com.br Site: Twitter: twitter.com/novateceditora Facebook: facebook.com/novatec LinkedIn: linkedin.com/in/novatec

3 Sumário Prefácio... 9 Parte I Construindo scrapers Capítulo 1 Seu primeiro web scraper...18 Conectando-se...18 Introdução ao BeautifulSoup...21 Instalando o BeautifulSoup Executando o BeautifulSoup...24 Conectando-se de maneira confiável Capítulo 2 Análise de HTML avançada...30 Nem sempre é preciso um martelo Outras utilidades do BeautifulSoup...31 find() e findall() com o BeautifulSoup Outros objetos de BeautifulSoup Navegando em árvores Expressões regulares...41 Expressões regulares e o BeautifulSoup Acessando atributos Expressões lambda Além do BeautifulSoup Capítulo 3 Começando a rastrear...50 Percorrendo um único domínio Rastreando um site inteiro Coletando dados em um site inteiro...59 Rastreando na Internet...61 Rastreando com o Scrapy Capítulo 4 Usando APIs...73 Como as APIs funcionam...74 Convenções comuns...75 Métodos...75 Autenticação

4 6 Web Scraping com Python Respostas Chamadas de API Echo Nest Alguns exemplos Twitter...81 Procedimento inicial Alguns exemplos APIs do Google Procedimento inicial Alguns exemplos Analisando JSON Criando uma miscelânea Mais sobre APIs Capítulo 5 Armazenando dados...98 Arquivos de mídia Armazenando dados em CSV MySQL Instalando o MySQL Alguns comandos básicos Integrando a Python Técnicas e boas práticas usadas em um banco de dados Six Degrees no MySQL Capítulo 6 Lendo documentos Codificação de documentos Texto Codificação de texto e a Internet global CSV Lendo arquivos CSV PDF Microsoft Word e o.docx Parte II Scraping avançado Capítulo 7 Limpando seus dados sujos Limpando o código Normalização de dados Limpeza após o fato OpenRefine...148

5 Sumário 7 Capítulo 8 Lendo e gravando idiomas naturais Resumindo dados Modelos de Markov Six Degrees of Wikipedia: Conclusão Natural Language Toolkit Instalação e configuração Análise estatística com o NLTK Análise lexicográfica com o NLTK Recursos adicionais Capítulo 9 Rastreando formulários e logins Biblioteca Python Requests Enviando um formulário básico Botões de rádio, caixas de seleção e outras entradas Enviando arquivos e imagens Manipulando logins e cookies Autenticação de acesso básica do HTTP Outros problemas dos formulários Capítulo 10 Scraping de JavaScript Breve introdução ao JavaScript Bibliotecas JavaScript comuns Ajax e Dynamic HTML Executando JavaScript em Python com o Selenium Manipulando redirecionamentos Capítulo 11 Processamento de imagens e reconhecimento de texto Visão geral das bibliotecas Pillow Tesseract NumPy Processando texto bem formatado Fazendo o scraping de texto em imagens de sites Lendo CAPTCHAs e treinando o Tesseract Treinando o Tesseract Recuperando CAPTCHAs e enviando soluções Capítulo 12 Evitando as armadilhas do scraping Nota sobre ética Parecendo um ser humano Ajuste seus cabeçalhos

6 8 Web Scraping com Python Manipulando cookies Ritmo é tudo Recursos de segurança comuns dos formulários Valores de campos de entrada ocultos Evitando honey pots Lista de verificação para humanos Capítulo 13 Testando seu site com scrapers Introdução à execução de testes O que são testes de unidade? Módulo Python unittest Examinando a Wikipédia Testando com o Selenium Interagindo com o site Unittest ou Selenium? Capítulo 14 Executando scraping remotamente Por que usar servidores remotos? Evitando o bloqueio do endereço IP Portabilidade e extensibilidade Tor 253 PySocks Hospedagem remota Execução a partir de uma conta de hospedagem de sites Execução a partir da nuvem Recursos adicionais Seguindo em frente Apêndice A Visão geral de Python Instalação e Hello, World! Apêndice B Visão geral da Internet Apêndice C Aspectos legais e éticos do web scraping Sobre a autora Colofão...288