Raspando dados. O maravilhoso mundo da multidão de informações. pedro belasco - cromatica - cdc W3C - Open Data

Tamanho: px

Começar a partir da página:

Download "Raspando dados. O maravilhoso mundo da multidão de informações. pedro belasco - cromatica - cdc W3C - Open Data"

Ana Sofia Braga Amaral
6 Há anos
Visualizações:

1 Raspando dados O maravilhoso mundo da multidão de informações pedro belasco - cromatica - cdc W3C - Open Data 1

2 Parte 1, Mas, afinal, que diabos é uma página? Arquitetura da Internet, como computadores conversam HTTP Os verbos Mágicos: GET e POST PUT e DELETE Ferramentas para ver o que acontece. 2

3 Parte 2, A sacada do DOM, e como achar o que você quer dentro de uma página estruturada. Ou não. Nosso amigo, o XPath Reconhecendo "boas vítimas" 3

4 Parte 3, YQL Abstraindo consultas de fontes variadas Busca genérica só com Ajax+YQL 4

5 Parte 1 Arquitetura da Internet, como computadores conversam HTTP POST (tó o que eu tenho, Create) GET (me dá, Read) PUT (toma aqui, arruma aí, Update) DELETE (tira já daí, é Delete mesmo) 5

6 Parte 1 Arquitetura da Internet, como computadores conversam HTTP POST (tó o que eu tenho, Create) GET (me dá, Read) PUT (toma aqui, arruma aí, Update) DELETE (tira já daí, é Delete mesmo) 5

7 REST & RESTful A Transferência de Estado Representacional (Representational State Transfer) ou somente (REST) é uma técnica de engenharia de software para sistemas hipermídia distribuídos como a World Wide Web. Wikipedia 6

8 RPC vs REST RPC = Ênfase na multiplicidade de verbos getuser() adduser() removeuser() updateuser() getlocation() addlocation() removelocation() updatelocation() listusers() listlocations() findlocation() finduser() 7

9 REST = Ênfase na multiplicidade de RECURSOS User { :get, :post, :update, :delete } Location {:get, :post, :update, :delete } 8

10 Lendo informações GET ou POST Os dois verbos aceitam complementos (variáveis) 9

11 Lendo informações 9

12 Lendo informações Dê-me já esta fruta chamada maçã! 9

13 Lendo informações Dê-me já esta fruta chamada maçã! GET 9

14 Lendo informações Dê-me já esta fruta chamada maçã! GET POST (fruta=maça) => 9

15 Lendo informações Dê-me já esta fruta chamada maçã! GET POST (fruta=maça) => GET recebe parâmetros no gogó. POST só recebe por escrito. 9

16 A resposta! Depois de entendio o pedido, o servidor HTTP responde de acordo com o combinado. 10

17 A resposta! 10

18 A resposta! Cabeçalho cheio de informação que só interessa para o client Date Thu, 15 Apr :20:29 GMT Server: Apache/2.2.3 (Red Hat) X-Powered-By: PHP/5.2.9 Vary: Cookie X-Pingback: Keep-Alive: timeout=4, max=42 Connection: Keep-Alive Transfer-Encoding: chunked Content-Type: text/html; charset=utf-8 10

19 A resposta! Cabeçalho cheio de informação que só interessa para o client Date Thu, 15 Apr :20:29 GMT Server: Apache/2.2.3 (Red Hat) X-Powered-By: PHP/5.2.9 Vary: Cookie X-Pingback: Keep-Alive: timeout=4, max=42 Connection: Keep-Alive Transfer-Encoding: chunked Content-Type: text/html; charset=utf-8 O corpo da resposta... A página que pedimos! <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" " xhtml1-transitional.dtd"> <head> <title>a maçã</title> </head> <body> <h1>a maçã</h1> <p>a maça é um pseudo-fruto composto de cauda, tronco e membros</p> </body> 10

20 YQL select * from internet permite definir como fonte de dados quase qualquer recurso parseável - html, xml, xls, csv... e devolve JSON ou XML. permite uso de javascript para formatar a saída. acessível por uma interface REST 11

21 XPath XML Path Language ( Permite encontrar elementos por busca em suas posições ou descrições em um doc XML/HTML Automatizar! 12

22 MDN/XPathResult XPathResult Implementação simples e ligeira. Direto do Browser. 13

23 Firebug. O Amigão 14

24 O poder da multidão Raspagem coletiva. Simples de implementar 15

25 Crowd Scrap na Amazon... GreaseMonkey + Webservice + Interesse coletivo = Crowd Scrap Vamos nessa? 16

26 Algumas coisas legais ScrapperWiki ( Comunidade Transparência HackDay 17

27 Valeuzíssimo Ao pessoal do Polignu Aos desenvolvedores das aplicações e bibliotecas pedro@estudiocromatica.com 18

Documentos relacionados

Web Services REST. Sistemas Distribuídos. Mauro Lopes Carvalho Silva. Professor EBTT DAI Departamento de Informática Campus Monte Castelo

Web Services REST. Sistemas Distribuídos. Mauro Lopes Carvalho Silva. Professor EBTT DAI Departamento de Informática Campus Monte Castelo Sistemas Distribuídos Mauro Lopes Carvalho Silva Professor EBTT DAI Departamento de Informática Campus Monte Castelo Instituto Federal de Educação Ciência e Tecnologia do Maranhão Objetivos Nesta aula