Gestão e Tratamento de Informação 1º semestre

Tamanho: px

Começar a partir da página:

Download "Gestão e Tratamento de Informação 1º semestre"

Amélia da Rocha de Andrade
8 Há anos
Visualizações:

1 DepartamentodeEngenhariaInformática 2010/2011 GestãoeTratamentodeInformação1ºsemestre Laboratório5 Exercícios Nesta aula iremos resolver exercícios envolvendo a extracção e a transformação de informação proveniente de documentos HTML, com base na tecnologia XQuery. O software usado nas aulas de laboratório oferece, como complemento às funções da bibliotecaxpath2.0,algumasfunçõesdeextensãorelacionadascomoprocessamentode documentoshtml.entreestasfunçõesdeextensãoencontram seasseguintes: Função java:gti.htmldoc(), que utiliza uma API Java de nome TagSoup para converter um documento HTML com erros de formatação num documento XML bem formado (i.e., converter o HTML num documento XHTML). Esta função aceita como parâmetroumuriparaumdocumentohtmleretornaumdocumentoxml. Função java:gti.httppost(), que aceita como entrada um URL para um documentohtmlqueseencontreonlinenumservidorweb,umalistadeparâmetrosa seremenviadosaoservidorweb,eumalistadevaloresparacadaumdosparâmetros da lista anterior, usando o método HTTP POST por forma a aceder ao servidor Web e retornarumdocumentoxmlcomoconteúdocorrespondente. Função java:gti.textdoc(), que aceita como parâmetro um URI para um documento e retorna a cadeia de caracteres correspondente ao seu conteúdo textual. Caso a entrada fornecida à função seja um documento XML ou HTML, a função irá retornarapenasoconteúdotextual,removendoinstruçõesdemarcação(i.e.,astags). A Figura 1 exemplifica a utilização destas funções, mostrando como se pode aceder ao títulodapáginawebdoinstitutosuperiortécnico. declare namespace gti = "java:gti"; declare namespace x = " let $mydoc := gti:htmldoc(" return $mydoc//x:title Figura1 UmprogramaXQueryqueexemplificacomoacederaotítulodeumapáginaHTML. NestaauladelaboratórioirátambémserusadaaferramentaRoadRunner,aqualpermite aextracçãoautomáticadeinformaçãorelevantedesdedocumentoshtml,combasenum método de aprendizagem automática não supervisionado. Esta ferramenta encontra se tambémjáintegradanabancadadesoftwareusadanasaulasdelaboratório: Função java:gti.rrdata(), que aceita como entrada uma lista de documentos XHTMLedevolvecomoresultadoumdocumentoXMLcomainformaçãoextraída. Mais informações sobre a ferramenta RoadRunner podem ser obtidas desde o site Web doprojectoqueestevenasuaorigem: IST/DEI Pág.1de5

0,algumasfunçõesdeextensãorelacionadascomoprocessamentode documentoshtml.entreestasfunçõesdeextensãoencontram seasseguintes: Função java:gti.

2 GestãoeTratamentodeInformação Exercício1 Escreva um programa XQuery que aceda ao site Web de apostas desportivas que se encontra online no URL e faça a extracção detodasasapostasqueláestãodefinidassobaformadeumatabelahtml. OprogramaXQuerydeveráproduzircomoresultadoumdocumentoXMLdeacordocom oformatoqueseexemplificanafigura2. <aposta competicao="spa. ACB Basket" evento="gran Canaria - Barcelona" hora="20:30"> <valor_ganhar_1>3.12</valor_ganhar_1> <valor_empatar> </valor_empatar> <valor_ganhar_2>1.35</valor_ganhar_2> </aposta> Figura2 DocumentoXMLcominformaçãosobreapostasdesportivas. Exercício2 Utilize a ferramenta RoadRunner por forma a extrair das páginas Web que se listam abaixo,asquaisapresentaminformaçãosobretesesdemestradorealizadasnodei IST,a informaçãosobreasdissertações. ddepartmentunitid=61176&thesisid=37816&contentcontextpath_path=/departamentos/dei/lateral /dissertacoes&_request_checksum_=a550a7bfd0fee674e997644f1b99da1759a4815a ddepartmentunitid=61176&thesisid=35216&contentcontextpath_path=/departamentos/dei/lateral /dissertacoes&_request_checksum_=a299bedf407810b013a4915e99f309bf3a973c55 ddepartmentunitid=61176&thesisid=41614&contentcontextpath_path=/departamentos/dei/lateral /dissertacoes&_request_checksum_=61b0da30c228f539e05acb7b5a01945a0e8d8678 ddepartmentunitid=61176&thesisid=37433&contentcontextpath_path=/departamentos/dei/lateral /dissertacoes&_request_checksum_=084121c3dad76de9930ea43ff9bba0f3f4d61c3a Crie ainda um programa XQuery que, operando sobre os documentos XML produzidos comoresultadopeloroadrunner,apresenteosdadosseguindooformatodafigura3. <tese> <aluno>manuel</aluno> <titulo>uso de XQuery em aplicações na Web</titulo> <palavras_chave>xml, X-Query, Web<palavras_chave> </tese> Figura3 DocumentoXMLcominformaçãosobreasdissertações. IST/DEI Pág.2de5

<aposta competicao="spa. ACB Basket" evento="gran Canaria - Barcelona" hora="20:30"> <valor_ganhar_1>3.12</valor_ganhar_1> <valor_empatar> </valor_empatar> <valor_ganhar_2>1.

3 GestãoeTratamentodeInformação Exercício3 O autor do conhecido motor de XQuery Saxon, de nome Michael Kay, mantém um blog sobre a sua actividade neste projecto. O blog está disponível em EscrevaumprogramaXQueryqueacedaatodasasentradasnoblogdoMichaelKay e verifique quais as entradas que mencionam a expressão XQuery Update ou o termo performance notexto. Umapossívelestratégiadeconcretizaçãopassapordesenvolverumprogramaqueaceda ao conteúdo da página de entrada do blog e siga recursivamente os links com a âncora textual Previous,porformaaencontrarosURLsdetodososposts. 3.2 Escreva um programa XQuery que aceda às dez primeiras entradas no blog e que verifique se as entradas têm uma conotação positiva, negativa ou neutra. No URL sentiment.xml encontra se um documento XML que contem uma lista de palavras classificadas de acordo com a sua polaridade,i.e.palavrasquetipicamentetêmumaconotaçãopositiva,neutraounegativa. Para cada uma das entradas no blog, deve contar o número de ocorrências de palavras positivasenegativas.combasenestascontagens,oprogramaxquerydeveproduzirum documentoxmlqueindique,paracadatítulodeentradanoblog,umapontuaçãoobtida pelasomadovalor+1paracadapalavrapositiva,e 1paracadapalavranegativa. Exercício4 Emhttp://saxonica.blogharbor.com/blog/index.xmlencontra seumfeedxmlnoformato RSScominformaçãocorrespondenteàsentradasefectuadasnoblogdoMichaelKay. Paracadaumdosseguintescasos,escrevaexpressõesXQueryque,utilizadoasfunções XPath para processamento de expressões regulares ou as funções de extensão introduzidasnasaulasdelaboratórioparaapesquisadeelementostextuaiscombaseem palavraschave,permitamacederàinformaçãopretendida. 4.1 Encontrarostítulosdetodasasentradasqueobedeçamaosseguintescritérios: 1. Contêmapalavrachave performance nadescriçãodaentrada. 2. Nãocontêmapalavra tinytree nadescriçãodaentrada. 3. Têmaexpressão compile time notítulodaentrada. 4. Foramefectuadasnumahoradodiaquecorrespondeaumnúmeroímpar. IST/DEI Pág.3de5

1 EscrevaumprogramaXQueryqueacedaatodasasentradasnoblogdoMichaelKay e verifique quais as entradas que mencionam a expressão XQuery Update ou o termo performance notexto.

4 GestãoeTratamentodeInformação A resolução de cada uma das alíneas deve considerar a ordenação dos resultados de acordocomograuderelevânciaparacomoscritériosdepesquisa. 4.2 ExtrairosURLqueseencontrammencionadosnotextodescritivodasentradasque contêm as palavras published ou downloaded. Deverá ter o cuidado de eliminar potenciaisurlemduplicado. Exercício5 No URL encontra se um documento de textocontendoinformaçãosobreaconcentraçãoatmosféricadeco 2 nazonadopólosul. Escreva um programa XQuery que aceda ao documento de texto e represente a informaçãosobaformadeumdocumentoxml,seguindooexemplodafigura4. <Measurements> <Measurement> <Year>1940</Year> <Jan>-99.99</Jan> <Aug>-99.99</Aug> <Annual>-99.99</Annual> <Annual-Fitted>-99.99</Annual-Fitted> </Measurement> </Measurements> Figura4 DocumentoXMLrepresentandoinformaçãosobreconcentraçõesdeCO 2 Exercício6 EscrevaumprogramaXQueryqueacedaaositeYahoo!Shopping(i.e.,convertaoHTML para um documento bem formado para posteriormente ser processado com expressões XPath e XQuery) e construa um novo documento XML com uma lista de máquinas fotográficasdigitaisdamarcanikon. O URL do site Yahoo! Shopping é Para aceder à informação sobreasmáquinasnikondeveserusadooseguinteurl: Brand=Nikon:browsename=Nikon%20Digital%20Cameras TenhaematençãoquealistagemcompletadasmáquinasNikonéapresentadaatravésde uma sequencia de páginas HTML, em que cada uma contem apenas 15 itens. Na parte inferiorcadaumadaspáginasencontra seumíndicequepermiteacederàsrestantes,por exemploatravésdoslinks Previous e Next. IST/DEI Pág.4de5

Exercício5 No URL http://cdiac.ornl.gov/ftp/trends/co2/sposio.co2 encontra se um documento de textocontendoinformaçãosobreaconcentraçãoatmosféricadeco 2 nazonadopólosul.

5 GestãoeTratamentodeInformação O programa XQuery desenvolvido neste exercício deverá recolher até 10 páginas da listagemdeprodutos(ummáximode150produtos).umaestratégiadeconcretizaçãoé, porexemplo,seguirummáximode10linkscomaâncoratextual Next. O programa XQuery desenvolvido neste exercício deverá ainda produzir como resultado umdocumentoxmlsegundooformatoqueseexemplificanafigura5. <produtos> <produto> <nome>camera Name</nome> <desc>nikon Camera Name - Compact Megapixels...</desc> <preco>$169 - $200</preco> </produto>  </produtos> Figura5 DocumentoXMLcominformaçãosobremáquinasfotográficas. Exercício7 Em encontra se um ficheiro de texto com valores separados por vírgulas, contendo informação sobre as capitais de estadoaustralianaseascoordenadasdelatitudeelongitudecorrespondentes. EscrevaumprogramaXQueryparaacederaodocumentoonlineeconverterosresultados para o formato KML usado pelo Google Earth. O formato de saída encontra se exemplificadonafigura6. <kml xmlns=" <Response> <name>places in australia</name> <Status><code>200</code><request>geocode</request></Status> <Placemark id="p1"> <address>sydney NSW, Australia</address> <AddressDetails Accuracy="4"> <Country> <CountryNameCode>AU</CountryNameCode> <CountryName>Australia</CountryName> </Country> </AddressDetails> <Point> <coordinates> , ,0</coordinates> </Point> </Placemark> </Response> </kml> Figura6 DocumentoKMLdeexemplo. IST/DEI Pág.5de5

O programa XQuery desenvolvido neste exercício deverá ainda produzir como resultado umdocumentoxmlsegundooformatoqueseexemplificanafigura5.

Documentos relacionados

Gestão e Tratamento de Informação 1º semestre

Gestão e Tratamento de Informação 1º semestre DepartamentodeEngenhariaInformática 2009/2010 GestãoeTratamentodeInformação1ºsemestre Laboratório5 Exercícios Nesta aula de laboratório iremos resolver exercícios envolvendo a transformação e extracçãodeinformaçãodesdedocumentoshtml,combasenatecnologiaxquery.