INSTITUTO SUPERIOR TÉCNICO Gestão e Tratamento de Informação

Transcrição

1 Número: Nome: INSTITUTO SUPERIOR TÉCNICO Gestão e Tratamento de Informação Exame 2 - Solução 5 Fevereiro A duração deste exame é de 2 Horas. É um exame com consulta. Não é permitida a utilização de computadores nem telemóveis. O número total de pontos é 20. Marque as suas respostas NA FOLHA DE EXAME. Escreva o seu número e nome no topo de cada página. Escreva todas as fórmulas. Para o uso oficial somente SUM

2 Número: Nome: 2 1. (4 pts) Miscelânia 1.1. (2 pts) Indique se as seguintes afirmações são verdadeiras ou falsas: a. A biblioteca de funções da linguagem XPath 2.0 não inclui nativamente o suporte para expressões regulares, embora no contexto da linguagem XQuery isso possa ser facilmente resolvido através de funções de extensão. Falsa b. A saída de um programa XQuery é obrigatoriamente um ficheiro XML bem formado. Falsa c. Usando as funcionalidades nativas da linguagem XQuery é possível processar documentos HTML, mesmo que estes tenham problemas de formatação. Falsa d. A métrica Recall é usada na avaliação de sistemas de reconhecimento de entidades em texto, medindo de todas as entidades existentes no texto, quantas é que efectivamente são reconhecidas pelo sistema. Verdadeira e. A técnica de aprendizagem multi-estratégia aplicada para encontrar mapeamentos entre dois esquemas de dados tem uma fase de matching em que os learners base são treinados com um conjunto de dados. Falsa f. A distância de Jaro aplicada a duas cadeias de caracteres define-se através do número de caracteres comuns e do número de caracteres raros entre das duas cadeias. Falsa g. O método de procura baseado na vizinhança ordenada (Sorted Neighbour Searching) devolve os mesmo registos como sendo duplicados que o produto cartesiano. Falsa h. O mecanismo de excepções no AJAX serve para optimizar a execução dos operadores. Falsa

3 Número: Nome: (2 pts) Responda às seguintes questões: a. Considere o algoritmo de distância de edição entre cadeias de caracteres. Diga como o modificaria para permitir dar pesos diferentes às diferentes operações (substituição, inserção e remoção). Por exemplo, considere que o custo de uma substituição é 10 vezes superior ao de uma inserção e mostre as fórmulas de cálculo resultantes. Solução: Considere que o custo de uma substituição é S, o custo de uma inserção é I e o custo de uma remoção é R. A definição da matriz para o algoritmo seria, por exemplo: m[0,0] = 0 m[i,0] = i m[0,j] = j m[i,j] = min( m[i-1,j-1] + r(s1[i],s2[j]), m[i-1,j] + I, m[i,j-1] + R) r(c1,c2) = 0 se c1 = c2 = S se c1!= c2 No caso do exemplo dado, teriamos, por exemplo, que I = R = 1 e S = 10. b. Indique duas vantagens das linguagens declarativas. Explique. Nota: Relembre a framework AJAX e a respectiva linguagem de especificação de programas de limpeza de dados. Solução: 1) Abre oportunidades de optimização, porque a especificação lógica está separada da execução física dos operadores. 2) Os programas são mais concisos

4 Número: Nome: 4 2. (5 pts) XML: XSD, XPath, XSLT, XQuery Considere o ficheiro XML que se apresenta abaixo, que codifica informação sobre os servidores existentes num dado data center e a forma como estes se agrupam em clusters de servidores. <config> <servers> <server id="s1" fast="true">dumbo</server> <server id="s2">rudolph</server> <server id="s3">prancer</server> <server id="s4" fast="true">dancer</server> <server id="s5" fast="false">donner</server> <server id="s6">blitzen</server> <servers/> <clusters> <cluster id="c1" name="website"> <member>s1</member> <member>s2</member> <cluster id="c2" name="billing"> <member>s1</member> <member>s3</member> <member>s4</member> </clusters> <config> 2.1. (1 pt) Apresente expressões XPath que permitam responder às seguintes necessidades de informação.: a. Encontrar os "ids" de todos os clusters com um número ímpar de servidores. //cluster[count(member) mod 2 = 1]/@id b. Encontrar os servidores rápidos que pertençam a um cluster. //server[fast= true ][index-of(//member,@id) >= 0] 2.2. (1 pt) Apresente expressões XQuery que permitam responder às seguintes necessidades de informação. a. Encontrar todos os servidores que pertencem ao cluster de nome website. for $i in //server where exists(//cluster[@name="webite"]/member[data(.)=$i/@id]) return $i

5 Número: Nome: 5 b. Encontrar todos os servidores que não estão associados a nenhum cluster. for $i in //server where not(exists(//cluster/member[data(.)=$i/@id)])) return $i 2.3. (1,5 pt) Considere o XML Schema (XSD) que se apresenta em baixo. Indique se ele permite validar o ficheiro XML codificando informação sobre clusters e servidores, justificando pelo menos três erros. Considere que os atributos id e name são de uso obrigatório. <?xml version="1.0"?><xs:schema xmlns:xs=" <xs:element name="config"> <xs:complextype> <xs:sequence> <xs:element name="servers"> <xs:complextype> <xs:sequence> <xs:element name="server"> <xs:simplecontent> <xs:extension base="xs:string"> <xs:attribute name="id" type="xs:string" use="required" /> <xs:attribute name="fast" type="xs:integer" use="required" /> </xs:extension> </xs:simplecontent> </xs:element> </xs:sequence> </xs:complextype> </xs:element> <xs:element name="clusters"> <xs:complextype> <xs:sequence> <xs:element name="cluster" maxoccurs="unbounded"> <xs:complextype> <xs:sequence> <xs:element name="member" type="xs:string" /> <xs:sequence> <xs:attribute name="id" type="xs:string" maxoccurs="1"/> <xs:attribute name="name" type="xs:string" use="required"/> </xs:complextype> </xs:element> </xs:sequence> </xs:complextype> </xs:element> </xs:sequence> </xs:complextype> </xs:element> </xs:schema>

6 Número: Nome: 6 Erro 1 - Faltam a indicação que o número máximo de ocorrências dos elementos server e member deve ser unbounded Erro 2 - falta a indicação que o atributo id do elemento member é de uso obrigatório "use=required" (o mesmo atributo tem um erro, referente à indicação maxoccurs=1) Erro 3 - O tipo de dados do atributo fast devia ser boolean ou string Erro 4 O elemento server deve ser definido com base num complextype

7 Número: Nome: (1,5 pts) Escreva uma XSLT que permita transformar o ficheiro XML original, contendo informação sobre servidores e clusters, num ficheiro XML com a estrutura que se apresenta abaixo. No exemplo apresentado, tenha em atenção ao facto de cada cluster incluir apenas os servidores que lhe pertencem. Os elementos <server> que não se encontram associados a nenhum elemento <cluster> não devem ser incluídos no resultado da transformação. <config> <cluster name="website"> <server name="dumbo"/> <server name="rudolph"/> <cluster name="billing"> <server name="prancer"/> <server name="dancer"/> </config> <x:stylesheet version="1.0" xmlns:x=" <x:output method="xml" version="1.0" /> <x:template match="/"> <x:element name="config"> <x:for-each select="//cluster"> <x:element name="cluster"> <x:attribute name="name" select="@name"/> <x:for-each select="member"> <x:variable name="aux" select="data(.)" /> <x:element name="server"> <x:attribute name="name" select="../../..//server[@id=@aux]/data(.)"/> </x:element> </x:for-each> </x:element> </x:for-each> </x:element> </x:template> </x:stylesheet>

8 Número: Nome: 8 3. (3 pts) Extracção de Informação 3.1. (1 pt) Considere o alfabeto composto pelos símbolos A, B, C e D. Escreva expressões regulares que reconheçam: a) Sequências com um número ímpar de As. [BCD]*A([BCD] A[BCD]*A)* b) Sequências formadas por pares com os símbolos A,B e C, em que: - cada par é sempre separado por uma sequência de Ds, e - cada par tem de ser formado por símbolos diferentes (i.e., não são permitidos os pares AA, BB e CC). ((A[BC] B[AC] C[AB])D+(A[BC] B[AC] C[AB])) (2 pts) Considere o seguinte conjunto de anúncios publicitários, semelhantes aos que normalmente são encontrados em páginas Web Suplementos Alimentares Vários Suplementos Alimentares aos melhores preços! Ent. 24H Encomende nos seus grossistas. Flores portuguesas Vamos satisfazer os seus Desejos! Turismo Portugal Poupe até 70 % Reservas online em Portugal Entregamos em todo o país Vinhos Portugueses Veja as nossas Promoções Hoje

9 Número: Nome: 9 Suponha que pretende analisar automaticamente estes anúncios e outros semelhantes para determinar qual o produto vendido (no exemplo: suplementos alimentares, flores, reservas online e vinhos). Sugira um Hidden Markov Model que possa ser usado para resolver este problema. Nomeadamente, indique: - quais os estados que consideraria - quais os símbolos emitidos pelo modelo - quais as probabilidades associadas a cada estado, símbolo e transição. Responda a esta questão desenhando o modelo. Justifique as suas decisões. Nesta aplicação de um HMM, os símbolos correspondem ao que é observado e os estados ao que pretendemos determinar. Sendo assim, observando os anúncios disponíveis (e assumindo que estes são representativos de todos os anúncios), temos: Estados: URL - url do vendedor Produto - produto vendido Slogan - frases publicitárias Símbolos: Os símbolos são todas as palavras no vocabulário total dos anúncios. As probabilidades iniciais de cada estado são calculadas verificando, quantos anúncios começam com uma frase do estado correspondente. Por exemplo, 2 em 4 anúncios começam com uma URL, logo a probabilidade inicial o estado URL é 2/4 = 0,5. As probabilidades de emitir um símbolo p num dado estado i calculam-se contando o número de vezes que a palavra p ocorre no estado i, sobre o número total de ocorrências da palavra. Por exemplo, a palavra "suplemento" ocorre duas vezes no total e uma vez no estado Produto, logo a probabilidade de ocorrência de "suplemento" no estado Produto é 1/2 = 0,5. A probabilidade de transição do estado i para o estado j podem ser calculadas contando, para cada passagem da palavra p1 para a palavra p2, em quantas p1 estava no estado i e p2 estava no estado j. Por exemplo, ao percorrermos os anúncios, vemos que existem 17 casos em que partimos de uma palavra na URL para outra palavra qualquer. Desses 17 casos, em 4 partimos para uma palavra no Produto. Logo, a probabilidade de passar de URL para Produto é de 4/17 = 0,24. Note-se que esta é apenas uma possível solução, existindo diversos outros algoritmos para construir HMMs com base em exemplos. Os cálculos dariam origem ao HMM da figura seguinte (onde é omitida a representação dos símbolos, por razões de legibilidade).

10 Número: Nome: (4 pts) Integração de dados Os dois ficheiros XML que se apresentam abaixo codificam informação sobre os servidores existentes num dado datacenter e a forma como estes se agrupam em clusters de servidores. <datacenter> <cluster name="website"> <server name="dumbo" fast="true"/> <server name="rudolph"/> <admin>ze@gmail.com</admin> <cluster name="billing"> <server name="prancer"/> <server name="dancer" fast="true"/> <individual-servers> <server name="donner" fast="true"/> <server name="blitzen"/> </individual-servers> </datacenter> <config> <clusters> <cluster> <name>data</name> <nmachines>2</nmachines> <server>hdfs1</server> <server>hdfs2</server> <cluster> <name> </name> <nmachines>2</nmachines> <server> 1</server> <server> 2</server> </clusters <ind-server name="web"/> <ind-server name="gibson"/> </config>

11 Número: Nome: (1 pt) Apresente, sobre a forma de um documento XML, um formato de representação comum para as duas fontes de dados apresentadas acima. <datacenter> <clusters> <cluster> <name>website</name> <nmachines>2</nmachines> <server fast="true">dumbo</server> <server>rudolph</server> <admin>ze@gmail.com</admin> <cluster> <name>billing</name> <nmachines>2</nmachines> <server name="prancer"/> <server name="dancer" fast="true"/> </clusters> <individual-servers> <server fast="true">donner</server> <server>blitzen</server> </individual-servers> </datacenter> (1,5 pts) Apresente views em XQuery que convertam a informação das fontes de dados originais para o formato de representação comum (i.e. dois wrappers). declare function local:wrapper1() { let $doc :=... return <datacenter> {( <clusters>{ for $i in $doc//cluster return <cluster> <name>{$i/@name}</name> <nmachines>{count($i/server)}</nmachines> {for $j in $i/server return <server fast="{$j/@fast}">{$j/@name}</server>} <admin>{$i/admin}</admin> }</clusters>, <individual-servers>{ for $i in $doc//individual-servers/server return <server fast="{$i/@fast}">{$i/@name}</server> }</individual-servers> )} </datacenter> );

12 Número: Nome: 12 declare function local:wrapper2() { let $doc :=... return <datacenter> {( <clusters>{ for $i in $doc//clusters/cluster return <cluster> <name>{$i/name}</name> <nmachines>{$i/nmachines}</nmachines> {for $j in $i/server return <server fast="{$j/@fast}">{data($j)}</server>} <admin/> }</clusters>, <individual-servers>{ for $i in $doc//ind-server return <server fast="{$i/@fast}">{data($i/@name)}</server> }</individual-servers> )} </datacenter> ); 4.3. (1,5 pts) Apresente uma view em XQuery que permita consolidar a informação das duas views definidas na alínea 1.3 (i.e. um mediador), retornando a união das duas fontes de dados. declare function local:mediator() { <datacenter> <clusters>{ for $i in local:wrapper1()//clusters/cluster union local:wrapper2()//clusters/cluster return $i }</clusters> <individual-servers>{ for $i in local:wrapper1()//individual-servers/server union local:wrapper2()//individual-servers/server return $i }</individual-servers> </datacenter> };

13 Número: Nome: (4 pts) Limpeza e transformação de dados 5.1. (1pt) Considere as seguintes sequências de caracteres: i) SOPAPO ii) SOPADESAPO Usando o algoritmo de programação dinâmica: a) Calcule a distância de edição entre as sequências Solução: A distancia de edição é 4. Solução: b) Indique um possível alinhamento mínimo. Tendo em conta os percursos apresentados na alínea anterior, dois alinhamentos são possíveis: S O P A D E S A P O S O P A P O S O P A D E S A P O S O P A P O 5.2. (1,5 pts) Considere as mesmas duas cadeias de caracteres da alínea 5.1. a) Calcule o número de 2-grams em comum. b) Calcule a distância de edição entre as duas cadeias baseada em 2-grams. c) No contexto da detecção de cadeias de caracteres aproximadamente duplicadas, indique para que casos é mais apropriado usar a medida de distância usada na alínea 5.1, e em que casos é mais apropriado usar a medida de distância desta alínea.

14 Número: Nome: 14 Solução: a) SOPAPO: SO, OP, PA, AP, PO SOPADESAPO: SO; OP, PA, AD, DE, ES, SA, AP, PO Nº de 2-grams em comum: 5 b) SQRT((1-1)^2 + (1-0)^2*4) = SQRT(4) = 2 c) Distância de edição baseada em n-grams é mais adequada para cadeias de caracteres em que há troca na ordem dos caracteres; a baseada em programação dinâmica no caso contrário (1,5 pts) Considere a seguinte tabela com registos sobre pessoas: Nome Cod. Postal Localidade Concelho Maria Amélia Agadão, Águeda Francisco Martins Casinhas Porto Santo Pedro Carvalho Porto Santo Lisboa Diogo Antunes Agueda Águeda Pedro Carvallo Porto Santo Porto Santo Joana Almeida Aguada de Baixo Águeda Maria Amália Águeda Águeda João de Sousa Matas Porto Santo Escreva um script em SQL para detectar e consolidar registos aproximadamente duplicados nesta tabela. Se invocar funções externas dentro das interrogações SQL, indique qual a semântica das funções. Solução: % f1 e f2 são funções de semelhança entre cadeias de caracteres; f3 e f4 são funções que, dadas duas cadeias de caracteres como entrada, retornam uma só de saída; assumimos como critério de semelhança entre dois registos da tabela, terem os nomes e as localidades semelhantes, e os códigos postais iguais % SELECT f3(t1.nome, T2.nome) nome, T1.codPostal, f4(t1.localidade, T2.localidade) localidade localidade, T1.concelho FROM T T1, T T2 WHERE f1(t1.nome, T2.nome) > K1 AND f2(t1.localidade, T2.localidade) > K2 AND T1.codPostal = T2.codPostal