INSTITUTO SUPERIOR TÉCNICO Sistemas de Apoio à Decisão

Transcrição

1 Número: Nome: INSTITUTO SUPERIOR TÉCNICO Sistemas de Apoio à Decisão Exame: Solution January (5 pts) Algumas perguntas fáceis para começar ) Assinale as seguintes frases como verdadeiras (V) ou falsas (F). Cada resposta correcta corresponde a uma cotação de + valor. Resposta errada -0,5. Se não responder, a cotação é 0. (Indicate the question with (V) for true and (F) for false. Every correct answer has a value +. False answer has a value No answer the value 0.) (a) (pts) (F) (+)*(3+)*(3+)**=3*4*4**=9 Supor que um DW consiste em cinco dimensões: o tempo_, o tempo_ a geografia, o produto, o cliente e umas medidas contam, onde a contagem é o número de produtos vendidos. Supor que o dimensão tempo_ tem a hierarquia mês, dia. Supor que o dimensão tempo_ tem a hierarquia ano, mês, dia. Supor que o dimensão a geografia tem a hierarquia: continente, país, cidade. Então o número de cobóis é 0 Suppose that a DW consists of four dimensions: time_, time_, geography, product, customer and a measures count, where count is the number of sold products. Suppose that the dimension time_ has the hierarchy: day, month. Suppose that the dimension time_ has the hierarchy: day, month, year. Suppose that the dimension geography has the hierarchy continent, country, city. Then the number of cuboids is 0 (b) (pts) (V) A algoritmo Perceptron pode overfit (The algorithm Perceptron can overfit.)

2 Número: Nome: (c) (pts) (F) Os algoritmos -Nearest neighbor e 3-Nearest neighbor retornam sempre o mesmo resultado. (-Nearest neighbor e 3-Nearest neighbor return always the same results.) (d) (pts) (V) x y σ Uma Support Vector Machine com o kernel e dois nível escondido e com função activação linear. e mais poderoso que um perceptrão com x y σ (Support vector machine with the kernel e is more powerful then a Perceptron with two hidden layer and a linear activation function.) (e) (pts) (F) O Perceptrão Multinível com um nível escondidos e com função de ativação f (x) = σ(x) = + e ( x) só pode classificar problemas linearmente separáveis. (Multilayer Perceptron with one hidden layers and the activation function f (x) = σ(x) = + e ( x) can only classify linear seperable problems)

3 Número: Nome: 3 3) (3 pts) fp-growth TID Items bought 00 {a, b, c, d, f} 00 {a, b, c, d} 300 {a, c, g, f} 400 {a, b, c, f} 500 {a, b, d, e} 600 {a, b, e} (a) ( pts) Construa a fp-tree a partir da base de dados de transacções, com o threshold de from the Min_sup=50% (3/6) para o suporte mínimo. a=6 b=5 c=4 d=3 e= f=3 g= TID Items bought 00 {a, b, c, d, f} 00 {a, b, c, d} 300 {a, c, f} 400 {a, b, c, f} 500 {a, b, d} 600 {a, b} (b) (pts) Indicate the resulting conditional pattern base. b: a:5 c: (ab):3, a: d: (abc):, (ab): f: (abc):, (abcs):, (ac):

4 Número: Nome: 4 3. (3 pts) ) EM Clustering Dado o conjunto de dados x 0 0 j =,, 0 com µ 0 =,µ = e 0 # Σ = 0 & # % (,Σ $ 0 = 0 & % ( e P(C=i)=/ α=. Execute um passo do algoritmo de clustering EM. Quais ' $ 0 ' são os novos valores de µ i,σ i,w i? Given the data x 0 0 j =,, 0 with µ 0 =,µ = e 0 # Σ = 0 & # % (,Σ $ 0 = 0 & % ( and P(C=i)=/ α=. Preform on step of EM clustering algorithm. ' $ 0 ' What are the values of µ i,σ i,w i? By Bayes rule p ij =αp(x j C=i)P(C=i) P(x C = i) = exp % (π) d / / Σ C= i x µ C= i & ' ( ) t Σ C= i ( x µ C= i ) ( ) * p ij =αp(x j C=i)P(C=i) p ij =α/p(x j C=i) p ij =/P(x j C=i) Because we initialize our parameters arbitrary, we set P(C=i)=/ α=, with the given data we can simplify d=, and because of # Σ = 0 & # % (,Σ $ 0 = 0 & % ( ' $ 0 ' we get P(x C = i) = (π) exp $ x µ C= i % & p ij = (4π) exp $ x j µ % & C= i ( ) t ( x µ C= i ) ' ( ) ( ) t ( x j µ C= i ) ' ( )

5 Número: Nome: 5 (We using Mathematica notation) p= /(4*Pi)*Exp[-/*(x - u).(x - u)]= /(4*Pi)= p= /(4*Pi)*Exp[-/*(x - u).(x - u)]= p3= /(4*Pi)*Exp[-/*(x3 - u).(x3 - u)]= p= /(4*Pi)*Exp[-/*(x - u).(x - u)= p= /(4*Pi)*Exp[-/*(x - u).(x - u)]= p3=/(4*pi)*exp[-/*(x3 - u).(x3 - u)]= p i = n j= p ij p = p + p + p3= p = p + p + p3= n µ i p ij j= p i x j µ =(p*x + p*x + p3*x3)/p= (.73363,.9685) µ =(p*x + p*x + p3*x3)/p=( , ) µ = ,µ = Σ = (p*transpose[{x}].{x} + p*transpose[{x}].{x}+p3*transpose[{x3}].{x3})/p = Σ = (p*transpose[{x}].{x} + p*transpose[{x}].{x}+p3*transpose[{x3}].{x3})/p =

6 Número: Nome: 6 4. (3 pts) Belief Networks Calcule a probabilidade de Buglary dado Earthquake, RadioNews e WatsoCalls serem verdado. Alarm e desconhecido. (Determine the probability of Buglary given Earthquake, RadioNews and WatsoCalls are true. Alarm is unknown) P B e, r, w = α P w a P( a e, B P B P e P(r e) P B e, r, w = α P e P r e P B P w a P( a e, B P B e, r, w = α P e P r e P B (P w a P(a e, B + P w a P( a e, B ) P b e, r, w = α 0.00*0.*0.99*(0.95* *0.0)= P b e, r, w = α 0.00*0.9*0.99*(0.95*0.5+0.*0.5)= P(b e,r,w)= /( )= 0.665

7 Número: Nome: 7 5. ( pts) Decision Tree Cluster F F F3 F4 Output c a b a n a a b a t a b b a t c b s a m a b b a f Calcule a árvore de decisão para este conjunto de exemplos com target Output usando o algoritmo ID3. Indique os seus cálculos. Determine the decision tree using the ID3 algorithm with the target Output. Indicate the calculation. p(n)=/5 p(t)=/5, p(m)=/5, p(f)=/5 Log[x]= Log[x]/Log[] I(table)= -3*/5*Log[/5] - /5*Log[/5] =.993 bits n C E(P) = i I(C i ) gain(p) = I(C) E(P) C i= F Ca=(t,t,f), Cc=(n,m), I(Ca)= -/3*Log[/3] /3*Log[/3]= bits I(Cc)= -/*Log[/] /*Log[/]= bit E(F)= /5*+3/5*0.9896= Gain(F)= = F Ca=(n,t) Cb=(t,m,f) I(Ca)= -/*Log[/] /*Log[/]= bit I(Cb)= -3*/3* Log[/3]= E(F)= /5*+3/5*.58496= Gain(F)= = F3 Cb=(n,t,t,f) Cs=(m) I(Cb)= -*/4*Log[/4] /4*Log[/4]=.5 bits I(Cx)= 0 bit E(F)= 4/5*.5=. Gain(F)=.993-.=0.793 F4 Ca=table Gain(F3)=0

8 Número: Nome: 8 We chose F as the root The remaining table Ca: F F3 F4 Output a b a t b b a t b b a f I(table)= -/3*Log[/3] - /3*Log[/3] = bits F Ca=(t) Cb=(t,f) I(Ca)= 0 bit I(Cb)= bit E(F)= /3*= Gain(F)= =0.563 F3=F4=table Gain(F3)=Gain(F4)=0 We chose F, however since Gain(F3)=Gain(F4)=0 we cannot continue to resolve Cb=(t,f) After previously choosing F as the root The remaining table Cs: F F3 F4 Output a b a n b s a m I(table)= bit gain(f4)=0, gain(f)=gain(f3)= we can either chose F or F3

9 Número: Nome: (3 pts) Perceptron (a) (4 pts) Derive uma regra de treino de gradiente descendente (gradient descent training rule) para uma única unidade com saída o, em que: (Determine the gradient descent-training rule for one unit/neuron with: 𝑜=𝑒 𝑤 𝑥 𝑛𝑒𝑡 = 𝑛𝑒𝑡 = 𝑤 𝑥 𝑤 𝑤 = 𝜂 = 𝜂 𝑤 𝑤 = 𝜂 = 𝜂 𝑤 𝑤 = 𝜂 = 𝜂 𝑤 (𝑡 𝑜 ) (𝑡 𝑜 ) (𝑡 𝑜 ) ( 𝑒 (𝑡 𝑜 ) 𝑤 (𝑡 𝑒 𝑤,, ) 𝑤 𝑥, 𝑤 = 𝜂 = 𝜂 𝑤 𝑤 (𝑡 𝑒, ) 𝑒, 𝑥, 𝑤 = 𝜂 = 𝜂 𝑤 (𝑡 𝑜 ) 𝑜 𝑥, 𝑤. (b) ( pts) Dados n=, os pesos w={w=,w=0}. Faça um gradiente descendente estocástico com η= para para o vector de entrada x={,}={x=,x=} e alvo (target) t={0}, determine Δw (Given n= with weights w={w=,w=0}. Perform a stochastic gradient descent with η= with the input x={,}={x=,x=} and target (target) t={0}, determine Δw ) o=exp[** + 0*0*]=e 𝑤 = 0 𝑒 𝑒 = 𝑒 𝑤"# = 𝑒 = 𝑤 = 0 𝑤"# = 0