Estimação do Número de Fontes Utilizando Métodos Baseados na Teoria da Informação

Transcrição

1 93 SOARES, GUIMARÃES & SOUZA: ESTIMAÇÃO DO NÚMERO DE FONTES UTILIZANDO MÉTODOS BASEADOS NA TEORIA DA INFORMAÇÃO Estiação do Núero de Fontes Utilizando Métodos Baseados na Teoria da Inforação Patrícia Maria Soares, Dayan Adionel Guiarães e Rausley Adriano Aaral de Souza Abstract This is a tutorial paper on ethods that use inforation theoretic fundaentals for estiating the nuber of sources. Three ethods are addressed: the Akaike inforation criterion (AIC), the iniu description length (MDL) and the Bayesian inforation criterion (BIC). The tutorial also provides a background aterial so that the understanding of the above ethods is facilitated and the text becoes self-contained. Nevertheless, a large nuber of references are cited to allow for the reader to seek for ore detailed inforation, if needed. Index Ters Akaike inforation criterion, Bayesian inforation criterion, estiation of the nuber of sources, axiu description length. Resuo Este tutorial discorre sobre étodos de estiação do núero de fontes baseados na teoria da inforação. Três étodos são abordados: o critério de inforação de Akaike (AIC), o étodo do copriento de ínia descrição (MDL) e o critério de inforação Bayesiana (BIC). Alguns conceitos fundaentais tabé são fornecidos, objetivando facilitar o entiento dos étodos supracitados e tornar o tutorial ais copleto e até certo ponto indepente da consulta a outras referências e u prieiro oento. Ainda assi, u grande núero de referências é listado de fora que o leitor possa procurar por inforações ais detalhadas, caso necessário. Palavras chave critério de inforação de Akaike (AIC), critério de inforação Bayesiana (BIC), estiação do núero de fontes, étodo do copriento de áxia descrição (MDL). I. INTRODUÇÃO Estiar o núero de fontes significa deterinar a quantidade de fontes geradoras dos estíulos recebidos por u arranjo de sensores. Trata-se de u problea clássico e processaento digital de sinais, encontrando aplicações e telecounicações, e edicina, e sisteas de radares, e estatística e e uitas outras áreas []-[8]. No contexto de sisteas de telecounicações, estiar o núero de fontes significa estiar o núero de transissores ativos e ua deterinada faixa de frequências, usando u arranjo de antenas coo eleento sensor ou u conjunto de receptores co antenas siples copondo u arranjo virtual de antenas. No contexto de sensoriaento espectral e sisteas de rádio cognitivo (RC) [9], por exeplo, pode ser iportante nas técnicas de detecção e que a rede secundária conheça o núero de transissores para que possa corretaente coputar a estatística de teste que peritirá verificar o estado de ocupação do espectro, ou até eso coo dado adicional de entrada de u processo cognitivo ais aplo. Neste caso as antenas dos rádios cognitivos copõe o arranjo virtual de antenas. Outra aplicação e sisteas de telecounicações consiste da estiação da variância de ruído térico na entrada de u receptor, na presença de sinal. Vários algoritos de estiação desta variância necessita conhecer o núero de sinais recebidos de fora que opere a contento [3]. Este tabé é o caso de vários algoritos de estiação de direção de chegada (DoA, direction of arrival) de sinais e arranjos de antenas, os quais produze estiativas ais precisas se é conhecido o núero de transissores [0]. E sisteas de radar, a estiação do núero de fontes pode auxiliar no conheciento do núero de ecos de u sinal refletido por u alvo, peritindo que etapas posteriores de processaento reduza a influência de tais ecos na caracterização do alvo [2][]. E edicina, a estiação do núero de fontes pode ser utilizada, por exeplo, na contage do núero de neurônios que responde a estíulos controlados e cada parte do cérebro, peritindo que as áreas cerebrais sensíveis a cada tipo de estíulo seja identificadas [8]. Muito se te pesquisado sobre a estiação do núero de fontes desde o trabalho seinal de M. Wax e T. Kailath [2], o qual discorre sobre os étodos fundaentados pela teoria da inforação. Entre eles erece destaque o étodo baseado no critério de inforação de Akaike (AIC, Akaike inforation criterion), o étodo do copriento de ínia descrição (MDL, iniu description length) e o étodo baseado no critério de inforação Bayesiana (BIC, Bayesian inforation criterion) [2]. Dentre estes, o étodo MDL te sido considerado referência ou eleento de coparação na aioria dos estudos de estiação [3]. Métodos baseados na teoria de atrizes aleatórias (RMT, rando atrix theory) tê sido explorados coo alternativos e relação àqueles baseados na teoria da inforação. E [3], por exeplo, são aplicados recentes resultados sobre a distribuição dos autovalores da atriz de covariância do sinal recebido e do ruído e u novo algorito baseado e ua sequência de testes de hipóteses. O algorito de [3] procura obter alta probabilidade de detecção correta e regies de baixa relação sinal-ruído, característica arcante do estiador AIC, be coo boa consistência e regies de grandes núeros de aostras do sinal recebido, característica relevante do estiador MDL. A aior desvantage do étodo baseado na teoria de atrizes aleatórias consiste da necessidade de se estiar a variância de ruído térico para que, e seguida, u liiar de decisão do teste de hipóteses seja coputado. Isto pode representar u grande obstáculo de orde prática, alé de produzir variação de desepenho e função do grau de precisão do valor estiado de variância. Nos étodos baseados na teoria da inforação, assi coo no étodo baseado na teoria de atrizes aleatórias, o núero de fontes é estiado toando por base ua classificação dos autovalores da atriz de covariância do sinal (estíulo) sensoriado. Tal classificação pode ser caracterizada coo u problea de seleção de odelo (odel selection) ou de

2 REVISTA TELECOMUNICAÇÕES, VOL. 5, Nº02, OUTUBRO DE deterinação de orde de odelo (odel order deterination) []-[3][2] e busca identificar, dentre todos os autovalores, u subconjunto cujo núero de eleentos está associado ao núero de sinais recebidos. Esta classificação dos autovalores corresponde a u dos aiores desafios destes étodos. Neste tutorial apresenta-se ua introdução aos étodos de estiação do núero de fontes baseados na teoria da inforação, restringindo-se a abordage àqueles que utiliza os autovalores da atriz de covariância do sinal recebido. Coo preparação para o entiento de tais étodos, a Seção II descreve a forulação do problea e na Seção III são apresentados alguns fundaentos relacionados à teoria da estiação de orde de odelo. Nas seções IV, V e VI são apresentados os étodos de estiação AIC, BIC e MDL, respectivaente e tabé resultados de siulação e interpretações sobre o desepenho de cada u. A Seção VII apresenta resultados de siulação coparativos e os coentários finais estão presentes na Seção VIII. II. FORMULAÇÃO DO PROBLEMA Considere que o sinal incidente e u receptor co u arranjo de antenas (ou e receptores co ua antena cada u, forando u arranjo virtual) no i-ésio instante de tepo discreto, i =, 2,..., n, possa ser representado por x Hsi+ n i, () e que {x i } = {x(t i )} denota observações -diensionais do sinal recebido, H é a atriz de canal de orde p, co p colunas linearente indepentes conto eleentos. Os eleentos {h kl } de H, k =, 2,..., e l =, 2,..., p, representa o ganho do canal entre o l-ésio transissor (ou fonte) e o k-ésio sensor (eleento e u arranjo de antenas ou receptor co antena siples), coo ilustrado na Figura. O conjunto {s i }, de orde p, representa sinais aleatórios estacionários de édia nula. Por fi, {n i }, de orde, representa os vetores de ruído aditivo Gaussiano N(0, σ 2 I), co I so ua atriz identidade de orde. Figura : Representação dos ganhos na atriz de canal H e u cenário co p transissores e receptores. ˆ n = i i, n = n R x x XX (2) e que denota conjugado transposto e X, de orde n, é a atriz forada arranjando-se lado a lado os n vetores do conjunto {x i }. Seja S, de orde p n, a atriz forada arranjando-se lado a lado os n vetores {s i }. Se N, de orde n, é a atriz forada arranjando-se lado a lado os n vetores {n i }, então se pode escrever que X = HS + N. Devido à édia nula do ruído e sua indepência do sinal, pode-se facilente verificar que R pode ser assi escrita [2]: 2 s σ R= E[ XX ] = HR H + I, (3) e que R s é a atriz de covariância do sinal transitido, ou seja, R s = E[SS ]. Da teoria de álgebra linear, se a atriz de canal H tiver todas as p colunas linearente indepentes (full rank), o posto (rank) da atriz HR s H será p ou, equivalenteente, os p enores autovalores de HR s H serão nulos. Coo os autovalores de R são os autovalores de HR s H ais os autovalores de σ 2 I, então os p enores autovalores de R serão iguais a σ 2. Note então que é possível se estiar o núero de fontes p deterinando-se a ultiplicidade dos enores autovalores de R. Na prática, entretanto, não se conhece a atriz de covariância R, as apenas sua estiativa ˆR, a qual é obtida a partir de u núero finito n de aostras, confore [2]. Neste caso os enores autovalores de ˆR serão diferentes co probabilidade, e a estiação do núero de fontes eraente observando os autovalores se torna tarefa bastante coplexa [2]. A classificação dos autovalores de ˆR e dois grupos que perita identificar quantos são os aiores (ou enores) corresponde justaente ao aior problea na estiação do núero de fontes por eio da estiativa da atriz de covariância do sinal recebido. Para ilustrar esse problea, a Figura 2 ostra os gráficos dos autovalores {λ λ 2 λ } da atriz de covariância do sinal recebido, ˆR, noralizados e relação ao áxio autovalor, para valores de relação sinalruído (SNR, signal-to-noise ratio) de 0 db e 5 db. O núero de fontes é p = 5, o núero de sensores é = 30, o núero de aostras por receptor (sensor) é n = 000 e a potência total do sinal transitido é unitária. Perceba que os p = 25 enores autovalores estão nitidaente separados dos p = 5 aiores, possibilitando ua estiação correta do núero de fontes p. Já para ua SNR = 5 db, correspondente a ua relação sinal-ruído be enor, é praticaente ipossível notar a separação entre os p aiores e os p enores autovalores, o que significa que a estiação do núero de fontes nessa situação levaria a ua alta probabilidade de erro. Seja R a atriz de covariância do sinal recebido, a qual te sua estiativa de áxia verossiilhança dada pela édia aostral (saple covariance atrix)

3 95 SOARES, GUIMARÃES & SOUZA: ESTIMAÇÃO DO NÚMERO DE FONTES UTILIZANDO MÉTODOS BASEADOS NA TEORIA DA INFORMAÇÃO e que γ θ =. (6) σ 2 Coo θ, a princípio, é u vetor de parâetros desconhecidos, representa-se por ˆθ a sua estiativa. A aplicação do critério de áxia verossiilhança consiste e encontrar o conjunto de parâetros que axiiza f ( xθ, ) ou ln f ( xθ, ), já que a função logarítica é ua função onotônica crescente. A estiativa de áxia verossiilhança do vetor θ pode assi ser escrita [2]: θˆ = arg ax ln f ( xθ, ). (7) θ Figura 2: Classificação dos autovalores da atriz de covariância estiada para SNR = 0 db e SNR = 5 db. III. FUNDAMENTOS Nesta seção são apresentados alguns fundaentos sobre a teoria da estiação de orde (ou seleção) de odelo. Não se prete aqui cobrir co profundidade todos os conceitos e desenvolvientos ateáticos, as apenas estabelecer a conexão entre eles de fora que o leitor possa conseguir enter as origens de cada u dos étodos de estiação discutidos. Espera-se tabé que os fundaentos aqui apresentados sirva para que o leitor tenha condições de estudar tais étodos de fora ais aprofundada, ou até eso estudar outros étodos não cobertos neste artigo. A. Estiação de Orde de Modelo pelo Critério de Máxia Verossiilhança Considere u vetor -diensional x observado e u deterinado instante de tepo discreto. O critério de áxia verossiilhança pode ser utilizado para se obter a estiativa de u deterinado parâetro a partir desse vetor [2][3]. Considerando x ua variável aleatória (ultidiensional) associada a u sinal recebido e θ u vetor de parâetros desse sinal, a função densidade de probabilidade (FDP) de x pode ser representada por f ( xθ, ), conhecida coo função de verossiilhança do vetor x e função dos parâetros e θ [2][3][2]. Seja o vetor x representado por [2] x= µ ( γ) + η, (4) e que γ é u vetor desconhecido, µ(γ) é ua função deterinística de γ e η representa o ruído Gaussiano e branco (AWGN, additive white Gaussian noise) de édia zero e atriz de covariância igual a σ 2 I. Então se pode escrever f ( xθ, ) coo [2] 2 x µ ( γ) 2 2σ f ( x, θ ) = e, (5) /2 2 /2 (2 π) ( σ ) E uitas aplicações, não soente os valores dos parâetros estiados a partir do vetor observado são de interesse, as tabé a diensão do vetor de parâetros θ. Esta diensão é usualente denoinada de orde do odelo e análise e pode estar associada, por exeplo, ao núero de fontes de sinais incidindo sobre u arranjo de sensores. É dessa fora que o critério de áxia verossiilhança está conectado aos étodos de seleção ou de deterinação de orde de odelo [2]. A seguir, o problea de seleção de orde de odelo é forulado coo u teste de hipóteses, para o qual se verifica que o critério do áxio a posteriori (MAP) pode ser considerado ótio. E seguida discute-se sobre o critério de inforação de Kullback-Leibler (KL), o qual direciona para ua abordage alternativa para a elaboração de regras de seleção de orde de odelo baseadas na teoria da inforção. B. Estiação de Orde de Modelo pelo Critério do Máxio a Posteriori (MAP) Seja H k a hipótese de que a orde do odelo e análise é k e seja K u liitante superior para essa orde. Considere ainda que as hipóteses { H k} k= K são utuaente excludentes, ou seja, apenas ua delas pode ser considerada coo verdadeira por vez. O critério MAP é aquele que axiiza a probabilidade a posteriori da hipótese H k, P( H k x ), e alternativaente pode ser assi descrito [2]: ax f ( x H ) P( H ), (8) k k e que P(H k ) é a probabilidade a priori de H k. Se as hipóteses são equiprováveis, o critério MAP se reduz a k ax f ( x H ). (9) k No contexto de estiação de parâetros, quando o parâetro estiado é u inteiro, se costua dizer que se trata de u problea de detecção. So assi, quando se estia o parâetro de interesse atribui-se ao processo de estiação ua probabilidade de detecção correta. Considere que, para o problea de estiação de orde de odelo, a probabilidade de detecção correta P c seja aquela obtida pela édia sobre k

4 REVISTA TELECOMUNICAÇÕES, VOL. 5, Nº02, OUTUBRO DE todas as hipóteses. Pode-se ostrar [2] que o critério MAP iniiza P c e que, portanto, trata-se de u critério ótio para deterinação de orde de odelo. Aspectos de realização prática do critério MAP são discutidos ais adiante, na Subseção III-D. C. Distância de Kullback-Leibler (KL) A distância de Kullback-Leibler é ua edida de discrepância entre duas FDPs, a verdadeira e a estiada, por exeplo. Definindo a FDP verdadeira coo f ( xθ, ) e a FDP estiada coo f ˆ( xθ, ), a distância de Kullback-Leibler é definida coo [2] ˆ f ( xθ, ) D[ f ( xθ, ), f ( xθ, )] = f ( xθ, )ln dx. (0) fˆ( xθ, ) Pode-se ostrar [2] que D[ f ( xθ, ), fˆ ( xθ, )] 0 e que D[ f ( xθ, ), f ˆ( xθ, )] = 0 se e soente se f ( xθ, ) = f ˆ( xθ, ). A distância de KL é tabé conhecida coo entropia relativa. Coo, segundo a teoria da inforação, a entropia é ua edida de quantidade de inforação, então se pode associar a discrepância edida pela distância de KL à perda de inforação pelo uso de f ˆ( xθ, ) e vez de f ( xθ, ). Por essa razão a distância de KL é às vezes denoinada de função de inforação de KL e os étodos de deterinação de orde de odelo dela derivados são usualente denoinados de étodos baseados na teoria da inforação. Aspectos de realização prática da inforação de KL são discutidos na próxia subseção. D. Aplicação do critério MAP e da inforação de KL na estiação de orde de odelo É iportante ressaltar que ne o critério MAP ne a inforação de KL pode ser utilizados diretaente para estiação de orde de odelo, pois as FDPs relacionadas ao vetor de dados sob as várias hipóteses, f ( x H k ), ou a FDP verdadeira dos dados, f ( xθ, ), são desconhecidas. Ua alternativa para se utilizar a abordage MAP consiste e se atribuir ua FDP a priori para o vetor desconhecido θ, integrando f ( xθ, H k ) e relação a essa FDP para se encontrar a FDP associada a cada hipótese, f ( x H k ). E relação à inforação de KL, ua possibilidade de utilizá-la na estiação de orde do odelo consiste e utilizar ua estiativa da distância de KL, denotada por Dˆ[ f ( xθ, ), fˆ ( xθ, )], escolho-se ua FDP f ˆ( xθ, ) que seja adequada ao odelo. A deterinação da orde do odelo é então realizada pela iniização de Dˆ[ f ( xθ, ), fˆ ( xθ, )]. No caso particular da inforação de KL, note que a expressão (0) pode ser reescrita coo ˆ f ( xθ, ) D[ f ( xθ, ), f ( xθ, )] = E ln f ˆ( xθ, ) = E[ ln f ( xθ, )] E ln fˆ (, ) xθ, (). e que o valor esperado é toado co relação à FDP real dos dados observados, f ( xθ, ). Note que soente a parcela da direita e () é depente do odelo. Então, axiizar Dˆ[ f ( xθ, ), fˆ ( xθ, )] é equivalente a axiizar E[ln fˆ ( xθ, )], a chaada inforação relativa de Kullback-Leibler. A escolha ideal para f ˆ( xθ, ) de fora que E[ln fˆ ( xθ, )] seja axiizada é f ( xθ, ). Coo esta função não está disponível, ua escolha razoável seria aquela obtida co os parâetros estiados, ou seja, f ( xθ, ˆ). No entanto, ainda não seria possível coputar o valor esperado E[ln f ( xθ, ˆ)], já que f ( xθ, ), a FDP real dos dados sobre a qual o valor esperado seria toado, não é conhecida. Coo saída poderíaos utilizar o estiador não polarizado trivial de E[ln f ( xθ, ˆ)], que é ln f ( xθ, ˆ). Entretanto, coo ressaltado e [2], a orde de odelo obtida a partir da axiização de ln f ( xθ, ˆ) não terá propriedades interessantes, podo falhar copletaente e alguns casos, principalente naqueles e que hipóteses estão aninhadas, ou seja, quando o odelo associado a ua hipótese é u caso particular de u odelo associado a outra hipótese. Ua prieira abordage para a solução do problea supracitado consiste e aproxiar a FDP desconhecida do odelo, f ( xθ, ), por ua expansão de Taylor e torno do vetor de parâetros estiados, ˆθ, usando então essa aproxiação coo f ˆ( xθ, ) no problea de axiização da inforação relativa de KL, E[ln fˆ ( xθ, )]. Coo resultado, a orde de odelo k (diensão do vetor ˆθ ) estiada será aquela que iniiza [2] 2ln f ( xθ, ˆ) + k. (2). Verificou-se e [2] que a orde do odelo obtida por eio da iniização de (2) te a ser superestiada porque ua redução no prieiro tero te a ser pouco copensada pelo auento no segundo tero. E outras palavras, o segundo tero e (2) penaliza a sobrestiação, as não o faz a contento. Mais genericaente, o tero de penalização (ou tero de correção) é então responsável por tornar não polarizada a estiativa da distância édia de KL entre a densidade real do odelo, f ( xθ, ), e a densidade estiada f ( xθ, ˆ). Coo visto na Subseção III-A, a densidade f ( xθ, ˆ) pode ser deterinada a partir da estiativa de áxia verossiilhança ˆθ do vetor de parâetros desconhecidos. Para o caso específico da estiação da orde do odelo aplicada à estiação do núero de fontes, f ( xθ, ˆ), ou ln f ( xθ, ˆ), é ua função dos autovalores {λ λ 2 λ } da atriz de covariância do sinal recebido. Aditindo ruído Gaussiano, sinais fonte co distribuição Gaussiana e atriz de canal co posto áxio (full rank), tal função de logverossiilhança terá a fora [2] λi ˆ k+ ln f ( xθ, ) = n ln. k λ i k k+ (3)

5 97 SOARES, GUIMARÃES & SOUZA: ESTIMAÇÃO DO NÚMERO DE FONTES UTILIZANDO MÉTODOS BASEADOS NA TEORIA DA INFORMAÇÃO Pode-se verificar [2] que o vetor ˆθ terá k++2k parâetros, dos quais k(2 k)+ são parâetros livres para escolha. Portanto, de acordo co (2), o núero de fontes estiado será o valor de k que iniiza λi k+ 2 n ln + tero de correção. k λ i k k+ (4) A seguir verifica-se que os critérios AIC, BIC e MDL te ua fora uito siilar àquela representada pela expressão (4). Basicaente o que difere tais critérios é fora coo cada u penaliza a sobrestiação da orde do odelo, o que é deterinado pelo tero de correção, que será ua função do núero de parâetros livres k(2 k)+. se deseje alta probabilidade de detecção correta para u núero aior de fontes. Tais coportaentos não são particulares do AIC, ressalta-se. Observe tabé na Figura 3 que, eso para altos valores de SNR, o estiador AIC não atinge P c =, o que é ua característica intrínseca a este estiador (coo ostrado ais adiante, esse coportaento é causado porque o estiador AIC não é consistente, apresentando sepre ua probabilidade não nula de sobrestiação). Note tabé que, para altos valores de SNR, a probabilidade de sobrestiação P se ( P c ), o que significa que, quando o estiador coete u erro, coete-o estiando u núero de fontes aior que o real (p). Isto não ocorre para valores ais baixos de SNR, ou seja, ebora haja erros de sobrestiação nesta situação, a aior parte deles é de subestiação: note na Figura 3 que e regies de baixa SNR te-se ( P c ) P se. IV. CRITÉRIO DE INFORMAÇÃO DE AKAIKE (AIC) O étodo de estiação de orde de odelo por eio do critério de inforação de Akaike (AIC, Akaike inforation criterion) foi proposto por Akaike e 973 [4][5]. Derivado dos conceitos de iniização da inforação de Kullback-Leibler, o étodo AIC consiste e selecionar a orde do odelo que iniiza [2] 2ln f ( xθ, ˆ) + 2 κ. (5) O prieiro tero do estiador AIC corresponde ao prieiro tero de (2) e o tero de correção κ corresponde ao núero de parâetros livres e θ. Substituindo e (5) a função de log-verossiilhança de (3) e o núero de parâetros livres k(2 k)+ de θ para o problea de estiação do núero de fontes, o critério de inforação de Akaike passa a ser escrito coo λi k+ AIC( k) = 2n ln + 2[ k(2 k)]. k λ i k k+ (6) O núero de fontes estiado, ˆp, será o valor de k que iniiza AIC(k), para k = 0,,...,. Todos os gráficos apresentados deste ponto e diante fora obtidos por eio de u ínio de 3000 eventos de Monte Carlo utilizando o prograa Matlab. O código fonte desenvolvido está reproduzido no Apêndice. O desepenho do estiador AIC é ostrado na Figura 3, considerando SNR variável, potência de transissão unitária, núero de fontes p = 5 e p = 5, n = 500 aostras por sensor e = 30 sensores. As curvas P c e P se representa as probabilidades de detecção correta e de sobrestiação do núero de fontes, respectivaente. Note que, coo esperado, o auento da SNR eleva a probabilidade de detecção correta. No entanto, verifica-se que é necessária ua SNR aior caso Figura 3: Desepenho do estiador AIC para SNR variável. A Figura 4 ostra o desepenho do estiador AIC para o núero de fontes variável, SNR = 0 db e 5 db, n = 000 aostras por sensor e = 30 sensores. Note que, para ua SNR fixa, a probabilidade de detecção correta decresce co o auento do núero de fontes. Note tabé que o áxio núero de fontes estiado co alta probabilidade de detecção correta decresce à edida que a SNR é reduzida. Observe novaente que P c não atinge o valor devido à probabilidade não nula de sobrestiação produzida pelo estiador AIC. A Figura 5 ostra o desepenho do estiador AIC para o núero de aostras variável, SNR = 2 db e 4 db, núero de fontes p = 0 e = 30 sensores. Por eio desta figura é possível notar que, de fato, o estiador AIC é inconsistente, ou seja, o valor estiado não converge para o valor real do parâetro estiado (p) à edida que se auenta o núero de aostras colhidas (n). Observe tabé que valores ais baixos de SNR pressupõe aior núero de aostras para que se atinja ua deterinada probabilidade de detecção correta. Esta não é, contudo, ua característica particular do estiador AIC.

6 REVISTA TELECOMUNICAÇÕES, VOL. 5, Nº02, OUTUBRO DE a co o auento no núero de aostras. Mateaticaente, P c se n. Portanto, assi coo o MAP, o estiador BIC é considerado ótio para o problea de seleção de orde de odelo. O étodo BIC consiste e selecionar a orde do odelo que iniiza [2] 2ln f ( x θ ˆ) +κ ln n. (7) Figura 4: Desepenho do estiador AIC para núero de fontes variável. Note que o prieiro tero do estiador BIC tabé corresponde ao prieiro tero de (2) e o tero de correção que corresponde ao núero de parâetros livres e θ te u fator ln. n extra. Substituindo e (7) a função de logverossiilhança de (3) e o núero de parâetros livres k(2 k)+ de θ para o problea de estiação no núero de fontes, o critério de inforação Bayesiano passa a ser escrito coo λi k+ BIC( k) = 2 n ln + k(2 k)ln n. k λ i k k+ (8) Figura 5: Desepenho do estiador AIC para núero de aostras variável. V. CRITÉRIO DE INFORMAÇÃO BAYESIANO (BIC) O critério de inforação Bayesiano (BIC, Bayesian inforation criterion), tabé conhecido coo critério de Schwarz, foi proposto por Schwarz e 978 [6]. Tanto o AIC quanto o BIC se baseia na iniização da inforação de KL. No entanto, diferenteente do AIC, e ua das foras de desenvolviento ateático do BIC utiliza-se a FDP a priori do parâetro a ser estiado, f ( θ ), de fora análoga ao que acontece no critério MAP co as probabilidades a priori das hipóteses. O uso de f ( θ ) se faz necessário devido à adoção de ua aproxiação ligeiraente diferente daquela adotada no AIC na aproxiação da FDP desconhecida do odelo e torno do vetor de parâetros estiados. Assi coo no MAP, o teorea de Bayes é invocado no desenvolviento ateático do BIC de fora a relacionar devidaente as probabilidades a priori e a posteriori. Essa é a razão da associação do noe Bayesiano ao BIC. Contrastando co o estiador AIC, o estiador BIC é consistente, ou seja, a probabilidade de detecção correta te O núero de fontes estiado, ˆp, será o valor de k que iniiza BIC(k), para k = 0,,...,. O desepenho do estiador BIC é ostrado na Figura 6, considerando SNR variável, potência de transissão unitária, p = 5 e p = 5, n = 000 e = 30. Observe novaente que o auento da SNR traduz-se e auento da probabilidade de detecção correta e que é necessária ua SNR aior caso se deseje alta probabilidade de detecção correta para u núero aior de fontes. E contraste co o estiador AIC, observe na Figura 6 que o estiador BIC atinge P c =, o que ocorre porque o estiador BIC é consistente. Note tabé que a probabilidade de sobrestiação é sepre nula, ou seja, quando o estiador BIC coete u erro coete-o sepre estiando u núero de fontes enor que p. A Figura 7 ostra o desepenho do estiador BIC para o núero de fontes variável, SNR = 0 db e 5 db, n = 000 e = 30. Assi coo no caso do AIC, a probabilidade de detecção correta decresce co o auento do núero de fontes e o áxio núero de fontes estiado co alta probabilidade de detecção correta decresce à edida que a SNR é reduzida. Observe novaente que P c pode atingir o valor e que P se = 0 e qualquer situação. A Figura 8 ostra o desepenho do estiador BIC para o núero de aostras variável, SNR = 0 db e 2 db, p = 0 e = 30. Por eio desta figura é possível notar que, de fato, o estiador BIC é consistente, ou seja, a probabilidade de detecção correta converge para à edida que se auenta o núero de aostras. Observe tabé que, assi coo no caso do AIC, valores ais baixos de SNR pressupõe aior núero de aostras para que se atinja ua deterinada probabilidade de detecção correta co o BIC.

7 99 SOARES, GUIMARÃES & SOUZA: ESTIMAÇÃO DO NÚMERO DE FONTES UTILIZANDO MÉTODOS BASEADOS NA TEORIA DA INFORMAÇÃO Figura 6: Desepenho do estiador BIC para SNR variável. VI. MÉTODO DO COMPRIMENTO DE MÍNIMA DESCRIÇÃO (MDL) O étodo do copriento de ínia descrição (MDL, iniu description length) foi desenvolvido de fora indepente por Schwars [6] e Rissanen [7] e 978. O desenvolviento do étodo MDL tabé utiliza conceitos relacionados à teoria da inforação. Particularente, Schwars adotou ua abordage Bayesiana, siilar àquela utilizada no desenvolviento do BIC. Rissanen, no entanto, se baseou e aspectos de copressão de inforação. Resuidaente, Rissanen notou que cada odelo e julgaento pode ser interpretado coo ua fora de codificação de fonte (copressão) dos dados observados. O odelo selecionado é então aquele que ais coprie tais dados, ou seja, é aquele que iniiza o copriento édio do código. O noe iniu description length advé dessa observação. Ebora derivado a partir de diferentes abordagens, o estiador MDL obtido por Schwarz e por Rissanen ostrouse ser o eso. Mais que isso, e alguns casos o estiador MDL é equivalente ao BIC. Essa equivalência é válida soente se, no desenvolviento de abos os estiadores, considera-se que o núero de parâetros estiados é fixo. Caso seja variável ou crescente à edida que o núero de aostras auenta, os odelos para os estiadores BIC e MDL se torna distintos, podo estiar ordens de odelo bastante distintas [8]. No presente contexto os critérios para equivalência entre MDL e BIC são satisfeitos e, portanto, o estiador MDL te a esa expressão e o eso desepenho do BIC. Então, confore (8), Figura 7: Desepenho do estiador BIC para núero de fontes variável. λi k+ MDL( k) = 2 n ln + k(2 k)ln n. k λ i k k+ (9) Assi, o núero de fontes estiado, ˆp, será o valor de k que iniiza MDL(k), para k = 0,,...,. VII. COMPARAÇÃO ENTRE AIC E BIC/MDL Ua prieira coparação entre o AIC e o MDL/BIC é ostrada na Figura 9, considerando SNR variável, potência de transissão unitária, p = 5, n = 000 e = 30. Nota-se que o MDL/BIC apresenta pior desepenho que o AIC e regie de baixa SNR. No entanto, a inferioridade do MDL/BIC deixa de existir e altos valores de SNR, pois eso produzindo altos valores de probabilidade de acerto, o AIC resulta e ua probabilidade de sobrestiação não desprezível, fazo co que a probabilidade de acerto nunca seja. Figura 8: Desepenho do estiador BIC para núero de aostras variável.

8 REVISTA TELECOMUNICAÇÕES, VOL. 5, Nº02, OUTUBRO DE Figura 9: AIC versus MDL/BIC para SNR variável. A Figura 0 ostra ua coparação entre o AIC e o MDL/BIC para o núero de fontes variável, SNR = 0 db, n = 000 e = 30. O AIC se ostra superior e teros do áxio núero de fontes estiado a partir de p = 0, inclusive. No entanto, não consegue atingir probabilidade de detecção correta áxia para p < 9, tabé devido ao fato de apresentar ua probabilidade de sobrestiação não desprezível. A Figura ostra ua coparação entre o AIC e o MDL/BIC para o núero de aostras variável, SNR = 5 db, p = 5 e = 30. Percebe-se que o AIC consegue proporcionar altas probabilidades de detecção correta co u núero de aostras significativaente inferior ao necessário no MDL/BIC. No entanto, a probabilidade de detecção correta do estiador AIC nunca atinge o valor, posto que tal estiador não é consistente, apresentando ua probabilidade de sobrestiação irredutível eso co o auento do núero de aostras. Figura 0: AIC versus MDL/BIC para núero de fontes variável. Figura : AIC versus BIC/MDL para o núero de aostras variável. VIII. CONCLUSÕES Este tutorial abordou três étodos de estiação do núero de fontes baseados na teoria da inforação: o critério de inforação de Akaike (AIC), o étodo do copriento de ínia descrição (MDL) e o critério de inforação Bayesiana (BIC). Alguns conceitos fundaentais tabé fora fornecidos, objetivando facilitar o entiento desses étodos e tornar o tutorial ais copleto e até certo ponto indepente da consulta a outras referências e u prieiro oento. Ainda assi, u grande núero de referências é listado a seguir, de fora que o leitor possa procurar por inforações ais detalhadas caso assi deseje. Coo há outros étodos de estiação do núero de fontes e este tutorial está restrito aos étodos AIC, BIC e MDL, pode-se considerar este trabalho coo u prieiro contato do leitor co a forulação do problea e co alguas foras de resolvê-lo, servido assi coo base para o entiento de outros étodos. E teros teóricos, observou-se que, a despeito de utilizare abordagens não totalente iguais e seus odelos ateáticos, os estiadores AIC, BIC e MDL possue expressões finais bastante parecidas: todas conté ua parcela referente à estiação de áxia verossiilhança do vetor de parâetros desconhecidos e ua parcela de correção cuja função é regular tências de sobrestiação da orde do odelo e análise. Os étodos difere na fora coo realiza tal correção. Foi verificado que, para as condições adotadas na estiação do núero de fontes, os odelos referentes ao MDL e ao BIC são idênticos, produzindo, portanto, desepenhos idênticos. Coparando os estiadores AIC e MDL/BIC, observou-se que, por ser consistente, o MDL pode proporcionar probabilidade de detecção correta igual a, depo dos parâetros sistêicos. No entanto, percebeu-se que o AIC pode suplantar o MDL e deterinadas situações, principalente e regie de baixa SNR, aior núero de fontes e pequeno núero de aostras.

9 0 SOARES, GUIMARÃES & SOUZA: ESTIMAÇÃO DO NÚMERO DE FONTES UTILIZANDO MÉTODOS BASEADOS NA TEORIA DA INFORMAÇÃO Pode-se tabé concluir que o AIC pode ser preferido se a situação e que for aplicado peritir que a probabilidade de detecção correta seja u pouco enor que. APÊNDICE O prograa e Matlab apresentado a seguir te coo objetivo siular a detecção do núero de fontes utilizando as técnicas AIC, BIC e MDL descritas neste tutorial. Os parâetros de entrada são, n, N (eventos de Monte Carlo), p e SNR. Na linha de coando sel = 'SNR' selecione o parâetro que se deseja variar. No exeplo, a SNR é o parâetro variável. =30; % núero de sensores n=000; % núero de aostras por sensor N=3000;% núero de eventos de Monte Carlo p=5; % núero de fontes SNR=0; % Relação sinal-ruído e db sel = 'SNR; switch (sel) case 'SNR' Paraetro = [ ]'; % para SNR %variável case 'Nr Sensores' Paraetro=[ ]'; % para variável case 'Nr Fontes' Paraetro=[ ]'; % para p variável case 'Nr Aostras' Paraetro=[ ]'; % para n variável Npt=size(Paraetro,); % núero de pontos %no gráfico = núero de valores do %parâetro variável for pt=:npt switch (sel) case 'SNR' SNR = Paraetro(pt); case 'Nr Sensores' = Paraetro(pt); case 'Nr Fontes' p = Paraetro(pt); case 'Nr Aostras' n = Paraetro(pt); CcAIC=0; % contador de acertos de estiação CseAIC=0; % contador de sobrestiação CcBIC=0; % contador de acertos de estiação CseBIC=0; % contador de sobrestiação CcMDL=0; % contador de acertos de estiação CseMDL=0; % contador de sobrestiação s2=/(0^(snr/0)); % variância de %ruído térico for test=:n if p==0 X=0; else X=randn(p,n)*sqrt(/(2*p))+i*randn(p,n)*sqrt(/(2*p )); V=randn(,n)*sqrt(s2/2)+i*randn(,n)*sqrt(s2/2); if p==0 H=0; else H=randn(,p)*sqrt(/2)+i*randn(,p)*sqrt(/2); Y=H*X+V; R=(Y*Y')/n; labda=sort(eig(r), 'desc'); % Algorito AIC for 0:- AIC(i+)=- 2*n*log(prod(labda(i+:))/((/(i))*su(labda(i+:)))^(-i))+2*i*(2*-i); [inaic, Iaic]=in(AIC); NrAIC=Iaic-; % Algorito BIC for 0:- BIC(i+)=- 2*n*log(prod(labda(i+:))/((/(i))*su(labda(i+:)))^(-i))+i*(2*-i)*log(n); [inbic, Ibic]=in(BIC); NrBIC=Ibic-; % Algorito MDL for 0:- MDL(i+)=n*log(prod(labda(i+:))/((/(i))*su(labda(i+:)))^(-i))+(/2)*i*(2*i)*log(n); [inmdl, Idl]=in(MDL); NrMDL=Idl-; if NrAIC==p CcAIC=CcAIC+; if NrAIC>p CseAIC=CseAIC+; if NrBIC==p CcBIC=CcBIC+; if NrBIC>p CseBIC=CseBIC+; if NrMDL==p CcMDL=CcMDL+; if NrMDL>p CseMDL=CseMDL+; PcAIC(pt)=CcAIC/Ntests; PseAIC(pt)=CseAIC/Ntests; PcBIC(pt)=CcBIC/Ntests; PseBIC(pt)=CseBIC/Ntests; PcMDL(pt)=CcMDL/Ntests; PseMDL(pt)=CseMDL/Ntests; plot(paraetro,pcaic,'- ok','markerfacecolor','k','markeredgecolor','k'); hold on plot(paraetro,pseaic,'ko-'); hold on

10 REVISTA TELECOMUNICAÇÕES, VOL. 5, Nº02, OUTUBRO DE plot(paraetro,pcbic,'- or','markerfacecolor','r','markeredgecolor','r'); hold on plot(paraetro,psebic,'ro-'); hold on plot(paraetro,pcmdl,'- ob','markerfacecolor','b','markeredgecolor','b'); hold on plot(paraetro,psemdl,'bo-'); xlabel(sel, 'FontWeight','bold'); ylabel('probabilidade', 'FontWeight','bold'); xli([paraetro() Paraetro()]); grid on; leg('pcaic', 'PseAIC','PcBIC', 'PseBIC', 'PcMDL', 'PseMDL'); REFERÊNCIAS [] B. Nadler, Nonparaetric Detection of signals by Inforation Theoretic Criteria: Perforance Analysis and an Iproved Estiator, IEEE Trans. Signal Proc., vol. 58, 5, pp , May [2] M. Wax and T. Kailath, Detection of signals by inforation theoretic criteria, IEEE Trans. Signal Process, vol. 33, 2, pp , Apr [3] E. S. Kritchan and B. Nadler, Non-paraetric Detection of the Nuber of Signals: Hypothesis Testing and Rando Matrix Theory, IEEE Trans. Signal Proc, vol. 57, 0, pp , Oct [4] S. Kritchan and B. Nadler, Deterining the nuber of coponents in a factor odel fro liited noisy data, Elsevier, Cheoetrics and Intelligent Laboratory Systes, pp. 9-32, June [5] R. K. Sway, S. R. Murty and B. Yegnanarayana, Deterining nuber of speakers fro ultispeaker speech signals using excitation source inforation, IEEE Sig. Process, vol. 4, 7, pp , July [6] M. Chiani and M. Z. Win, Estiating the Nuber of Signals Observed by Multiple Sensors, International Workshop on Cognitive Inforation Processing, June 200. [7] E. Fishler M. Grosan and H. Messer, Deterining the Nuber of Discrete Alphabet Sources fro Sensor Data, EURASIP Journal on Applied Signal Processing, pp. 4-2,, Jan [8] E. Fishler and H. V. Poor, Estiation of the Nuber of Sources in Unbalanced Arrays via Inforation Theoretic Criteria, IEEE Signal Proc, vol. 53, 9, pp , Sept [9] A. Ghasei and E.S. Souza, Spectru Sensing in Cognitive Radio Networks: Requireents, Challenges and Design Trade-offs IEEE Counications Magazine, vol. 46, 4, pp , Apr, [0] N. Arkind and B. Nadler, Paraetric Joint Detection-Estiation of the Nuber of Sources in Array Processing, Sensor Array and Multichannel Signal Process. Workshop, IEEE, pp , Oct, 200. [] A. Bruckstein, T. J. Shan, and T. Kailath, The resolution of overlapping echoes, IEEE Trans. Signal Proc., vol. 33, 6, pp , Dec [2] P. Stoica and Y. Selén, Model-order selection: a review of inforation criterion rules, IEEE Trans. Signal Proc., vol. 2, 4, pp , July [3] C. W. Helstro, Eleents of signal Detection & Estiation, Prentice- Hall, Inc., 995. [4] H. Akaike, Inforation theory and extension of the axiu likelihood principle, Proc. 2 nd Int. Syp. Infor. Theory, suppl. Probles of Control and Infor. Theory, pp , 973. [5] H. Akaike, A new look at the statistical odel identification, IEEE Control Systes Society, vol.9, 6, pp , Dec [6] G. Schwars, Estiating the diension of a odel, The Annals of statistics, vol. 6, 2, pp , 978. [7] J. Rissanen, Modeling by shortest data description, Autoatica, vol.4, pp , 978. [8] P. Grünwald, A Tutorial Introduction to the Miniu Description Length Principle, Centru voor Wiskunde en Inforatica, Kruislaan, Asterda, Apr Patrícia Maria Soares nasceu e Belo Horizonte, MG, e novebro de 986. E aio de 20 recebeu o título de Engenheira de Telecounicações pela Fundação Mineira de Educação e Cultura (FUMEC). E agosto de 20 iniciou o Mestrado e Telecounicações do Inatel e desde então realiza pesquisas e processaento de sinais para sisteas de Rádios Cognitivos, especificaente sobre algoritos epíricos para estiação do núero de fontes. Antes trabalhou na Top Digital, elaborando relatórios de conforidade, e na CEMIG Teleco co redes SDH. Dayan Adionel Guiarães nasceu e Carrancas, MG, e 0 de arço de 969. Possui os títulos: Técnico e Eletrônica (ETE FMC, 987), Engenheiro Eletricista (Inatel, 994), Especialista e Engenharia de Counicação de Dados (Inatel, 2003), Especialista e Adinistração co ênfase e Gerência de RH (FAI, 996), Mestre e Engenharia Elétrica (Unicap, 998) e Doutor e Engenharia Elétrica (Unicap, 2003). De 988 a 993 desenvolveu sensores e equipaentos para instruentação industrial e controle e tabé foi Supervisor de Produção e Supervisor de Engenharia de Produtos na SENSE Sensores e Instruentos. Desde janeiro de 995 é Professor do Inatel onde, por oito anos, foi responsável pela estrutura que dá apoio às atividades de ensino prático nas áreas de Telecounicações, Eletrônica e Eletrotécnica. Suas pesquisas inclue aspectos gerais sobre Transissão Digital e Counicação Móvel. Seu ais recente interesse situase na aplicação de técnicas de Otiização Convexa e Telecounicações, assunto de seu prograa de Pós-Doutorado na UFSC, realizado e 200. É ebro do Conselho do Mestrado do Inatel e do Corpo Editorial da revista Telecounicações (Inatel). Hoje ocupa a posição de Professor Titular do Inatel e regie de dedicação por tepo integral. Rausley Adriano Aaral de Souza nasceu e Passos, MG, e 08 de arço de 972. Possui graduação e Engenharia Elétrica pelo Inatel - Instituto Nacional de Telecounicações (994), Mestrado e Engenharia Elétrica pelo Inatel (2002) e Doutorado e Engenharia Elétrica pela Unicap - Universidade Estadual de Capinas (2009). Atualente é professor adjunto do Inatel. Atuou por seis anos coo coordenador adjunto para o prograa de pós-graduação Lato Sensu do Inatel. Atuou coo professor adjunto da Faculdade de Medicina de Itajubá. Já publicou artigos e revistas do IEEE e e congressos internacionais. Te experiência na área de Engenharia Elétrica, co ênfase e Telecounicações, atuando principalente na área de counicações se fio. Te experiência na indústria nas áreas produtiva e de suprientos. Suas pesquisas inclue aspectos gerais sobre Transissão Digital, Counicação Móvel e canais co desvaneciento. Seu ais recente interesse situa-se e técnicas de sensoriaento espectral para sisteas de Rádio Cognitivo.