DESENVOLVIMENTO DE MODELOS NEURAIS AUTÔNOMOS PARA PREVISÃO DE CARGA ELÉTRICA. Vitor Hugo Ferreira TESE SUBMETIDA AO CORPO DOCENTE DA COORDENAÇÃO DOS

Transcrição

1 DESENVOLVIMENTO DE MODELOS NEURAIS AUTÔNOMOS PARA PREVISÃO DE CARGA ELÉTRICA Vor Hugo Ferrera TESE SUBMETIDA AO CORPO DOCENTE DA COORDENAÇÃO DOS PROGRAMAS DE PÓS-GRADUAÇÃO DE ENGENHARIA DA UNIVERSIDADE FEDERAL DO RIO DE JANEIRO COMO PARTE DOS REQUISITOS NECESSÁRIOS PARA A OBTENÇÃO DO GRAU DE DOUTOR EM CIÊNCIAS EM ENGENHARIA ELÉTRICA. Aprovada por: Prof. Alexandre Pno Alves da Slva, Ph.D. Prof. Luz Perera Calôba, Dr.Ing. Prof. José Manoel de Sexas, D.Sc. Prof. Gerson Zaverucha, Ph.D. Prof. Renaldo Casro Souza, Ph.D. Prof. Marcelo Cunha Mederos, D.Sc. RIO DE JANEIRO BRASIL MAIO DE 008

2 FERREIRA, VITOR HUGO Desenvolvmeno de Modelos Neuras Auônomos para Prevsão de Carga Elérca, [Ro de Janero], 008. IX, 30 p. 9,7 cm (COPPE/UFRJ, D.Sc., Engenhara Elérca, 008) Tese Unversdade Federal do Ro de Janero, COPPE.. Prevsão de Carga. Redes Neuras Arfcas 3. Seleção de Varáves de Enrada 4. Técncas de Regularzação 5. Trenameno Bayesano 6. Modelos baseados em kernel I. COPPE/UFRJ II. Tíulo (sére)

3 DEDICATÓRIA Ese rabalho é dedcado às pessoas mas mporanes da mnha vda, que acredaram e deposaram exrema confança no meu rabalho. Pessoas como o melhor pa do mundo, ambém conhecdo como Seu Hugo; a melhor mãe do planea, que ambém aende pelo nome de Dona Tna; meu avô maerno, Seu Alcdes, que lá em cma deve esar omando umas e ouras para comemorar mas uma fase ulrapassada na vda do seu neo; mnha avó paerna, Dona Flhnha, que conseguu ver o neo Engenhero, porém não esá presene para celebrar mas esa vóra; mnha avó maerna Marana, que acreda muo nesse neo aqu e é o prncpal pono de convergênca e unão da melhor famíla que um ser humano pode er; por fm, porém não menos mporane dedco à mnha fuura esposa, Paula, que aceou a ngraa mssão de me aurar pelo reso da vda. Apesar de não er conhecdo em vda, dedco ese rabalho ao meu avô paerno, Hugo, sem o qual eu não era a dádva dvna de er o exemplo de homem e de pa que enho ao meu lado. Dedco ambém a odas as pessoas que me apoaram ao longo dese camnho. Não posso me esquecer do grande Wlson Leão, uma das grandes referêncas da mnha vda, que ajudou a forjar o homem que sou hoje. Aos meus amgos, que formam a famíla que Deus permu que eu escolhesse sempre me apoando nos momenos de necessdade. Ao meu orenador e grande amgo, Alexandre, que sempre orenou, esmulou e apoou mnha vda acadêmca, desde a época da graduação em Iajubá. Não dedco a Deus esa ese por que se que ese rabalho é ínfmo dane da nfndade da sua bondade. Porém, dedco a Ele odo meu esforço, rabalho e dedcação na busca por um mundo mas undo, soldáro e juso, onde o amor, o respeo ao próxmo e ao meo ambene formem os plares de uma nova cvlzação.

4 AGRADECIMENTOS Prmeramene a Deus, por maner sempre meu camnho lumnado, concedendo sabedora, confança, saúde e paz a mm e a odos que esão a mnha vola. Aos meus pas, por erem me dado a vda e me ensnado a vvê-la. Por me aurarem por 7 anos e mesmo assm anda me amarem. Por ser o poro seguro ao qual recorro nos raros momenos urbulenos. Por rrem comgo nos abundanes momenos de alegra da mnha maravlhosa vda. Enfm, por consuírem a base do que sou hoje. A oda a mnha famíla, pela confança deposada e pelo carnho enorme que a manêm unda. A odos os meus amgos, que sempre me apoaram nos momenos dfíces, confgurando realmene a famíla que Deus permu que escolhêssemos. Colegas de pora de boeco exsem város, mas são raros aqueles que surgem em hospas na hora do apero. Ou que lgam no exao momeno em que descobrem uma noíca rse. Agradeço odas as noes pela famíla e pelos amgos que enho! À famíla LASPOT, agora mas dsane, pela calorosa acolhda e pelo apoo ncondconal durane os dos anos de Mesrado e rês de Douorado, em especal ao bom velhnho Hélo! Por úlmo, mas não menos mporane (muo pelo conráro) agradeço ao meu orenador Alexandre, pelo supore dado desde os empos de graduação, esmulando e apoando mnha evolução denro da área acadêmca. Se no níco nha um orenador, hoje posso afrmar com orgulho que enho mas um grande amgo. v

5 Resumo da Tese apresenada à COPPE/UFRJ como pare dos requsos necessáros para a obenção do grau de Douor em Cêncas (D.Sc.) DESENVOLVIMENTO DE MODELOS NEURAIS AUTÔNOMOS PARA PREVISÃO DE CARGA ELÉTRICA Vor Hugo Ferrera Mao / 008 Orenador: Alexandre P. Alves da Slva Programa: Engenhara Elérca O conhecmeno do comporameno fuuro da carga apresena mporânca val na omada de decsão em ssemas de poênca. Nos úlmos 0 anos, modelos neuras de prevsão de carga vêm domnando a leraura. A capacdade de aproxmação unversal deses modelos pode levar ao ajuse excessvo dos dados, compromeendo os erros de prevsão. Esa desvanagem, relaconada ano com a seleção de enradas quano com a complexdade do modelo, vem sendo enfrenada na leraura de forma heurísca e desacoplada. Combnando eora do caos, nferênca bayesana e mnmzação de lmes superores do erro de generalzação, são desenvolvdos méodos auônomos (auomácos) de especfcação de modelos neuras (MLP e modelos baseados em kernel), nclundo procedmenos analícos e acoplados de seleção de enradas e conrole de complexdade. v

6 Absrac of he Thess presened o COPPE/UFRJ as a paral fulfllmen of he requremenes for he degree of Docor of Scence (D.Sc.) DEVELOPMENT OF AUTONOMOUS NEURAL NETWORK ELECTRIC LOAD FORECASTING MODELS Vor Hugo Ferrera May / 008 Advsors: Alexandre P. Alves da Slva Deparmen: Elecrcal Engneerng Ancpaon of load s fuure behavor s very mporan for decson makng n power sysem operaon and plannng. In he las 0 years, he leraure on load forecasng has been domnaed by neural nework based proposals. The exen of nonlneary provded by hese models can lead o an excessve ranng daa approxmaon, whch usually ncreases he forecasng error. Ths drawback, whch depends boh on he npu represenaon and he complexy of he model, has been ackled usng heursc procedures and n a decoupled way. Combnng chaos heory, bayesan nference and mnmzaon of an upper bound on generalzaon error, auonomous (auomac) neural models (MLP and kernel-based machnes) are developed, ncludng analyc and coupled procedures for npu selecon and complexy conrol. v

7 Índce Inrodução... Redes neuras arfcas Seleção do espaço de enrada Méodos de flragem Méodos encapsulados Conrole de complexdade de RNAs Modelos neuras auônomos Resumo e dscussão Seleção do conjuno de enradas Teora do caos Teorema de Takens Expoenes de Lyapunov Sncronsmo enre ssemas caócos Prevsão Méodo auomáco para seleção de enradas Defnção empírca de lmares de relevânca Resumo e dscussão Inferênca bayesana aplcada ao desenvolvmeno de MLPs Trenameno bayesano de MLPs Deermnação Auomáca de Relevânca ARD Seleção Bayesana de Modelos Resumo e dscussão Modelos baseados em kernel Máqunas de veor supore (SVMs) Lmes Superores do Erro de Generalzação de SVMs esmado por valdação cruzada únca (leave-one-ou) Seleção de enradas de SVMs Méodo auomáco de especfcação e renameno de SVMs Máqunas de veores relevanes (RVMs) Deermnação auomáca de relevânca para RVMs Méodo auomáco de especfcação de RVMs Resumo e Dscussão Teses e resulados Bases de dados Puge Sound Power and Lgh Company Eas-Slovaka Power Dsrbuon Company Naonal Elecrcy Marke Managemen Company Méodos Ulzados Resulados Conclusão e Trabalhos Fuuros Referêncas Bblográfcas APÊNDICE A Hsogramas e esmadores de Parzen... 7 APÊNDICE B Algormos de renameno de MLPs APÊNDICE C Argo publcado no IEEE Transacons on Power Sysems v

8 Índce de Fguras Fgura. Fluxograma do processo de desenvolvmeno de modelos neuras e a nserção das écncas desenvolvdas nesa ese... Fgura. Dagrama esquemáco de um neurôno... 3 Fgura. Rede neural feedforward com múlplas camadas e saída únca... 4 Fgura.3 Função angene hperbólca ulzando dferenes ganhos a Fgura 5. Ilusração da margem de separação ρ para o caso de duas classes lnearmene separáves... Fgura 5. Dagrama esquemáco de uma SVM... 4 Fgura 5.3 Gráfco da função lnear de perda dada pela equação (5.4), para ε =.. 6 Fgura 5.4 Gráfco da função quadráca de perda dada pela equação (5.5), para ε =... 7 Fgura 5.5 Gráfco da função de perda de Huber dada pela equação (5.6), para ε =... 7 Fgura 5.6 Ilusração do papel do parâmero ε... 9 Fgura 5.7 Dagrama esquemáco de uma SVM, com desaque para os veores supore... 5 Fgura 6. Ilusração da sazonaldade dára e semanal da sére de carga dscuda na seção Fgura 6. Ilusração da sazonaldade mensal da sére de carga dscuda na seção Fgura 6.3 Ilusração da sazonaldade dára presene na sére de carga descra na seção Fgura 6.4 Ilusração da sazonaldade mensal presene na sére de carga descra na seção Fgura 6.5 Ilusração da sazonaldade semanal presene na base de dados ausralana Fgura 6.6 Ilusração da sazonaldade mensal presene na base de dados ausralana93 Fgura 6.7 Prevsões de carga horára realzadas para o caso, cobrndo a semana de 7//990 a 3// Fgura 6.8 Prevsões de pco de carga dáro realzadas para o caso, cobrndo o período de //999 a 3// Fgura 6.9 Prevsões de carga horára realzadas passo à frene para o caso 3, cobrndo o período de /9/003 a 7/9/ Fgura 6.0 Prevsões de carga horára realzadas passos à frene para o caso 3, cobrndo o período de /9/003 a 7/9/ Fgura 6. Prevsões de carga horára realzadas 3 passos à frene para o caso 3, cobrndo o período de /9/003 a 7/9/ Fgura 6. Prevsões de carga horára realzadas 4 passos à frene para o caso 3, cobrndo o período de /9/003 a 7/9/ Fgura 6.3 Prevsões de carga horára realzadas 5 passos à frene para o caso 3, cobrndo o período de /9/003 a 7/9/ Fgura 6.4 Prevsões de carga horára realzadas 6 passos à frene para o caso 3, cobrndo o período de /9/003 a 7/9/ Fgura 6.5 Comparavo enre o erro absoluo percenual médo verfcado para cada hora ao longo do horzone de prevsão do caso... 8 v

9 Índce de Tabelas Tabela 6. Desempenho dos méodos para os dferenes casos (MAPE) Tabela 6. Desempenho dos méodos para os dferenes casos (MAE e MAE%) Tabela 6.3 Número médo de enradas ulzadas por cada méodo... Tabela 6.4 Desvo padrão do número de enradas ulzadas por cada méodo... 3 Tabela 6.5 Número médo de neurônos, veores supore e veores relevanes ulzados por cada méodo... 6 Tabela 6.6 Desvo padrão do número de neurônos, veores supore e veores relevanes ulzados por cada méodo... 7 Tabela 6.7 Esforço compuaconal de cada méodo (mn)... 8 Tabela 6.8 Caraceríscas caócas das séres analsadas nos rês casos... Tabela 6.9 Desempenho dos modelos ulzando eora do caos para seleção do conjuno ncal de enradas (MAPE)... 5 Tabela 6.0 Desempenho dos modelos ulzando eora do caos para seleção do conjuno ncal de enradas (MAE e MAE%)... 5 Tabela 6. Desempenho dos modelos ulzando eora do caos para seleção do conjuno ncal de enradas em conjuno com varáves bnáras (MAPE)... 6 Tabela 6. Desempenho dos modelos ulzando eora do caos para seleção do conjuno ncal de enradas em conjuno com varáves bnáras (MAE e MAE%)... 7 Tabela 6.3 Desempenho dos modelos para cada hora do da para o caso... 8 Tabela 6.4 Número de enradas seleconadas pelos dferenes méodos consderando eora do caos para seleção do conjuno ncal de enradas acrescdo de represenação bnára das sazonaldades... 9 Tabela 6.5 Esruuras (número de neurônos e de veores relevanes) seleconadas pelos dferenes méodos consderando eora do caos para seleção do conjuno ncal de enradas acrescdo de represenação bnára das sazonaldades... 9 Tabela 6.6 Desempenho dos modelos ulzando eora do caos para seleção do conjuno ncal de enradas em conjuno com varáves bnáras (MAPE), consderando prevsões de emperaura... 3 Tabela 6.7 Desempenho dos modelos ulzando eora do caos para seleção do conjuno ncal de enradas em conjuno com varáves bnáras (MAE e MAE%), consderando prevsões de emperaura... 3 Tabela 6.8 Erro absoluo ( C) das prevsões de emperaura ulzadas Tabela 6.9 Desempenho do CHAOS-BMLP (MAPE) consderando fxa a esruura e seleconando as varáves de enrada Tabela 6.0 Desempenho do CHAOS-BMLP (MAE e MAE%) consderando fxa a esruura e seleconando as varáves de enrada Tabela 6. Desempenho do CHAOS-BMLP (MAPE) fxando as enradas e seleconando a melhor esruura Tabela 6. Desempenho do CHAOS-BMLP (MAE e MAE%) fxando as enradas e seleconando a melhor esruura x

10 Inrodução A prevsão de carga apresena mporânca val para a operação e o planejameno confável, seguro e econômco de ssemas de poênca. Em função dsso, esa área de esudo vem adqurndo maor neresse por pare da comundade cenífca ao longo dos anos, prncpalmene após o adveno da compeção nos mercados de energa. Nese novo cenáro, os agenes negranes deses mercados devem operar em regme de máxma efcênca, com a mnmzação dos cusos operaconas e a correa avalação do apore de recursos fnanceros para expansão dos ssemas conrbundo sobremanera para o alcance desa condção. De uma manera geral, segundo os horzones de neresse e a freqüênca das observações, a prevsão de carga pode ser classfcada em rês pos, a saber: longo, médo e curo prazo. Enreano, a defnção de as horzones não é únca. Prevsões consderadas de médo prazo para algumas empresas podem ser consderadas de longo prazo para ouras, dependendo do esudo em quesão. Segundo a leraura, prevsões em longo prazo são aquelas realzadas para horzones varando de alguns meses aé rna anos à frene, com os dados amosrados em base mensal ou anual. Esas prevsões são ulzadas em dversas funções relaconadas com o planejameno écnco e fnancero das empresas de energa, as como planejameno da expansão dos ssemas de ransmssão e dsrbução e do parque gerador, programação anual da manuenção de undades geradoras, gerencameno energéco de longo prazo, desenvolvmeno de esraégas operaconas, esudos de vabldade econômca, planejameno dos nvesmenos e do orçameno, e pesqusa de mercado. Em mercados regulamenados, as prevsões podem ser ulzadas ambém para o desenvolvmeno de polícas arfáras.

11 Prevsões de carga em médo prazo são aquelas realzadas para horzones varando de uma semana aé cnco anos, com as medções dscrezadas em base dára, semanal ou mensal. As prevsões em médo prazo fornecem subsídos para dversas avdades relaconadas ao planejameno da expansão e da operação de ssemas de poênca, podendo ser cados: programação da compra de combusíves; planejameno da manuenção de equpamenos, do nercâmbo enre áreas, das ransações energécas e do orçameno; omzação da programação das undades geradoras; e desenvolvmeno de esraégas de gerencameno energéco. Tas prevsões ambém podem ser ulzadas para desenvolvmeno de polícas arfáras. Para o horzone de curo prazo, são consderadas prevsões realzadas para nervalos varando de alguns mnuos a aé um mês à frene, ulzando dados em base de mnuos, horas, ou das. As prevsões para ese horzone são de suma mporânca para a operação e o conrole em empo real de ssemas de poênca. Denre as funções nerenes ao planejameno da operação, a prevsão de carga em curo prazo fornece subsídos para análse de segurança, nclundo esudo de conngêncas e elaboração de esraégas de gerencameno da carga; programação da geração, abrangendo coordenação hdroérmca, programação da compra e alocação de combusível, comssonameno de undades érmcas e despacho econômco; esudos de fluxo de poênca, como fluxo de poênca ómo e programação do nercâmbo enre áreas; programação da alocação de reserva grane; programação e avalação das ransações de compra e venda de energa; e programação da manuenção. Denre as avdades relaconadas ao conrole em empo real de ssemas de poênca, esas prevsões fornecem nformações mporanes para conrole auomáco da geração e conrole do fluxo de poênca reava. Para o caso específco de empresas de dsrbução de energa, o conhecmeno do comporameno fuuro da carga, parcularmene do pco de carga,

12 nas dversas barras do ssema é um dos requsos mas mporanes para o aumeno da efcênca da operação. Esas nformações consuem a base para a esmação do esado do ssema e para cálculos écncos e econômcos, possblando assm melhoras na manuenção dos equpamenos e no planejameno da operação dos ssemas de dsrbução. Tas melhoras podem ser obdas aravés de nsalações de equpamenos de emergênca, deslgameno de crcuos, ransferêncas de carga, aumeno da refrgeração de equpamenos crícos e ajuse dos ap s dos ransformadores das subesações. Além da mporânca sob o pono de vsa écnco, a prevsão em curo prazo ambém apresena relevânca sob o prsma econômco. Com o adveno da compeção orunda da prvazação dos mercados de energa em dversos países, os agenes de as mercados foram obrgados a rabalhar em níves elevados de efcênca. Vso que a prevsão de carga em curo prazo esá dreamene assocada a dversas avdades relaconadas com a operação de ssemas de poênca, a precsão de as prevsões esá nmamene lgada à redução dos cusos operaconas das empresas de energa. Segundo a esmava apresenada em [], para empresas de energa que apresenem gasos com combusível da ordem de cenenas de mlhões de dólares anuas, melhoras da ordem de % na precsão das prevsões em curo prazo podem resular em reduções nos cusos operaconas da ordem de cenenas de mlhares de dólares por ano. Ouros esudos mosrando o mpaco da precsão das prevsões nos cusos das empresas de energa podem ser enconrados em [], [3] e [4]. Anda denro da óca econômca, a prevsão em curo prazo fornece nformações essencas ano para a formação do preço da energa em mercados desregulamenados, embasando a avalação do seu preço fuuro, quano em mercados regulamenados, subsdando o desenvolvmeno de polícas arfáras. Porano, as 3

13 prevsões são relevanes ano para as empresas fornecedoras de energa quano para os grandes consumdores ndusras, já que eses úlmos podem programar seu consumo em função do preço da energa em mercados compevos, ou em função da arfa esabelecda em mercados regulamenados. Tendo em vsa o mpaco écnco e econômco da prevsão de carga, város modelos vêm sendo proposos para abordagem dese problema ao longo das úlmas quaro décadas. Esa vasa experênca deu orgem a váras meodologas, as como regressão múlpla [5], [6], [7], [8], análse de séres emporas [9], [0], [], [], [3], redes neuras arfcas (RNAs) [4], [5], [6], [7], [8], [9], [0], [], [], [3], [4], [5], [6], [7], [8], [9], [30], [3], [33], ssemas de nferênca fuzzy [35], [36], [37], e modelos híbrdos [38], [39], [40], [4], [4], [43], [44], [45]. Enreano, esas proposas requerem nervenção consane de especalsas na modelagem, no que ange ano à seleção da esruura quano das varáves de enrada dos modelos. Nese conexo, o desenvolvmeno de ssemas neuras de prevsão de carga para níves nferores em ssemas de poênca, como prevsão por barrameno, fca compromedo, vso que sera necessára a análse ndvdual, por pare de especalsas, de cada barra do ssema em esudo. Na leraura exsem proposas de modelos neuras para prevsão por barrameno [46], [47], [48]. Enreano, esas meodologas defnem um modelo fxo, nclundo conjuno de enradas e esruura ulzada, para raameno de odas as barras. Dane das caraceríscas específcas de cada barra, que podem aender dferenes pos de consumdores em dversos níves de carregameno, esa abordagem não é a mas ndcada, vso que dnâmcas não conempladas no processo de defnção do modelo podem não ser modeladas. Em ouras palavras, enradas sgnfcavas para modelagem de uma dada barra podem ser rrelevanes para ouras, com o mesmo 4

14 valendo para esruuras, vso que dnâmcas complexas necessam de modelos mas flexíves, ao conráro de séres com comporamenos mas suaves. No caso braslero, a prevsão por barrameno é uma necessdade, vso que o Operador Naconal do Ssema Elérco (ONS) deermna que os agenes de dsrbução devam fornecer prevsões de poênca ava e reava, por barrameno da Rede de Smulação, para um horzone mínmo de see meses, podendo chegar a aé quaro anos, em base mensal [49], com ncdênca de mulas e penaldades assocadas à precsão das prevsões fornecdas. O número elevado de barramenos para um dado agene, que pode varar desde dezenas aé cenenas de undades, nvablza o esudo ndvdualzado de cada barra para fns de prevsão. Desa forma, é necessáro o desenvolvmeno de modelos auônomos para prevsão de carga, que abdquem da nervenção consane de especalsas ao longo do seu desenvolvmeno, possblando assm a abordagem de dversas séres hsórcas smulaneamene. Tas modelos devem nclur meodologas auomácas para seleção de varáves de enrada e conrole de complexdade da esruura esmada, evando assm o ajuse excessvo dos dados de renameno e dando orgem a modelos com elevada capacdade de generalzação, ou seja, desempenho sasfaóro para dados anda não dsponblzados. Conforme mosra a vasa leraura nese assuno, o comporameno da carga é nfluencado de manera complexa, e muas vezes não-lnear, por uma sére de faores exógenos, como hora do da, da da semana, condções clmácas, denre ouras. Esa quesão consu um empeclho à aplcação de écncas populares, como modelos de regressão lnear e análse clássca de séres emporas por meo de modelos ARMA, do nglês auo regressve movng average, ao problema de prevsão de carga. Além dsso, eses méodos dependem de algumas premssas báscas nem sempre verfcadas em 5

15 casos prácos, as como po de ruído presene na saída, ndependênca enre as varáves explcavas, denre ouras. Por ouro lado, a leraura em mosrado o sucesso da aplcação de modelos neuras a complexos problemas mulvarados envolvendo bases de dados de cardnaldade consderável, como é o caso do problema de prevsão de carga elérca. Um dos sofwares mas ulzados na Amérca do Nore para prevsão de carga, popularmene conhecdo pela sgla ANNSTLF, Arfcal Neural Nework Shor Term Load Forecaser [8], [0], é baseado em redes neuras. Na época da publcação da sua ercera versão [0], ese modelo operava em 35 empresas dos EUA e do Canadá, sendo ambém ulzado pelo Operador Naconal do Ssema Elérco (ONS) braslero. Um dos faores que explcam ese êxo consse na elevada flexbldade e capacdade de aproxmação dese po de modelo, vso que, dado um número sufcene de neurônos, modelos neuras podem aproxmar com precsão arbrára qualquer função conínua [50]. Além dsso, ao conráro dos modelos lneares clásscos, as redes neuras apresenam poucas premssas báscas a serem verfcadas, aumenando assm a sua flexbldade e robusez. Apesar desas vanagens, desde as prmeras proposas de modelos neuras para prevsão de carga [4], a ulzação práca desas esruuras vem enfrenando alguns empeclhos, a saber: elevado esforço compuaconal para esmação do modelo, ausênca de nervalos de confança das prevsões, baxa nerpreabldade dos resulados, escolha adequada do espaço de enrada e conrole de complexdade da esruura. O aumeno da capacdade de processameno dsponível, junamene com o desenvolvmeno de algormos de renamenos mas velozes [50], vablzou a ulzação de modelos neuras para aplcações prácas em ssemas de poênca [5]. 6

16 Dane do elevado grau de não-lneardade presene neses modelos, o desenvolvmeno de nervalos de confança analícos, de manera análoga aos obdos para modelos lneares, fo dexado de lado em um prmero momeno, com o foco volado para meodologas baseadas em écncas de re-amosragem []. Aualmene, a aplcação de écncas de nferênca bayesana ao problema de renameno de modelos neuras, proposa orgnalmene em [54], fornece uma esmava analíca para os nervalos de confança das prevsões [50]. A exração de conhecmeno de modelos neuras, possblando o fornecmeno de nerpreações qualavas sobre as prevsões, consu uma das prncpas vanagens da junção deses modelos com ssemas dfusos [38], [39]. Meodologas para nerpreabldade da saída de modelos neuras que abdcam de lógca dfusa podem ambém ser enconradas em [55], [56]. Enreano, eses rabalhos snalzam para uma dmnução do grau de nerpreabldade em dermeno de ganhos em ermos de precsão das prevsões, sendo dfícl a obenção, para modelos neuras, do mesmo nível de nerpreabldade verfcado em modelos lneares. As duas quesões resanes, relaconadas à escolha do espaço de enrada e ao conrole de complexdade do modelo, são crucas e anda não receberam na leraura a devda aenção. Exsem proposas ano de écncas de seleção de varáves de enrada quano de conrole de complexdade de modelos neuras para prevsão de carga. Enreano, esas écncas vêm sendo ulzadas de manera desacoplada, compromeendo assm a capacdade de generalzação do modelo obdo, vso que o nível de não-lneardade dsponblzado pela esruura neural esá dreamene relaconado com o espaço de represenação das enradas. Conforme menconado anerormene, uma das prncpas vanagens deses modelos resde na sua capacdade de 7

17 aproxmação unversal. Porém, esa caracerísca pode ser prejudcal se a quesão do ajuse excessvo dos dados não for abordada de manera adequada. O prncpal objevo das écncas de seleção de enradas resde na escolha dos snas que apresenem um nível mínmo de nerdependênca com a saída, rerando do modelo snas desassocados com a úlma e que podem compromeer a precsão das prevsões. Esa é uma das prncpas arefas ao longo do desenvolvmeno de modelos de prevsão de carga. Dane da caracerísca não-lnear dos modelos neuras, écncas de seleção de varáves de enrada baseadas em índces lneares de auocorrelação e correlação cruzada não são recomendáves []. Técncas de exração de caraceríscas aravés de análse de mul-resolução baseadas em waveles são mas adequadas para ese po de modelo, como mosrado em [30]. Enreano, esa écnca observa somene a sére em esudo, não consderando na análse o modelo que será ulzado. Técncas que ulzam somene nformações das séres em esudo para seleção de caraceríscas são ncluídas na caegora de procedmenos de flragem [60]. Ao abdcarem do modelo de prevsão, esas écncas não garanem que o espaço de represenação seleconado é o mas adequado em ermos de desempenho de prevsão. Sendo assm, uma meodologa mas orenada a modelos neuras, negrane do conjuno de écncas encapsuladas [59], [60] é necessára, vsando ober um espaço de represenação adequado ao modelo em quesão. O conrole de complexdade ou regularzação de modelos neuras vsa adequar o nível de não-lneardade dsponblzado pela esruura à regulardade apresenada pelos dados, evando a modelagem desnecessára do ruído e a conseqüene redução da capacdade de generalzação do modelo. Um dos procedmenos mas populares de regularzação de modelos neuras, e um dos mas ulzados em aplcações de prevsão de carga, êm como base écncas de valdação cruzada, sendo conhecdo como parada 8

18 anecpada do renameno, do nglês early soppng. Esa écnca é deveras heurísca, vso que deve ser seleconado adequadamene ano o pono a parr do qual o erro para o conjuno de valdação é degradado, quano o própro conjuno de valdação, que deve represenar de manera fdedgna a função a ser aproxmada. Avalações eórcas sobre as desvanagens dese po de écnca podem ser enconradas em [57], [58]. Nesa ese são desenvolvdos méodos auomácos, analícos e acoplados de seleção de enradas e conrole de complexdade de modelos neuras aplcados à prevsão de carga. Da vasa gama de modelos neuras exsenes na leraura, são consderados perceprons de múlplas camadas, do nglês mul-layered perceprons (MLPs), e modelos baseados em kernel (kernel-based machnes) [6]. Resulados prelmnares ndcando a aplcabldade desas meodologas ao problema de prevsão de carga podem ser enconrados em [3], [33] e [34]. Apesar de exsrem rabalhos ulzando nferênca bayesana em prevsão de carga [5], [53], nesa ese são percorrdos de forma néda odos os níves herárqucos da nferênca bayesana baseada na maxmzação da evdênca [54] para MLPs, desde a esmação do conjuno de parâmeros aé a seleção do modelo. A escolha de dferenes dsrbuções de probabldade a pror para dsnas varáves de enrada dá orgem a um procedmeno de esmação da relevânca de cada enrada conhecdo como deermnação auomáca de relevânca (auomac relevance deermnaon ARD). Para os modelos baseados em kernel, são desenvolvdas meodologas ndependenes para máqunas de veor supore (suppor vecor machnes SVMs) [6] e para as máqunas de veores relevanes (relevance vecor machnes RVMs) [63]. A omzação de esmavas analícas para o lme superor do erro esmado por valdação cruzada únca (leave-one-ou) é ulzada ano para seleção das varáves de enrada, por meo da análse dos parâmeros do kernel, quano para conrole de 9

19 complexdade de SVMs, aravés da escolha dos parâmeros C e ε. Para as RVMs, o méodo auomáco é dvsado aravés da aplcação de nferênca bayesana ulzando a maxmzação da evdênca de forma análoga à proposa para MLPs, aravés da combnação orgnal de um méodo analíco para seleção de funções de base [64] e subda em gradene para esmação da relevânca de cada enrada. As meodologas desenvolvdas necessam da defnção de um conjuno ncal de enradas e de lmares de relevânca a parr dos quas as enradas podem ser descaradas. Para raar esas quesões, écncas baseadas na eora do caos são aplcadas para defnção do espaço de enrada ncal. Em conjuno com o eorema de Takens [65], aplcado para defnção dos arasos da própra sére a serem ulzados como enradas, o conceo de sncronsmo generalzado [66], [67] é ulzado para deecção de relaconamenos enre ssemas e defnção dos respecvos arasos. Para defnção dos lmares de relevânca, é desenvolvdo um méodo orgnal baseado na nserção arfcal de varáves aleaóras de prova [68], abdcando assm da nervenção de especalsas para a escolha dos snas mas relevanes. A Fgura. apresena um dagrama lusrando as dversas conrbuções do rabalho e a nserção de cada uma delas ao longo do processo de especfcação e renameno de modelos neuras para prevsão de carga. Nesa Fgura, as sglas BMLP, A-L-SVM e A-RVM fazem menção às rês meodologas desenvolvdas nesa ese, a saber: nferênca bayesana aplcada à especfcação de MLPs (BMLP), méodo auomáco para especfcação de SVMs (A- L-SVM) e méodo auomáco de especfcação de RVMs (A-RVM). Para avalação das écncas, são ulzadas rês bases de dados públcas. A prmera corresponde a dados horáros de carga e emperaura de uma concessonára de energa nore-amercana [8], [4], os quas vêm sendo ulzados em compeções enre modelos de prevsão de carga. A segunda base de dados apresena nformações de carga 0

20 e emperaura máxmas dáras da Easern Slovakan Elecrcy Corporaon, as quas foram ulzadas na compeção promovda em 00 pelo European Nework on Inellgen Technologes for Smar Adapve Sysems (EUNITE) [9]. O úlmo conjuno possu dados de carga, emperaura e preço da energa, verfcados a cada mea-hora e dsponblzados pela Naonal Elecrcy Marke Managemen Company Lmed (NEMMCO), empresa responsável pela operação do ssema elérco e gerencameno do mercado de energa ausralano [3], [69], [70]. A ulzação desas bases de dados em por objevo a comparação enre as meodologas proposas e as écncas correnemene ulzadas na leraura. Y(k) X (k)... X n (k) Seleção do Conjuno Incal de Enradas - Méodos de Flragem - Arasos Teora do caos - Teorema de Takens - Sncronsmo generalzado - Relaconameno enre ssemas Seleção do Conjuno de Enradas mas Adequadas ao Modelo - Méodos Encapsulados - Inserção de varáves de prova - Deermnação auomáca de relevânca - Omzação dos hperparâmeros do kernel - BMLP - Paamares de relevânca - A-L-SVM - A-RVM - Seleção da esruura Esmação do Modelo - Conrole de complexdade - Evdênca para os modelos - Omzação dos hperparâmeros de SVMs - Inferênca bayesana aplcada a modelos baseados em kernel Prevsão - Y(k + ) Fgura. Fluxograma do processo de desenvolvmeno de modelos neuras e a nserção das écncas desenvolvdas nesa ese Esa ese esá organzada da segune manera. O capíulo dscue de forma geral os problemas de seleção de enrada e conrole de complexdade, ou regularzação, de modelos neuras, desacando o esado da are no que ange a eses assunos em

21 prevsão de carga. As écncas de seleção do conjuno ncal baseadas na eora do caos, junamene com o méodo de defnção empírca de lmares de relevânca, são apresenadas no capíulo 3. Os modelos auomácos desenvolvdos nesa ese são apresenados nos capíulos 4 e 5, que respecvamene dscuem os méodos auomácos desenvolvdos para os MLPs e para as máqunas baseadas em kernel. O sexo capíulo é dedcado à apresenação dos resulados, nclundo uma descrção das bases de dados envolvdas e dos modelos ulzados. Por fm, são apresenadas as conclusões e sugesões de rabalhos fuuros.

22 Redes neuras arfcas As redes neuras arfcas (RNAs) podem ser vsas como um processador de snas paralelamene dsrbuído, consuído de undades de processameno smples, conhecdas como neurônos, que adqurem conhecmeno acerca de uma deermnada arefa aravés da negração com o ambene va um algormo de aprendzagem. Tal conhecmeno é armazenado nos pesos snápcos que nerlgam os dversos neurônos. A Fgura. apresena um dagrama esquemáco de um neurôno, cuja saída c é dada pela equação: = φ n c ωx + b (.) = Nesa equação, c represena a saída do neurôno, n ω, [ ] ω = ω... ω n, o conjuno de pesos snápcos que lgam as enradas n x, [ ] x = x... x n, dese neurôno, que podem ser orundas da saída de ouro neurôno ou da própra camada de enrada, b o bas assocado e φ (): a sua função de avação. Fgura. Dagrama esquemáco de um neurôno 3

23 Manendo a analoga bológca, os neurônos consunes das RNAs são dsposos em camadas, e a forma com que esas camadas são nerlgadas defne a arqueura do modelo. Bascamene, exsem duas esruuras, as redes almenadas adane, feedforward, e as redes recorrenes. Nas redes feedforward as camadas são conecadas de forma consecuva e adjacene, com o snal flundo da enrada para a saída em sendo únco, conforme lusrado na Fgura.. As redes recorrenes apresenam um ou mas laços de realmenação na esruura apresenada nesa Fgura. Vso que a maora das proposas de modelos neuras para prevsão de carga ulza modelos feedforward, ese rabalho focará apenas nese po de esruura. x... x... y x n... Fgura. Rede neural feedforward com múlplas camadas e saída únca Denre as prncpas vanagens dos modelos neuras, podem ser cadas as segunes: Não-lneardade: para o caso mas comumene ulzado, em que a função de avação dos neurônos da camada ocula é não-lnear, o modelo neural 4

24 resulane da nerconexão desas undades mas smples apresena consderável grau de não-lneardade. Enreano, esa vanajosa caracerísca pode ser prejudcal na presença de dados rudosos, problema que será abordado ao longo dese capíulo. Mapeameno enrada-saída: a parr de um conjuno de pares enrada-saída, as redes neuras realzam um mapeameno deses dados, sem a necessdade de desenvolvmeno de modelos maemácos abordando a dnâmca do processo. Adapabldade: eses modelos apresenam elevada capacdade de adapação em vrude de mudanças nas condções do ambene para o qual a rede fo renada para operar. Para al, basa renar a rede novamene, nclundo no conjuno de renameno os padrões referenes às novas condções operaconas. Implemenação smples: já que os modelos feedforward podem ser vsos como grafos orenados, a mplemenação desas esruuras é exremamene smples quando comparada com o grau de complexdade dos modelos que podem ser gerados. Além desas vanagens, o eorema da aproxmação unversal [50] afrma que modelos feedforward podem aproxmar com precsão arbrára qualquer função conínua F( x): n. Para al, a esruura deve apresenar ao menos uma camada ocula conendo neurônos com função de avação conínua, não-consane, lmada, e uma saída lnear, represenando a aproxmação de F( x ) gerada pelo modelo. Porano, modelos feedforward com uma únca camada escondda conendo um número sufcene de neurônos com função de avação com as caraceríscas anerormene cadas podem aproxmar qualquer função conínua. Esa caracerísca consu a prncpal movação para ulzação ao longo dese rabalho de modelos com uma únca camada 5

25 escondda. A saída y dese po de modelo, conendo m neurônos na camada ocula, é dada por: m n y = ωφ j ωjx + bj + b j= = (.) Na expressão acma, m ω s, ω s [ ω ω ωm ] =..., represena os pesos que lgam os neurônos da camada ocula ao neurôno lnear de saída, n ω j, ω j = ωj ωj... ω jn, consuído pelos pesos que lgam as enradas ao j-ésmo neurôno da camada escondda, b j o bas dese neurôno e b o bas do neurôno de saída. Assm, o veor = M w, w ωs ω... ω j b b... bj apresena um oal de M = mn+ m+ parâmeros lvres. Váras proposas de modelos de prevsão de carga baseados em redes feedforward com uma únca camada escondda podem ser enconradas na leraura, podendo ser cados o MLP [4], [5], [7], [8], [9], [0], [], [], [3], [4], [5], [6], [7], [8], [9], [30], [3], [33], as redes de função de base radal, do nglês radal bass funcon neworks (RBFN) [6], [7], [7], [73], funconal lnk nework (FLN), [74], [75], SVM [76], [77], [78], [79], [80], [8], denre ouros. Conforme menconado anerormene, nese rabalho são ulzados apenas modelos feedforward com uma únca camada ocula, mas especfcamene, o MLP e as máqunas baseadas em kernel. Apesar da vanajosa caracerísca de aproxmação unversal, o objevo do desenvolvmeno de uma máquna de aprendzagem não resde na represenação exaa do conjuno de dados dsponíves, mas sm na obenção de um modelo esaísco do processo gerador de as dados [50]. Logo, é desejado que o modelo apresene resulados sasfaóros ano para os dados dsponíves quano para novos dados a serem 6

26 apresenados. Em ouras palavras, a esruura desenvolvda deve apresenar boa capacdade de generalzação. Na presença de dados rudosos, o elevado grau de não-lneardade dsponblzado pelas RNAs pode modelar além da função geradora dos dados raços específcos do conjuno de dados dsponível, compromeendo o desempenho do modelo. Evar o ajuse excessvo dos dados de renameno, popularmene conhecdo como overfng, consu uma das prncpas arefas no desenvolvmeno de modelos neuras. O nível de não-lneardade dsponblzado pelo modelo neural esá dreamene relaconado com as suas enradas. Além dsso, a ulzação drea de varáves rrelevanes que não possuem nenhum grau de nerdependênca com a saída pode compromeer a precsão das prevsões. Assm, em conjuno com o conrole de complexdade, é necessára a seleção adequada do espaço de enrada no nuo de ober esruuras com elevada capacdade de generalzação. Esas quesões evdencam a necessdade do conrole de complexdade, ou regularzação, de modelos neuras em conjuno com a seleção do espaço de enrada. Apesar da mporânca, a grande maora das proposas de RNAs para prevsão de carga aborda de manera nadequada esa quesão, de um lado raando somene da regularzação, e de ouro abordando somene a seleção de varáves de enrada. Desa forma, em conjuno com a defnção dos problemas de seleção de enradas e conrole de complexdade, serão dscudas as proposas enconradas na leraura em prevsão de carga que abordam esas quesões. As raras proposas de modelos auônomos enconradas serão apresenadas na seqüênca, anes da dscussão que encerra o capíulo.. Seleção do espaço de enrada Além de esar relaconada com a complexdade do modelo, a seleção do espaço de enrada possu mporânca sob dversos aspecos, as como faclação da 7

27 vsualzação e enendmeno dos dados, redução do número de snas a serem meddos e conseqüenemene armazenados, dmnução do esforço compuaconal necessáro para renameno e melhora do desempenho de prevsão [60]. Apesar da mporânca, ese eságo do desenvolvmeno de modelos neuras em prevsão de carga anda não mereceu a devda aenção na leraura. De oura forma, a ulzação de procedmenos analícos adequados a modelos não-lneares para escolha das varáves de enrada anda não é praxe no desenvolvmeno de prevsores neuras de carga. A grande maora das aplcações defne de forma heurísca o espaço de enrada, ulzando conhecmeno de operadores do ssema e de especalsas [5], [6], [8], [4], [44], [46], [7], [7], [73], [8], [83], [84], [85], [86], [87], [88], [89], [90], [9], [9]. Exsem na leraura duas abordagens geras para ese problema. A prmera meodologa, conhecda como flragem, ulza nformações somene das séres em esudo para escolha das enradas, buscando deermnar aquelas mas relaconadas com a saída. Nese conexo, são descaradas varáves das rrelevanes, apresenando pequena ou nenhuma relação com a saída, e redundanes, possundo fore nerdependênca com algum ouro snal de enrada mas relaconado com a saída desejada. Os méodos encapsulados de seleção de enradas buscam melhoras no desempenho do modelo ao longo do processo de seleção do espaço de enrada. Em ouras palavras, vsam deermnar o conjuno de enradas mas adequado para o modelo em quesão. Ao fazerem uso dreo do modelo, eses méodos são mas recomendáves sob o pono de vsa de prevsão. Maores dealhes sobre eses dos grupos de méodos de seleção de enrada serão apresenados a segur. 8

28 .. Méodos de flragem Os méodos de flragem fazem uso de esaíscas para avalação de relaconamenos enre varáves. Denre os dversos ndcadores enconrados na leraura, o índce de correlação lnear é o mas smples e popular para mensuração de relaconamenos enre varáves. Dadas duas varáves aleaóras X e Y, o coefcene de correlação τ XY é defndo pela expressão: τ XY = E{ X E( X) Y E( Y) } { ( ) } ( ) { } E X E X E Y E Y (.3) Na equação acma, E () represena o operador de valor esperado, para varáves conínuas dado por: E X = xf x dx (.4) ( ) ( ) Em (.4), f ( x ) represena a função de densdade de probabldade de X. O valor esperado E( X ) de uma varável dscrea apresenando p possbldades de ocorrênca e com dsrbução de probabldade P( X x ) : defndo como: ( ) = ( = ) = ℵ, x ℵ= { x, x,..., xp} p (.5) = E X xp X x O coefcene XY τ, defndo no nervalo [,], é, mensura relaconamenos enre varáves aleaóras. Informalmene, correlações posvas ndcam que aumenos em X e Y ocorrem smulaneamene. Por ouro lado, varações posvas em X ocorrendo em conjuno com decréscmos em Y denoam a exsênca de correlação negava. Por úlmo, se X e Y forem esascamene ndependenes, a correlação τ XY enre esas varáves é nula. Enreano, a recíproca não é verdadera, ou seja, correlação nula não 9

29 mplca ndependênca esaísca enre varáves. Ese fao enconra fundameno na capacdade de τ XY avalar somene relaconamenos lneares. Por exemplo, a correlação enre as varáves aleaóras X e serem dependenes enre s. Y = X é nula, apesar desas varáves por consrução A defnção de τ XY pela equação (.3) não é ulzada na práca, sendo subsuída pelo índce de correlação amosral r XY {(, ) :,,,,..., }. De posse de um conjuno D= x y X = x Y = y = N conendo N realzações de X e Y, r XY é obdo aravés da segune expressão: r XY = N N = ( x x)( y y) N ( x x) ( yj y) = j= (.6) Em (.6), x e y respondem pelas médas amosras das varáves aleaóras X e Y, respecvamene esmadas por: x = N y = N N = N = x y (.7) Além de relações enre dferenes pos de varáves, a expressão (.6) pode ser ulzada para avalação de possíves nerdependêncas enre valores consecuvos de um processo esocásco. Consderando [ ] X = x x... x N como uma seqüênca de número reas aleaóros, o coefcene de auocorrelação amosral r ( ) esocásco X pode ser escro da segune forma: XX k do processo 0

30 r XX ( k) = N = ( x x)( x+ k x) N = ( x x) (.8) O índce r ( ) XX k mede o nível de nerdependênca enre a realzação x do processo esocásco X no nsane e a observação x + k dese mesmo processo realzada k nsanes à frene. Ese conceo pode ser aplcado para análse de pares de processos esocáscos, amplando a nformação fornecda por r XY em vrude da nserção do aspeco emporal. Desa forma, o índce de correlação cruzada amosral r ( ) ser dado por: XY k passa a r XY ( k) = N = N ( x x)( y+ k y) N ( x x) ( yj y) = j= (.9) Em (.9), o nível de nerdependênca enre os processos X e Y é quanfcado para realzações verfcadas em dferenes nsanes de empo, ou seja, x e y + k, respecvamene. Além dsso, vale desacar que ( 0) correlação cruzada r XY dado por (.6). r represena o índce de Os índces de correlação dados nas equações (.8) e (.9) são comumene ulzados para denfcação de ssemas lneares. Méodos clásscos de análse de séres emporas avalam o comporameno deses índces para dferenes arasos de empo vsando à deermnação da ordem de modelos ARMAX, do nglês auo regressve movng average wh exogenous npu. Especfcamene, o esudo da função de auocorrelação da sére Y a ser modelada (por exemplo um hsórco de carga horára) obda aravés do cálculo da equação (.8) para dferenes arasos k, perme esmar a ordem da parcela méda móvel. A ordem da parcela assocada à enrada exógena X, XY

31 relaconada por exemplo com meddas horáras de emperaura, é obda aravés da análse da função de correlação cruzada, gerada a parr da avalação da expressão (.9) para dversos valores de k. Para esmação da ordem da parcela auoregressva, é necessáro o esudo da função de auocorrelação parcal. Relaconada com os índces de auocorrelação, esa função é obda aravés da solução do ssema de equações de Yule- Walker [93], dado por: ( ) ( ) () ( ) ( ) ( ) ( ) ( ) rxx rxx k α XX rxx rxx rxx k α XX rxx = rxx ( k ) rxx ( k ) α XX ( k) rxx ( k) (.0) O índce de auocorrelação parcal ( k ) x e k x +. Enquano r ( ) XX α busca avalar soladamene a relação enre XX k mensura a relação exsene enre x e x + kconsderando a dependênca de x em relação à x +, x + aé k x +, ( k ) α quanfca somene o relaconameno enre x e x + k, não ncorporando as nerdependêncas enre nsanes de empo anerores. A análse de índces lneares de auocorrelação parcal e correlação cruzada é uma écnca comumene ulzada para seleção de varáves de enrada em prevsão de carga [94], [95], [96], [97], [98], [99], [00]. Além do procedmeno clássco para denfcação de modelos lneares de séres emporas, apresenado com maores dealhes em [93] e [0], os índces de correlação podem ser ulzados de forma alernava para seleção de enradas. Dado um conjuno {(, ) n k k,,,..., } D= x y k = N conendo N pares enrada-saída, o índce r XY dado por (.6) pode ser ulzado para deermnação das varáves mas relaconadas com a saída, junamene com a deecção de possíves redundâncas enre os snas de enrada. Especfcamene, é calculado o índce de correlação cruzada r XY enre cada uma das n enradas e a saída, sendo seleconados somene os snas que apresenarem XX

32 nível mínmo de nerdependênca com a úlma. Fea a prmera flragem, a exsênca de redundânca enre os snas seleconados é deermnada aravés da esmava de r XY enre odas as enradas escolhdas. Exsndo varáves redundanes, é manda no modelo fnal a enrada mas relaconada com a saída, ulzando como medda de avalação o índce de correlação cruzada calculado no prmero eságo. O méodo descro anerormene necessa da defnção de lmares a parr dos quas os snas podem ser consderados descorrelaconados. Segundo [93], a correlação cruzada r XY enre duas séres descorrelaconadas apresena assnocamene dsrbução gaussana com valor esperado e varânca dados por: [ ] E r XY = 0 E r XY = N (.) Esas esaíscas podem ser ulzadas em um ese de hpóese para r XY, ou seja, para denfcação da exsênca de correlação enre X e Y. Assm, para r XY ser dferene de zero com nível de confança α, esa esaísca deve perencer a um dos segunes nervalos: r XY s s < ou rxy > (.) N N Na equação (.), s represena uma consane relaconada com o grau de confança do ese. Para s =, o nível de confança α é da ordem de 95 %. Ulzando ese ese, é possível deermnar a exsênca de correlação enre varáves, fornecendo o lmar necessáro para o méodo de seleção de enradas descro anerormene. TSEKOURAS e. al. [99] ulzam o méodo lnear descro acma, com os lmares de relevânca defndos pelo usuáro, em conjuno com uma écnca encapsulada para avalação do modelo. Além dos problemas relaconados com a ulzação de índces lneares para seleção de enradas, o elevado esforço compuaconal 3

33 requerdo pelo eságo encapsulado, dscudo na próxma seção, compromee a aplcabldade da proposa. Oura écnca lnear de seleção de enradas comumene ulzada é a análse de componenes prncpas, do nglês prncpal componen analyss (PCA). Dferenemene da análse de correlação, esa meodologa busca deermnar um novo espaço de enrada, de dmensão reduzda em relação ao espaço orgnal, aravés de uma ransformação lnear do prmero, mnmzando a perda méda de capacdade de reprodução do espaço orgnal em vrude da redução de dmensonaldade. Vsando mnmzar a perda da capacdade de represenação das enradas orgnas não levando em cona as saídas desejadas, componenes vas para dscrmnação enre classes ou para prevsão podem ser desconsderadas, se esas não conrbuírem para caracerzação do veor de enradas orgnal [50]. Exemplos da aplcação desa écnca em prevsão de carga podem ser enconrados em [0], [03]. Méodos lneares como análse de índces de correlação e PCA, apesar de populares, de smples mplemenação e enendmeno, quanfcam apenas relaconamenos lneares enre as varáves, não denfcando possíves nerdependêncas de oura naureza. Dane da caracerísca não-lnear do modelo neural, esas meodologas não são as mas adequadas para seleção de varáves de enrada dese po de esruura, vso que snas relaconados de forma não-lnear com a saída podem evenualmene ser descarados do modelo fnal. A eora da nformação fornece índces capazes de quanfcar relaconamenos de quasquer naurezas enre varáves. Seja X uma varável aleaóra dscrea apresenando p possbldades de ocorrênca e com dsrbução de probabldade P( X x ): = ℵ, x ℵ= { x, x,..., xp} aleaóra X é defnda como [04]:. A enropa de Shannon para a varável 4

34 p (.3) = ( ) = log ( ) = ( = ) log ( = ) H X E P X P X x P X x De manera análoga, a enropa conjuna de duas varáves aleaóras dscreas X e Y, ℵ= {,, 3,..., p}, y { y, y, y3,..., yq} x x x x x ( j) I=, com probabldade conjuna P X = x, Y = y : ℵ I pode se defnda da forma que segue: p q (, ) = log (, ) = ( =, = j) log ( =, = j) H X Y E P X Y P X x Y y P X x Y y (.4) = j= Os índces de enropa defndos acma represenam meddas do nível de ncereza exsene em uma dada varável aleaóra dscrea ou em pares de varáves. De oura forma, o grau de nformação que uma dada varável carrega sobre oura, ou seja, a redução da ncereza em Y em vrude do conhecmeno de X, é mensurado no índce de nformação múua, dado por: p q ( ) = ( = = j) P( X = x, Y = yj) ( = ) ( = ) I X, Y P X x, Y y log P X x P Y y = j= j (.5) A nformação múua I ( XY, ) mede a dvergênca enre a probabldade conjuna de X e Y, P( X, Y ), e o produo das probabldades margnas. Desa forma, I ( XY, ) pode ser enenddo como uma medda de dsânca enre a exsênca de relaconameno enre X e Y, represenado por P( X, Y ), e a ndependênca enre as varáves, vso que nesse caso P( X, Y) = P( X) P( Y) com (, ) I XY gual a zero. A relação enre I ( XY, ) e as respecvas enropas é obda de forma drea, manpulando as equações (.3) a (.5) e dando orgem à segune expressão: (, ) ( ) ( ) (, ) I X Y = H X + H Y H X Y (.6) 5

35 Os conceos de enropa e nformação múua apresenados acma podem ser esenddos para varáves conínuas. Seja f ( x) : a função de densdade de probabldade da varável aleaóra conínua X, g( y) : probabldade de Y e ( ) q x, y : a densdade de a densdade de probabldade conjuna de X e Y. Assm, a enropa dferencal de X e a enropa dferencal conjuna são defndas como: h( X) = E log f ( x) = f ( x) log f ( x) dx (.7) h( X, Y) = E log q( x, y) = q( x, y) log q( x, y) dxdy (.8) Nese conexo, a nformação múua enre X e Y é dada por: (, ) ( x) g( y) I ( XY, ) = qxy (, ) log q x y dxdy (.9) f A relação enre nformação múua e enropa para varáves aleaóras dscreas, dada em (.6), permanece válda para snas conínuos, com a enropa sendo subsuída pelo seu equvalene dferencal. Conudo, vale desacar que, enquano as meddas de enropa para varáves dscreas são nvaranes a ransformações aplcadas aos snas, o mesmo não é verfcado para os análogos conínuos. Conforme menconado anerormene, o índce de nformação múua esá relaconado com a dmnução da ncereza sobre uma dada varável aleaóra em função da verfcação de ouro snal aleaóro. Pode ser mosrado [04] que ese índce é necessaramene não-negavo, assumndo seu valor mínmo gual a zero somene para o caso onde as varáves aleaóras envolvdas são ndependenes. Porém, ao conráro do índce de correlação cruzada XY r, (, ) dependene da forma na qual as varáves são dsrbuídas. I XY não é lmado superormene, sendo 6