ANÁLISE ENVOLTÓRIA DE DADOS COM SAÍDAS INDESEJÁVEIS UTILIZANDO TÉCNICAS DE PREENCHIMENTO DE MATRIZES DE POSTO REDUZIDO.

Transcrição

1 ANÁLISE ENVOLTÓRIA DE DADOS COM SAÍDAS INDESEJÁVEIS UTILIZANDO TÉCNICAS DE PREENCHIMENTO DE MATRIZES DE POSTO REDUZIDO. ALEX PINCELLI MUSSIO - alex_pincelli@hotmail.com UNIVERSIDADE ESTADUAL DE CAMPINAS - UNICAMP NILSON JOSÉ MONTEIRO MOREIRA - nilsonmat27@gmail.com UNIVERSIDADE ESTADUAL DE CAMPINAS - UNICAMP CRISTIANO TOREZZAN - cristiano.torezzan@fca.unicamp.br UNIVERSIDADE ESTADUAL DE CAMPINAS - UNICAMP LEONARDO TOMAZELI DUARTE - leonardo.duarte@fca.unicamp.br UNIVERSIDADE ESTADUAL DE CAMPINAS - UNICAMP Área: 6 - PESQUISA OPERACIONAL Sub-Área: DECISÃO MULTICRITERIAL Resumo: A ANÁLISE ENVOLTÓRIA DE DADOS (DEA) VEM SENDO AMPLAMENTE UTILIZADA PARA CÁLCULO DE EFICIÊNCIA DE UNIDADES TOMADORAS DE DECISÃO (DMUS) EM DIVERSAS ÁREAS DO CONHECIMENTO. RECENTEMENTE, MUITOS TRABALHOS CONSIDERAM VARIAÇÕES DO MODELO CLÁSSICO DA DEA COM O INTUITO DE CONSIDERAR DADOS DE SAÍDAS INDESEJÁVEIS. UMA DIFICULDADE RECORRENTE NESTE CASO, ASSIM COMO NO CASO MAIS GERAL DA DEA, É QUE EM MUITAS SITUAÇÕES PRÁTICAS PODE HAVER DIFICULDADE EM ACESSAR TODOS OS DADOS DAS DIVERSAS DMUS. DADO ESTE CENÁRIO, O PRESENTE TRABALHO TEM COMO OBJETIVO ANALISAR O COMPORTAMENTO DE MODELOS DEA QUE CONSIDERAM SAÍDAS INDESEJADAS EM CENÁRIOS DE DADOS FALTANTES E NOS QUAIS HÁ UMA APLICAÇÃO PRÉVIA DE UM MÉTODO DE PREENCHIMENTO DE MATRIZES DE POSTO REDUZIDO. ATRAVÉS DE EXPERIMENTOS NUMÉRICOS, TORNA-SE POSSÍVEL ESTIMAR LIMITANTES TAIS COMO A PROPORÇÃO MÍNIMA DE DADOS PREVIAMENTE CONHECIDOS PARA UM BOM DESEMPENHO DOS MODELOS DEA EM ANÁLISE. Palavras-chaves: ANÁLISE ENVOLTÓRIA DE DADOS; SAÍDAS INDESEJÁVEIS; DADOS FALTANTES; POSTO REDUZIDO; PREENCHIMENTO DE MATRIZES.

2 DATA ENVELOPMENT ANALYSIS WITH UNDESIRABLE OUTPUTS USING LOW- RANK MATRIX COMPLETION TECHNIQUES. Abstract: DATA ENVELOPMENT ANALYSIS (DEA) HAS BEEN WIDELY APPLIED TO ESTIMATE THE EFFICIENCY OF DECISION MAKING UNITS (DMUS) IN SEVERAL DOMAINS OF APPLICATION. MORE RECENTLY, SOME WORKS PROPOSED EXTENDED VERSIONS OF THE DEA CLASSICAL FORMULATION IN OORDER TO CONSIDER THE CASE OF UNDESIRABLE OUTPUTS. A RECURRENT PROBLEM IN THIS SCENARIO, AS WELL AS IN OTHER FORMULATIONS OF DEA, IS THAT THERE ARE SOME PRACTICAL SITUATIONS IN WHICH IT IS DIFFICULT TO ACCESS ALL DATA FROM THE DMUS. IN VIEW OF THIS PROBLEM, THE GOAL OF THE PRESENT PAPER IS TO ANALYZE THE PERFORMANCE OF DEA MODELS THAT CONSIDER UNDESIRABLE OUTPUTS IN SITUATIONS WITH MISSING DATA AND IN WHICH A METHOD OF LOW-RANK MATRIX COMPLETION IS APPLIED BEFOREHAND. THROUGH NUMERICAL EXPERIMENTS, IT BECOMES POSSIBLE TO EVALUATE LIMITS SUCH AS THE REQUIRED MINIMUM PROPORTION OF KNOWN DATA IN ORDER FOR THE DEA MODELS UNDER ANALYSIS TO ACHIEVE A GOOD PERFORMANCE. Keyword: DATA ENVELOPMENT ANALYSIS; UNDESIRABLE OUTPUTS; MISSING DATA; LOW-RANK; MATRIX COMPLETION. 2

3 1. Introdução A análise envoltória de dados (DEA, do inglês data envelopment analysis) surgiu em 1978 [1] como uma ferramenta de programação matemática utilizada para avaliação da eficiência relativa de unidades tomadoras de decisão (DMUs, do inglês decision-making units) através da relação entre múltiplos dados ponderados de saída e múltiplos dados ponderados de entrada. Embora amplamente utilizada, a modelagem tradicional DEA pode não ser adequada em diversas situações na prática. Em problemas de manufatura, por exemplo, os recursos (dados de entrada) podem produzir resultados (dados de saída) desejáveis e indesejáveis [2]. Um tipo de saída indesejável é a emissão de gases poluentes na atmosfera durante determinado processo produtivo, fator este que necessita de uma modelagem particular no cálculo da eficiência das DMUs em questão [3]. Uma aplicação prática da DEA em que são consideradas saídas indesejáveis, e cujos modelos são o foco do presente trabalho, é a seleção de fornecedores sustentáveis, tarefa que está diretamente ligada ao sucesso da cadeia de suprimentos sustentável. Trata-se de um tema de grande relevância para organizações obterem vantagens competitivas e sobreviverem no mercado, devido à crescente regulamentação ambiental e conscientização pública sobre o tema sustentabilidade [7]. Na literatura, são diversos os estudos que investigam a consideração simultânea de dados de entrada, saída e saída indesejável em modelos DEA para seleção e avaliação de fornecedores sustentáveis. Dentre esses trabalhos, [4] e [5], por exemplo, sugerem que o cálculo da eficiência relativa de DMUs deve depender de informações técnicas e ambientais. Dado que esse processo é feito em três etapas, tal abordagem vem sendo referenciada como métodos em três etapas. Numa outra linha para se considerar saídas indesejáveis, tem-se também o trabalho desenvolvido por [6], em que é proposta uma modelagem, através de programação de metas, considerando saídas indesejáveis através do cálculo da eficiência técnica (modelo tradicional DEA) combinada com a eficiência ambiental. Para a aplicação do método DEA, assume-se que os dados de entrada, saída e saída indesejável sejam fixos e conhecidos. No entanto, muitas vezes na prática, pode ocorrer a falta desses dados [8]. Além de ser custoso em diversos aspectos, o acesso a todos os dados das DMUs a serem avaliadas muitas vezes não é possível. Com isso, torna-se interessante o uso de técnicas capazes de lidar com dados faltantes na aplicação do DEA. 3

4 Diante disso, o presente trabalho tem como objetivo avaliar os dois diferentes métodos baseados em DEA com saídas indesejáveis, o primeiro tratado em [4] e [5], e o segundo método em [6], do ponto de vista de dados faltantes. Mais precisamente, iremos investigar a robustez e o comportamento dos modelos em cenários de dados faltantes e nos quais se aplica a metodologia de preenchimento de matrizes de posto reduzido tratada em [9]. Com relação à estrutura do trabalho, a Seção 2 apresenta o referencial teórico de DEA, sua extensão de saídas indesejáveis e métodos de preenchimento de matrizes de posto reduzido. Na Seção 3, a metodologia utilizada para desenvolvimento do presente trabalho. Os experimentos são apresentados na Seção 4, e por fim, na Seção 5, apresentamos as considerações finais. 2. Revisão bibliográfica 2.1 Análise envoltória de dados A DEA foi inicialmente proposta em [1] como uma ferramenta de programação fracionária para cálculo da eficiência relativa entre DMUs. Pode-se destacar uma ampla utilização e aplicação dessa técnica em diversas áreas do conhecimento, já que sua abordagem multicritério permite o uso de diversas variáveis na análise de desempenho das unidades [11]. A modelagem DEA CCR é feita considerando um conjunto de n DMUs, em que cada DMU j, (j = 1,...,n) utiliza-se de m entradas x ij (i = 1,...,m), para gerar s saídas y rj (r=1,...,s). Sendo os pesos u r e v i associados com as saídas r e com as entradas i, respectivamente, o problema de programação linear orientado a entradas para obter a eficiência máxima h j da DMU j é dado pelo seguinte modelo: O Modelo (1) deve ser resolvido para cada unidade e determina valores de e v i visando a maximização da eficiência de cada DMU. Sabe-se que esse modelo clássico não envolve as saídas indesejáveis no cálculo de eficiência, de modo que diversos trabalhos buscam novas formas de modelagem em que são consideradas saídas indesejáveis do processo. 4

5 2.1.1 Análise envoltória de dados considerando saídas indesejáveis Desde seu surgimento [1], a DEA tem sido amplamente utilizada para medir eficiências de diversos tipos de DMUs. Porém, sua modelagem tradicional pode não ser adequada em diversas situações na prática, onde pode ocorrer produção de saídas indesejáveis, como por exemplo, emissão de gás carbônico. Tal cenário necessita assim de uma modelagem particular para serem considerados no cálculo da eficiência. De fato, a aplicação da DEA sem considerar saídas indesejáveis pode fornecer resultados de eficiências irreais, prejudicando na análise de DMUs consideradas eficientes e benchmarking [3]. Diversos estudos discutem a consideração simultânea dos dados de entrada, saída e saída indesejável. Nesse contexto, diferentes modelagens foram desenvolvidas e discutidas na literatura [10]. Dentre elas, o foco do presente trabalho será na análise das metodologias tratadas em [4], [5] e [6], apresentadas a seguir. A metodologia em três etapas apresentada em [4] e [5] é utilizada para encontrar a eficiência técnica, ambiental e eco-eficiência. Assumindo que há n DMUs e que cada uma delas consome m entradas para produzir s saídas desejáveis e p saídas indesejáveis, a eficiência técnica é obtida em termos de entradas e saídas desejáveis e representa a eficiência das DMUs no processo de transformar suas entradas em saídas consideradas úteis, conforme representado pelo seguinte modelo linear: A eficiência ambiental mostra o quanto cada DMU valoriza os impactos ambientais em termos das saídas desejáveis e indesejáveis y kj (k = 1,...,p), sendo µ k o peso relacionado às saídas indesejáveis e é obtida da seguinte maneira: A combinação da eficiência técnica e ambiental é chamada de eco-eficiência e é obtida pela consideração simultânea de entradas, saídas desejáveis e indesejáveis. Matematicamente, 5

6 a obtenção da eco-eficiência se dá pela resolução do seguinte problema de programação linear: Outro método presente na literatura que visa obter eficiência de DMUs considerando saídas indesejáveis foi proposto em [6]. Tal modelo consiste em considerar, através de programação de metas e DEA, as duas funções objetivos r u r y ro / i v i x io (eficiência técnica) e r u r y ro / k µ k y jk (eficiência ambiental) a serem otimizadas. Variáveis d o e d o são definidas como desvios da DMU o em relação aos aspectos técnico e ambiental, respectivamente. Essas variáveis podem ser definidas como d o = i v i x io - r u r y ro e d o = k µ k y jk - r u r y ro. Com isso, o modelo resultante se expressa da seguinte maneira: Tal método, assim como o modelo três etapas, retorna valores de eficiência técnica, ambiental e eco-eficiência. 2.2 Método de preenchimento de matrizes de posto reduzido Em muitos problemas, a matriz dos dados pode conter elementos inacessíveis, devido a diversos fatores. Por exemplo, no problema de Localização em Redes de Sensores, onde se pretende determinar a localização de todos os sensores na rede, precisamos das distâncias entre os mesmos [16]. Por limitação de alcance dos sensores, nem todas as distâncias são conhecidas, fazendo com que a respectiva matriz de distâncias contenha entradas em falta. Uma das maneiras de contornar esse problema, passa por estimar esses valores. Diferentes métodos têm sido usados para esse fim, e um desses é o método de preenchimento de matrizes de posto reduzido, o qual é utilizado neste trabalho. 6

7 Considere uma matriz M R n x m, da qual se conhece um subconjunto das suas entradas, cujos índices formam o conjunto Ω, isto é, Ω é o conjunto dos índices das entradas conhecidas. Considere ainda que r = posto(m) e que r << min(n,m), ou seja, M é uma matriz de posto reduzido. O problema preenchimento de matrizes de posto reduzido é modelado pelo seguinte problema de otimização: O problema (6) é um problema de otimização combinatória, considerado NP-difícil, o que o torna intratável computacionalmente. Por isso, versões relaxadas são consideradas para estimar os valores em falta. Uma das relaxações mais usadas é a relaxação nuclear [13], dada por: onde é a norma nuclear de X (soma dos valores singulares de X). Candès e Recht em [13] provaram que sob certas condições, a resolução do problema (7) conduz à recuperação exata das entradas em falta na matriz M. Com base nesse resultado, vários algoritmos foram propostos dos quais destacamos o singular value thresholding [14] e soft-impute [15] utilizados neste trabalho. 3. Metodologia Os dados a serem considerados na DEA são representados pelas matrizes X R n x m (dados de entrada), Y R n x s (dados de saída desejável) e Z R n x p (dados de saída indesejável). Considerando três o número de saídas desejáveis consideradas para o experimento (s = 3), os valores y j de saída desejável serão gerados baseados na função de Cobb-Douglas [12], da seguinte maneira: em que α é uma constante fixada em 0,3 e modela a ineficiência na saída desejável da j- ésima DMU. Tais ineficiências são geradas a partir de um valor absoluto de realizações de uma variável aleatória normal de média zero e desvio padrão unitário. Com relação aos dados de duas saídas indesejáveis (p = 2) a serem consideradas da matriz Z, também foi considerado um processo baseado na função Cobb-Douglas [12]: 7

8 em que os valores z são dados por, α = 0,3, e modela a ineficiência na saída indesejável da j-ésima DMU. A matriz de dados de entrada X é gerada da seguinte maneira: em que G 1 R n x q e G 2 R q x m são matrizes aleatórias cujos elementos são gerados a partir de uma distribuição uniforme no intervalo [0,1] e N uma matriz aleatória de distribuição Gaussiana média zero e desvio padrão σ. Os testes foram divididos em dois casos, no primeiro caso foi considerado a matriz X de entrada sem ruídos ruído (σ = 0), já no segundo caso foi considerado ruído (σ = 0,01) na matriz de dados de entrada X. Tal modelo, nos permite controlar o valor q do posto da matriz X. Também é adicionado um valor de deslocamento a cada elemento para evitar dados negativos. Iremos assumir que todas as saídas desejáveis e indesejáveis são conhecidas e que há dados faltantes apenas na matriz de entradas. Com isso, iremos investigar a relação de eficácia de preenchimento de X em função de seu posto q. Os experimentos são dados conforme esquema apresentado na Figura 1. Na primeira fase é aplicado DEA através do método três etapas e também pelo método programação de metas sob as matrizes completas X gerada pelo Modelo (10), Y e Z pelo Modelo (8) e (9) respectivamente. Assim, pode-se obter, através do primeiro método (três etapas), as corretas eficiências técnica h t1, ambiental h a1, e eco-eficiência h e1, e também, através do segundo método (programação de metas) as corretas eficiências técnica h t2, ambiental h a2 e ecoeficiência h e2, (considerando que não há dados faltantes) de cada DMU. Na segunda fase é realizada a eliminação dos elementos de X com uma taxa controlada de dados conhecidos dada por t [0,1]. Os índices dos elementos não eliminados (conhecidos) são denotados por. Tal etapa retorna a matriz incompleta, cujos elementos são vazios para os índices que não constam em e idênticos aos elementos de X nos índices. Em seguida, é realizada a etapa de preenchimento da matriz a partir da resolução de (7), resultando na matriz estimada. Por fim, aplica-se DEA através dos dois diferentes métodos em análise sobre, Y e Z gerando as eficiências estimadas,, através do métodos três etapas e,, pelo método programação de metas. 8

9 FIGURA 1 Metodologia utilizada nos experimentos. Através da determinação dos vetores h t1, h a1, h e1, h t2, h a2, h e2,,,,, e, é possível realizar a comparação do comportamento de cada método através dos resultados obtidos nos seguintes casos: 1) a matriz de entrada X é conhecida e 2) a matriz de entrada considerada é uma aproximação de X obtida a partir de. Iremos considerar, como métrica de desempenho, a seguinte medida de erro:, em que denota a norma euclidiana do vetor. Tal medida indica o erro relativo E h1 em relação aos vetores de eficiências h 1 e para eficiências técnica, ambiental e eco-eficiência, obtidos com a matriz original X e a preenchida, respectivamente, para o método três etapas. Também, calcula o erro relativo E h2, para o segundo método (programação de metas) entre os vetores h 2 e para as três eficiências, obtido com a matriz original e preenchida respectivamente. 4. Experimentos Para a realização dos experimentos foi considerado o seguinte cenário: cinquenta DMUs, ou seja, n = 50, o número de entradas m = 15, saídas desejáveis s = 3 e saídas indesejáveis p = 2. Foi realizado simulação de Monte Carlo (com 100 realizações) variando os parâmetros de porcentagem t de dados conhecidos e o posto q da matriz de dados de 9

10 entrada X gerada através de (10), no primeiro caso sem ruídos, e no segundo caso considerando ruído apenas para matriz X de posto q = 7. Após as simulações calculadas, obtêm-se os valores de desempenho E h para cada tipo de eficiência e método avaliado (três etapas e programação de metas). Nas Figuras 2(a), 2(b) e 2(c) são apresentados os valores médios E h1 - obtidos nas 100 simulações do método três etapas - para as eficiências técnica, ambiental e eco-eficiência, respectivamente. Já nas Figuras 2(d), 2(e) e 2(f) são apresentados os valores médios E h2 para as eficiências técnica, ambiental e eco-eficiência, respectivamente, obtidas a partir de 100 simulações do método programação de metas. Todos (Figura 2) em função da variação de, considerando o primeiro caso em análise (σ = 0). Foi observado, após diversos experimentos, uma taxa mínima e de dados conhecidos de 60%. Ao considerar t < 0,6, a probabilidade do método de preenchimento gerar matrizes estimadas com linhas ou colunas nulas é alta devido à dimensão da matriz considerada X R 50x15, tornando o problema infactível. Um ponto a ser destacado é o aumento do erro relativo (E h ) obtidos pelos dois métodos em análise, conforme a diminuição da porcentagem de dados conhecidos (t), já que, quanto maior a porcentagem de dados previamente conhecidos, melhor o desempenho do método (7) no preenchimento da matriz. Com relação ao aumento do posto da matriz de entrada X, há um aumento significativo de E h, pois o método de preenchimento de matrizes aplicado no presente artigo tem como fundamento a hipótese de posto reduzido, apresentando assim melhores resultados - baixos valores de E h - para postos q pequenos. Realizando a comparação das métricas de desempenho (E h ) entre os métodos de cada eficiência, ou seja, comparando par-a-par as Figuras 2(a) e 2(d), 2(b) e 2(e), 2(c) e 2(f), podese observar que não houve diferença significativa de E h no cálculo de eficiência técnica e ambiental, apenas pequena diferença na eco-eficiência favorecendo o método três etapas. Para o segundo caso em análise, considerando matriz de entrada X com ruído (σ = 0,01), têm-se os resultados de E h para cada método e cada eficiência apresentados na Tabela 1 conforme variação de t e posto fixo q = 7, após 100 realizações da simulação Monte Carlo. 10

11 (a) E ht1 em função de t (d) E ht2 em função de t (b) E ha1 em função de t (e) E ha2 em função de t (c) E he1 em função de t (f) E he2 em função de t FIGURA 2 Medidas de desempenho para cada método em relação à proporção de dados conhecidos e ao posto da matriz de entrada X. Pode-se comparar através da Tabela 1 os valores de E h1 e E h2 para as três eficiências obtidos pelos métodos três etapas e programação de metas, respectivamente. Os valores das métricas de desempenho obtidos são similares, apresentando ligeira diferença relativa ao cálculo da eco-eficiência, ou seja, entre os valores de E h1 e E h2. 11

12 TABELA 1 Análise de erro relativo dos métodos perante matriz X com ruído e variação de t. Ef. técnica Ef. ambiental Eco-eficiência E ht1 E ht2 E ha1 E ha2 E he1 E he2 0,9 0,0016 0,0017 0,0016 0,0016 0,0016 0,0018 t \ E h 0,8 0,0105 0,0127 0,0101 0,0102 0,0075 0,0087 0,7 0,0319 0,0369 0,0375 0,0387 0,0310 0,0375 0,6 0,0628 0,0660 0,0809 0,0816 0,0627 0, Considerações finais Neste trabalho foi proposto analisar o comportamento dos modelos DEA que consideram saídas indesejáveis. Foram consideradas duas abordagens: uma delas baseada em três etapas e a outra em programação de metas. Nossas análises se deram sob o ponto de vista de dados faltantes. Foi utilizado um método de preenchimento de matrizes de posto reduzido para estimar os valores faltantes apenas para a matriz de dados de entrada. Com intuito de avaliar o desempenho do método de preenchimento de matriz investigado, aplicamos a DEA considerando as matrizes de dados originais e de dados preenchidos, de modo que se tornou possível calcular os erros relativos obtidos numa situação ideal (matriz completa) e numa situação de dados faltantes. Os resultados obtidos indicaram que os dois métodos estudados apresentaram um desempenho similar no que diz respeito ao quesito de dados faltantes. Para trabalhos futuros, pretendemos utilizar a métrica de Kendall Tau, a fim de analisar como os erros relativos influenciam no ranking das DMUs. Referências [1] CHARNES, W. W. COOPER, E. RHODES. Measuring the efficiency of decision making units. European Journal of Operational Research, vol. 2, p , [2] R. FÄRE, S. GROSSKOPF, D. TYTECA. An activity analysis model of the environmental performance of firm s application to fossil-fuel-fired electric utilities. Ecological Economics, vol. 18, p , [3] MAHDILOO, M., SAEN, R. F., LEE, K. Technical, environmental and eco-efficiency measurement for supplier selection: An extension and application of data envelopment analysis. International Journal of Production Economics, n 168, vol.1, p , [4] KORHONEN, P. J., LUPTACIK, M. Eco-efficiency analysis of power plants: an extension of data envelopment analysis. European Journal of Operational Research, n 154, vol. 2, p , [5] ZHANG, B., BI, J., FAN, Z., YUAN, Z., GE, J. Eco-efficiency analysis of industrial system in China: a data envelopment analysis approach. Ecological Economics, n. 68, vol 1-2, p , [6] MAHDILOO, M., SAEN, R. F., LEE, K. Technical, environmental and eco-efficiency measurement for supplier selection: An extension and application of data envelopment analysis. International Journal of Production Economics, n 168, vol 1, p ,

13 [7] G. S. KUSHWAHA AND N. K. SHARMA. Green initiatives: a step towards sustainable development and firm s performance in the automobile industry. Journal of Cleaner Production, n 121, p , [8] COOK, W. D., SEIFORD, L. M. Data envelopment analysis (DEA) - Thirty years on. European Journal of Operational Research, n 192, vol. 1, p. 1-17, [9] DUARTE, L. T., TOREZZAN, C. Métodos de preenchimento de matrizes de posto reduzido para o tratamento de dados faltantes na análise envoltória de dados. Latin-Iberoamerican Conference on Operations Research [10] HASSINI, E., SURTI, C. SEARCY, C. A literature review and a case study of sustainable supply chains with a focus on metrics. International. Journal of Production Economics, n 140, vol 1, p , [11] JOHN S. LIU, LOUIS Y.Y. LU, WEN-MIN LU. Research fronts in data envelopment analysis. Omega, n 58, p , [12] C. COBB AND P. H. DOUGLAS. A theory of production. American Economic Review, n 18, [13] E. J. CANDÈS AND B. RECHT. Exact Matrix Completion via Convex Optimization. Foundations of Computational Mathematics, n 9, p , [14] J. F. CAI, E. J. CANDÈS AND Z. SHEN. A Singular Value Thresholding Algorithm for Matrix Completion. SIAM Journal on Optimization, n 20, vol 4, p , [15] R. MAZUMDER, T. HASTIE AND R. TIBSHIRANI. Spectral Regularization Algorithms for Learning Large Incomplete Matrices. Journal of Machine Learning Research, n 11, p , [16] NI, Y. Q., LI, M. Wind pressure data reconstruction using neural network techniques: A comparison between BPNN and GRNN. Measurement, n 88, p ,