RFlow: uma arquitetura para proveniência de workflows estatísticos

Transcrição

1 RFlow: uma arquitetura para proveniência de workflows estatísticos José Antônio Pires do Nascimento 1,2, Sérgio Manuel Serra da Cruz 1 1 Programa de Pós-Graduação em Modelagem Matemática e Computacional UFRRJ, Seropédica, Rio de Janeiro, Brasil, joseantonio.pires@embrapa.br, serra@ufrrj.br 2 Embrapa Agrobiologia - Núcleo de Tecnologia da Informação (NTI), Seropédica, Rio de Janeiro, Brasil, joseantonio.pires@embrapa.br RESUMO Dados agropecuários relacionados à redução de custos de produção, previsão e controle de pragas e epidemias, agricultura de alta precisão, etc, são produzidos em alta escala e de maneira heterogênea através de sensores, VANTs, web, satélites, etc. Este crescente aumento no volume de dados científicos e a necessidade de compartilhá-los entre equipes geograficamente dispersas têm demandado novas técnicas e ferramentas computacionais. Este trabalho apresenta a arquitetura RFlow, um conjunto de ferramentas integradas, com o intuito de gerenciar, compartilhar e reproduzir os experimentos baseados em scripts R, bem como validar seus resultados estatísticos junto à comunidade científica. O aplicativo SisGExp, um dos componentes da arquitetura, permite acesso aos dados e os processos que os transformaram em tempo real. Além disso, proporciona a reprodutibilidade dos experimentos e maior confiabilidade dos resultados científicos. PALAVRAS-CHAVE: Workflow Científico, Sistema R, Agrobiologia. ABSTRACT Data is continuously produced in agriculture related to the reduction of production costs, prediction and control of plagues and epidemics, high precision agriculture, etc. The everincreasing production of large volumes of scientific data and the requisite to share them among geographically dispersed research teams require new techniques, approaches and computational tools. This work presents the RFlow architecture. It is based on a set of integrated tools that manage, share, and enact the scientific experiments designed as workflows that encapsulate R scripts. Besides, the architecture also shares their results and products. RFlow that allows users to access scientific data and the processes and collect different kinds of provenance metadata (prospective and retrospective) in a non-intrusive way. KEYWORDS: Scientific workflow, R System, Agrobiology.

2 INTRODUÇÃO Crescimento populacional, mudanças climáticas, bioenergia são problemas de escala global que estão demandando a integração de diversas ciências para melhorar as práticas agrícolas. Acrescente-se a isso a necessidade de aprofundar as pesquisas nas áreas de degradação do solo, perda de biodiversidade e desaceleração do crescimento na produtividade das culturas (TUOT et al., 2008). O entrelaçamento dessas áreas aliados aos avanços na área de processamento de alto desempenho (PAD), da rápida produção de grandes volumes de dados científicos na Agricultura através de sensores e modernos aparatos experimentais (Big Data) (BRANCH et al., 2014) e da urgente necessidade da garantia de reprodutibilidade dos experimentos exigem novas abordagens no que tange à gerência de dados e proveniência em experimentos científicos distribuídos do tipo in silico. Tudo isto tem contribuído para o aumento sistemático do uso de workflows científicos (DEELMAN et al., 2009; MATTOSO et al., 2009). A utilização de workflows científicos com foco no processamento estatístico também vem crescendo. Estes se caracterizam pela manipulação de grandes volumes de dados e por executarem sofisticadas análises estatísticas através da incorporação de recursos (funções, algoritmos e métodos) disponíveis em sistemas estatísticos (SPSS, SAS, Statistica, Mapple, MathLab, Weka, R, entre outros (MAIR; DE LEEUW, 2010)). A reprodutibilidade é a pedra angular da Ciência. No entanto, a medida que as novas ferramentas, tecnologias e aparatos experimentais, quantidades maciças de dados e novas abordagens interdisciplinares e distribuídas se consolidam, paradoxalmente muitos experimentos científicos tornam-se cada vez mais difíceis de serem reexecutados ou são publicados desconectados dos seus dados (PENG, 2011) (SMITH-SPANGLER, 2012). Como a replicação completa de estudos sobre os dados ambientais recolhidos independentemente muitas vezes não é viável, tem havido um convite por parte das agências de fomento e editorias de revista científicas para tornar as investigações computacionais mais transparentes e reprodutíveis com um padrão mínimo atingível para que se possa avaliar o real valor das suas afirmações científicas (TUOT et al., 2008) (MESIROV, 2010) (STODDEN, 2012) (SANDVE et al., 2013). A validade de um experimento científico passa pela reprodução de seus resultados por terceiros. A comunidade científica pode considerar uma pesquisa inválida se somente o

3 cientista autor consegue reproduzi-la. Para alcançar a reprodução da pesquisa é necessário possuir os dados descritores tanto do ambiente de execução quanto dos experimentos ou workflows que manipulam os dados. Estes dados são obtidos da proveniência (FREIRE et al., 2008). Coletar proveniência de scripts é um desafio que ainda está em aberto (NASCIMENTO; CRUZ, 2013), (MURTA et al., 2014). Este trabalho apresenta a abordagem denominada RFlow que facilita o gerenciamento de experimentos apoiados por workflows estatísticos baseados em scripts R, mitiga limitações dos sistemas estatísticos no que diz respeito à coleta transparente e não intrusiva de proveniência prospectiva e retrospectiva. A arquitetura é multimodular e representa uma proposta que permite os cientistas (re)utilizarem os scripts R encapsulados sob a forma de meta-workflows científicos, facilitando o reúso de dados e dos próprios scripts R, além de permitir o compartilhamento e controle de execução dos experimentos com apoio da coleta de descritores de proveniência sobre as execuções individualizadas de cada execução do workflow. MATERIAIS E MÉTODOS Esta seção apresenta materiais, métodos e tecnologias adotadas na condução da pesquisa e na elaboração deste trabalho. Vale ressaltar que toda tecnologia utilizada é software livre. Arquitetura RFlow A reprodutibilidade e a troca aberta de conhecimentos, dados e materiais entre times de pesquisa formam a espinha dorsal do progresso científico. Para disponibilizar os dados experimentais e os processos científicos que os manipulam de maneira organizada e em tempo real do script R, foi concebida e implementada a arquitetura RFlow. Essa arquitetura, é na verdade, uma plataforma composta por um conjunto de componentes integrados, em que cada um tem um propósito bem definido. Os quatro principais componentes que integram a arquitetura são: Sistema de Gestão de Experimentos (SisGExp), Ambiente R, SGWfC Kepler e o Sistema Gerenciador de Banco de Dados (SGBD) PostgreSQL. A Figura 1 apresenta uma visão conceitual e geral da arquitetura, seus controles de leitura(r) e escrita(w) e dos componentes responsáveis por viabilizar a reprodutibilidade dos experimentos científicos apoiados por workflows estatísticos e coleta e armazenamento da proveniência e resultados.

4 Conceitualmente, a arquitetura RFlow permite que o cientista configure os dados, parâmetros e descritores do seu experimento através do SisGExp (1a e 1b). A seguir (2) ele invoca de maneira transparente e remotamente o SGWfC Kepler que parametriza automaticamente (3a e 3b) um meta-workflow genérico (ExecScript) que controla a execução dos scripts R no ambiente R (selecionado em 1b). O SGWfC Kepler orquestra a execução do meta-workflow (3a e 5) e coleta a proveniência da execução do experimento baseado em meta-workflow que encapsula os scripts R de qualquer tipo através do serviço Provenance Colector. O SisGExp permite que o cientista monitore (4) remotamente a execução do experimento (5). Figura 1. Representação conceitual da arquitetura RFlow. JAVA Ambiente R SGWfC Kepler E Aplicação Web 1b W (SisGExp) 1a W Script R Dados Experimentais (planilha de dados) 3a R Workflow Científico 3b R (ExecScript) 2 - invoca SGBD PostgreSQL 4 - R/W 5 - R/W Proveniência de Dados R - Read W- Write E - Execute (Prospectiva e Retrospectiva) Fonte: (Autor, 2015) Sistema de Gestão de Experimentos (SisGExp) O componente SisGExp é um aplicativo Web, utiliza a tecnologia Java EE, e é o responsável pelo registro de todo planejamento do experimento in silico e pelo acompanhamento dos dados experimentais coletados pelo pesquisador. O estilo arquitetural utilizado pela aplicação foi o MVC (Model-View-Controler), pois permite a melhor separação das camadas apresentados por Nascimento e Cruz, As camadas são: lógica (camadas core), negócio (serviços de configuração) e apresentação (camada de interface). Foi utilizado o framework

5 JavaServer Faces (JSF) em conjunto com a suíte PrimeFaces para implementar a interface e o controle da aplicação. O servidor de aplicação utilizado para suportar todas as especificações da API Java EE é o GlassFish. O sistema possui três perfis de acesso: 1 gestor (tem acesso a todas as funcionalidades e pode manipular os experimentos de todos os cientistas); 2 pesquisador (o cientista tem acesso parcial, manipula somente seus experimentos e pode consultar todos os experimentos); 3 consulta (acesso livre para somente consultar). As principais funcionalidades da ferramenta são: (a) cadastro de metadados do experimento; (b) inserção do script R vinculado ao experimento previamente cadastrado; (c) geração de resultados estatísticos em tempo real a partir da execução do script R; (d) coleta de descritores de proveniência retrospectiva sobre as execuções dos scripts R no metaworkflow ExecScript; (e) cadastro de publicações (artigos, dissertações, teses, etc) vinculadas ao experimento previamente cadastrado; (f) download de scripts R, planilha de dados, publicações e do meta-workflow ExecScript (permite simular um ambiente local para executar os scripts); (g) registro de proveniência prospectiva do experimento; (h) entre outras. Ambiente R É o software estatístico responsável pela interpretação e execução dos scripts R. É um ambiente interativo de programação maduro e largamente utilizado, que permite a codificação de scripts capazes de executar sofisticados processamentos estatísticos (CRAWLEY, 2002) e (CHAMBERS, 2008). R possui código aberto e oferece uma ampla gama de recursos estatísticos (funções e métodos para executar modelagem linear e não linear, análises multivariadas, análises de séries temporais, entre outros), além de uma biblioteca de funções gráficas. O sistema é facilmente conectado a diversos tipos de sistemas gerenciadores de bancos de dados (SGBD), entretanto, apesar do potencial, o sistema ainda não possui facilidades que apoiem a coleta de proveniência (RUNNALLS, 2013). Sistema Gerenciador de Workflow Científico (SGWfC) Com o propósito de automatizar e gerenciar a construção e execução dos workflows científicos, foram desenvolvidas ferramentas computacionais denominadas sistemas de gerência de workflows científicos (SGWfC) (HEY et al., 2009). Os SGWfC possibilitam os

6 pesquisadores realizarem uma espécie de programação em alto nível, através do encadeamento de processos científicos (ou atividades) que seguem uma determinada lógica. É o software responsável pelo gerenciamento e orquestração dos workflows científicos. A automação de workflows pode fornecer as informações necessárias para a reprodutibilidade científica e para a derivação e o compartilhamento de resultados em um ambiente de pesquisa colaborativo (OINN et al., 2007). Atualmente, existem dezenas de SGWfC, alguns específicos para domínios: Galaxy ( e Taverna ( outros são de propósito geral, dentre eles destacam-se o VisTrails (CALAHAN et al., 2006), e Kepler (LUDÄSCHER et al., 2006). SGWfC Kepler Kepler é aplicado para análise e modelagem de dados científicos. Ele simplifica o esforço do cientista para criar, alterar e executar workflows concretos. É um sistema consolidado no meio científico, de código aberto, feito em Java e construído sobre o motor de execução PtolemyII. Visa atender a diversos domínios do conhecimento. Ele tem como meta desenvolver soluções genéricas tanto para o processamento de workflows científicos quanto para os desafios de integração de aplicações científicas (LUDÄSCHER et al., 2006). ExecScript O ExecScript (Figuras 2 e 3) é o meta-workflow científico desenvolvido no SGWfC Kepler com a finalidade de encapsular e interagir com os scripts R e oferecer ao script todos os recursos disponibilizados pelo SGWfC (NASCIMENTO; CRUZ, 2013), como por exemplo, acessar e disponibilizar funções matemáticas e estatísticas preexistentes, conexão com componentes de banco de dados (comandos SQL, conexões com diversos bancos de dados (Oracle, PostgreSQL, MySQL, etc), funções de bioinformática (Blast, alinhamento, sequenciamento, etc), redes neurais, processamento de sinais, visualização de dados, etc. O ExecScript é invocado remotamente pelo SisGExp e é composto pelo diretor SDF e por diversos atores e por conectores de arquivos. Dentre os principais atores destacamos o Provenance Recorder (PR) (ALTINTAS et al., 2006) que é utilizado para configurar e registrar a proveniência do tipo retrospectiva diretamente no SGBD PostgreSQL. A

7 proveniência é coletada durante a execução do workflow estatístico, inclusive a captura dos erros de execução se houverem. O segundo ator importante é o subworkflow subexecscript representado pelo ator Composite. O subworkflow é responsável pela conexão com o SGBD PostgreSQL e pela vinculação da proveniência prospectiva (dados do experimento coletados pelo SisGExp) com a proveniência retrospectiva (execução do script R). Figura 2. Meta-workflow ExecScript codificado no SGWfC Kepler Fonte: (Autor, 2015) Figura 3. SubWorkflow do ExecScript representado pelo ator subexecscript Fonte: (Autor, 2015) SGBD PostgreSQL O PostgreSQL é o SGBD responsável por armazenar a proveniência prospectiva e retrospectiva. A proveniência prospectiva é gerada através da interação do cientista com o SisGExp durante as fases de planejamento e acompanhamento do experimento científico. A proveniência retrospectiva é gerada na fase de execução e geração dos resultados estatísticos, sua captura é automática e ocorre desde o momento que o cientista seleciona o script R,

8 previamente cadastrado na fase de acompanhamento, até o final da sua execução. Neste artigo, por limitação de escopo, não será discutido o esquema do banco de dados nem o metamodelo PROV-DM (MOREAU et al., 2013) que dá apoio semântico aos diversos tipos de descritores de proveniência. Proveniência de dados O problema da proveniência de dados foi inicialmente caracterizado por Buneman et al. (2001). A proveniência de dados, também chamada de linhagem ou pedigree, consiste na descrição das origens do dado e do processo pelo qual foi produzido. A proveniência auxilia a formar uma visão da qualidade, da validade, da confiabilidade e sobretudo da reprodutibilidade do experimento científico. No escopo de workflows, a proveniência fornece informação histórica acerca dos dados manipulados a partir de suas fontes originais (CRUZ et al., 2012). De acordo com Cohen et al. (2006) e Freire et al. (2008), a proveniência têm granularidades distintas e pode ser de diversos tipos, e classificada inicialmente como prospectiva ou retrospectiva. O primeiro tipo captura o processo de especificação de tarefas computacionais do workflow (programa, atividade, etc.), enquanto o segundo tipo captura as tarefas executadas, os dados e parâmetros utilizados, além das informações sobre o ambiente utilizado para derivar um resultado científico, consistindo em um tipo de histórico estruturado e detalhado sobre a execução de tarefas computacionais. RESULTADOS E DISCUSSÃO Atualmente existem poucos trabalhos que relacionam coleta transparente de proveniência, workflows científicos e sistemas estatísticos através do uso de meta-workflows reutilizáveis que preservam os scripts legados sem a necessidade de alteração em seus códigos-fonte. Pelo contrário, as alternativas atuais apontam soluções na direção oposta (HIGGINS, 2007). Por exemplo, o SGWfC Kepler oferece um conjunto de atores R-específicos que precisam ser explicitamente modelados sob a forma de atividades concretas no workflow para que invoquem os recursos do sistema R. Essa abordagem não é tecnologicamente neutra, exigem razoáveis esforços de programação por parte dos cientistas e abandono ou substituição dos scripts R.

9 Uma alternativa que vem ganhando corpo nos últimos anos é a incorporação de recursos de proveniência aos sistemas estatísticos. Silles e Runnalls (2010) e Runnalls (2013) propõem a refatoração do código do sistema R para que incorpore recursos de proveniência no seu motor de execução. Eles apresentaram uma variante do R denominada CXXR. O sistema já oferece algum tipo de coleta de proveniência retrospectiva sob a forma de logs de execução. No entanto, ainda está em desenvolvimento, e não possui todos os recursos de um SGWfC. A maioria das universidades públicas e institutos de pesquisa brasileiros < < possuem armazenados em seus repositórios institucionais sua produção científica (artigos, dissertações, teses, notas técnicas, etc), onde é possível consultar e em alguns casos baixar os documentos para o computador do pesquisador. Entretanto, ainda não há a possibilidade do cientista validar os dados contidos nestes documentos ou mesmo (re)executar os experimentos apoiados por workflows registrados nessas pesquisas, geralmente o que ocorre é a (re)digitação ou recarga dos dados descritos no documento para um novo ambiente de experimentação, o que nem sempre é possível ou viável de ser realizado. A arquitetura RFlow pode reduzir essa distância, uma vez que é capaz de armazenar os dados, os scripts e as publicações correlacionadas. Na literatura já existem sistemas que oferecem repositórios de workflows que permitem cientistas acessem remotamente e incluam novos workflows, como por exemplo o myexperiment (GOBLE et al., 2010) e o CrowdLabs (MATES et al., 2011), porém essas alternativas não são capazes de encapsular de modo transparente scripts R legados através de um meta-workflow genérico, nem oferecem suporte aos workflows desenvolvidos no SGWfC Kepler. Também há na literatura relatos de sistemas que coletam proveniência de scripts Python mas não de scripts R. Por exemplo, Bochner et al. (2008) propuseram uma API e uma biblioteca para capturar e consultar a proveniência retrospectiva de scripts Python. A ferramenta (MURTA et al., 2014) também é capaz de coletar proveniência retrospectiva de scripts Python, de modo transparente e não-intrusivo e oferece diferentes tipos de suporte para a análise da proveniência coletada. Portanto, além da arquitetura RFlow estar alinhada com conceitos já presentes na literatura e operacionalizar o repositório de descritores, experimentos e dados, em moldes assemelhados aos dos repositórios citados anteriormente, ela tem como diferencial permitir a

10 validação dos dados dos experimentos através da reprodução dos resultados estatísticos (baseados em scripts R) em tempo real. Permite uma interação amigável do cientista com a plataforma Web e oculta os detalhes operacionais e de configuração do SGWfC Kepler e da coleta de proveniência. RFlow é capaz de trabalhar com três categorias de scripts R: (i) o script que utiliza dados internos dispostos no próprio script; (ii) o script que utiliza dados externos presentes em uma planilha de dados armazenada localmente; (iii) o script utiliza dados externos remotamente armazenados na Web ou em outros servidores. A Figura 4 representa uma tela do SisGExp com os três experimentos científicos referente a cada uma das três categorias de script R. Na Figura 5 é apresentada uma nova tela com os resultados da execução dos scripts R. Figura 4. Tela com lista de experimentos cadastrados Fonte: (Autor, 2015) Figura 5. Tela com resultados da execução dos scripts R Fonte: (Autor, 2015)

11 Mesmo o SisGExp estando na versão Beta, ainda é capaz de atender às seguintes questões de proveniência: Quadro 1. Questões de proveniência prospectiva e retrospectiva Proveniência prospectiva Fase de planejamento e acompanhamento do experimento. Nesta fase o cientista interage com o SisGExp e responde as questões: 1) Quem é o pesquisador responsável pelo experimento? 2) Quais são os fatores, variáveis resposta e delineamento envolvidos no experimento? 3) Data inicial e data final da instalação do experimento? 4) Objetivo do experimento? 5) Quais atividades do experimento e seu status? 6) Publicações desse experimento? 7) Entre outras Proveniência retrospectiva Depois de invocar o ExecScript através do SisGExp é possível responder: 1) Quais são os resultados e análises estatísticas do experimento? 2) Quem executou o workflow estatístico (script)? 3) Data da execução? 4) Em qual servidor foi executado o workflow? 5) Qual o banco de dados utilizado? 6) Qual status da execução (parcial, erro, completa)? 7) Entre outras Fonte: (Autor, 2015) CONCLUSÕES Há urgente necessidade de ampliar a garantia de reprodutibilidade dos experimentos científicos mediados por computador, e os descritores de proveniência podem auxiliar a mitigar este problema. Este trabalho apresentou a arquitetura RFlow, um conjunto de ferramentas integradas, que possibilita ao cientista cadastrar seus experimentos, compartilhálos com a comunidade científica e, ainda, permite que os dados sejam validados através do meta-workflow ExecScript em tempo real. A solução apresentada permite que a execução do Script R e a proveniência retrospectiva sejam realizadas sem haver necessidade de modificações no workflow ou conhecimento da linguagem R. Isto vai diminuir o tempo, custo e esforço do cientista para simular um ambiente de experimentação. Como perspectiva futura vale mencionar que haverá execução de um expressivo número de diferentes tipos de scripts R do domínio da Agrobiologia para verificar a usabilidade do SisGExp. Além disso, nos próximos trabalhos apresentaremos maiores considerações sobre o modelo de dados e de descritores de proveniência além de explorar a integração dos diferentes tipos de proveniência.

12 AGRADECIMENTOS Os autores agradecem à EMBRAPA Agrobiologia, à FAPERJ pelo apoio financeiro (E- 26/ /2012 e E-26/ /2012) e ao FNDE/MEC pelas bolsas concedidas e pelo apoio financeiro para a execução das atividades da tríade ensino-pesquisa-extensão. REFERÊNCIAS ALTINTAS, I. et al. Provenance Collection Support in the Kepler Scientific Workflow System, Proc. of IPAW2006, , BOCHNER, C., GUDE, R., SCHREIBER, A. A Python Library for Provenance Recording and Querying. In: IPAW. pp BUNEMAN, P., KHANNA, S. E CHIEW, W. Why and Where: a Characterization of Data Provenance. In: ICDT 01: 8th International Conference on Database Theory, LNCS, v.1973, p , CHAMBERS, J. R. Software Data Analysis Programming with R Software. Springer. 1st edition, COHEN, S., BOULAKIA, S. E DAVIDSON, S. Towards a Model of Provenance and User Views in Scientific Workflows, Data Integration in the Life Sciences, LNCS 4075, Springer, p , CRAWLEY, M.J. Statistical Computing to Data Analysis using S-plus. Wiley. 1st edition, CRUZ, S. M. S.; CAMPOS, M. L. M.; MATTOSO, M. A Foundational Ontology to Support Scientific Experiments. Disponível em: ceur-ws.org/vol-728/paper6.pdf, DEELMAN, E., GANNON, D., SHIELDS, M., TAYLOR, I., Workflows and e-science: An overview of workflow system features and capabilities, Future Generation Computer Systems, v. 25, n. 5, p , FREIRE, J., KOOP, D., SANTOS, E., SILVA, C. T. "Provenance for Computational Tasks: A Survey", Computing in Science and Engineering, v.10, n. 3, p , GOBLE, C. A., BHAGAt, J., ALEKSEJEVS, S., CRUICKSHANK, D., MICHAELIDES, D., NEWMAN, D., BORKUM, M., BECHHOFER, S., ROOS, M. myexperiment: a repository and social network for the sharing of bioinformatics workflows, NucleicAcids Research, v. 38, n. Web Server Issue (jul.), p , HEY, T.; TANSLEY, S.; TOLLE, K. (Ed.). The fourth paradigm: data-intensive scientific discovery. Redmon: Microsoft Research, Disponível em: < enus/collaboration/fourthparadigm/>, HIGGINS, D., Using R in Kepler, Berkeley University, ptolemy.eecs.berkeley.edu/conferences/05/presentations/higginsrsystem.pdf, 2007.

13 LUDÄSCHER, B. et al. "Scientific workflow management and the Kepler system: Research Articles". Concurrency and Computation: Practice & Experience, v. 18, n. 10, p , MAIR, P., DE LEEUW, J. A general framework for multivariate analysis with optimal scaling: The R package aspect. Journal of Statistical Software, 32(9), pp. 1-12, MATES, P., SANTOS, E., FREIRE, J., SILVA, C. T. CrowdLabs: Social Analysis and Visualization for the Sciences. In: 23rd Scientific and Statistical Database Management Conference23rd Scientific and Statistical Database ManagementConference, Portland, Oregon, USA, MATTOSO, M. et al. "Desafios no apoio à composição de experimentos científicos em larga escala". In: Seminário Integrado de Software e Hardware (XXXVI SEMISH), pp , MESIROV, J.P. Computer Science. Accessible reproducible research. Science 327: MOREAU, L. AND MISSIER, P. PROV-DM: The PROV Data Model, W3C, MURTA, L. BRAGANHOLO, V., CHIRIGATI, F., KOOP, D., FREIRE, J. noworkflow: Capturing and Analyzing Provenance of Scripts. 5th International Provenance and Annotation Workshop, IPAW 2014, LNCS. Vol. 8628, p 71-83, NASCIMENTO, J. A. P.; CRUZ, S. M. S. RFlow: Uma Abordagem de Reutilização de Workflows Estatísticos Legados. In: Maceió - Alagoas. XXXIII Congresso da Sociedade Brasileira de Computação, VII e-science workshop, OINN, T., LI, P., KELL, D. B., GOBLE, C., GODERIS, A., GREENWOOD, M., HULL, D., STEVENS, R., TURI, D., ZHAO, J. Taverna/myGrid: Aligning a Workflow System with the Life Sciences Community, Workflows for e-science, Springer, p , PENG, R. D.Reproductible Research in Computer Science, Science Vol. 334 no p , RUNNALLS, A. CXXR: an extensible R interpreter In: Wiley Interdisciplinary Reviews: Computational Statistics. DOI: /wics.1251, SANDVE G. K., NEKRUTENKO A., TAYLOR J,. HOVIG E. Ten Simple Rules for Reproducible Computational Research. PLoS Comput Biol 9(10), (2013). SILLES, C. A., RUNNALLS, A. Provenance-Awareness in R. LNCS, vol. 6378, p , SMITH-SPANGLER, C., Transparency and Reproducible Research in Modeling: Why We Need It and How to Get There. Med Decis Making 1 p STODDEN, V. Reproducible research for scientific computing: Tools and strategies for changing the culture, Computing in Science & Engineering, vol.14, no. 4, pp , July/August 2012, doi: /mcse TUOT, C. J., SINTEK, M., DENGEL, A. R. IVIP A Scientific Workflow System to Support Experts in Spatial Planning of Crop Production. Scientific and Statistical Database Management. LNCS, vol. 5069, p