20 de junho de 2013.)

20 de junho de 2013.)

Tecnologias Educacionais (G.E.N.T.E.) _ 2 _ > Rio de Janeiro 20 de junho de 2013 Proposta elaborada pelo IETS _Contextualização O projeto Ginásio Experimental de Novas Tecnologias Educacionais (G.E.N.T.E.) implantado na Escola Municipal André Urani pela Secretaria Municipal de Educação (SME) do Rio de Janeiro propõe inovações em várias frentes. Em primeiro lugar, coloca o aluno no centro do processo de aprendizagem na medida em que o mesmo adquire ferramentas efetivas para administrar a forma, o conteúdo e o ritmo das diversas atividades que a escola lhe oferece. Em segundo lugar, o G.E.N.T.E. faz uso de uma gama importante de tecnologias de informação e comunicação não apenas nos conteúdos pedagógicos, mas também nos instrumentos de avaliação permanente dos alunos, o que deverá permitir ao corpo docente o acompanhamento dos alunos no seu processo educacional de forma mais interativa e de acordo com a velocidade de aprendizado de cada aluno. Em terceiro lugar, decorrente dos fatores acima mencionados, uma inovação importante consiste em arranjos institucionais de cooperação e interação entre os diversos atores da comunidade escolar. A erosão de estruturas hierárquicas; a participação ativa de alunos, professores e a família; o estabelecimento de canais de comunicação com forte ênfase inclusiva de todos os participantes são características imprescindíveis para o bom funcionamento da proposta no seu conjunto. Finalmente, o G.E.N.T.E., propõe elementos inovadores no que tange à parceria público-privada. Com uma variedade de parceiros importantes, os mesmos participaram desde o início, seja na própria concepção do projeto, na elaboração da

Tecnologias Educacionais (G.E.N.T.E.) _ 3 _ proposta pedagógica, seja na implantação e monitoramento permanente das metas a serem alcançadas. Assim, em 2012 a etapa de preparação do G.E.N.T.E. incluiu a readequação da estrutura física da escola André Urani condizente com as características brevemente descritas acima, a cristalização da grade curricular e do próprio projeto pedagógico, a disponibilização de conteúdos pedagógicos, a preparação e implantação da estrutura tecnológica, o desenho de ferramentas de avaliação e diagnóstico dos alunos, entre outros. Em 2013, finalmente, o G.E.N.T.E. começou a ser implantado com a participação de 180 alunos aproximadamente. Os desafios colocados pelo projeto vão além do desenvolvimento das habilidades cognitivas dos alunos. Sociabilização, protagonismo, cidadania, acréscimo do capital social e desenvolvimento do espírito empreendedor são vetores nos quais o G.E.N.T.E. almeja influenciar na vida futura dos alunos. O início desta experiência apresenta uma oportunidade ímpar de estabelecer mecanismos de monitoramento das variáveis qualitativas e quantitativas e garantir condições de avaliação do G.E.N.T.E.. Adicionalmente, por tratar-se de uma iniciativa piloto do setor público, é importante indagar sobre as condições de replicabilidade do programa para as demais escolas da rede municipal de ensino do Rio de Janeiro. Assim, a proposta diz respeito ao desenho e montagem de um sistema de monitoramento e avaliação dos resultados do G.E.N.T.E. em momentos distintos no tempo, bem como explorar as condições/componentes que tornam o programa replicável na rede pública escolar do nosso município. No entanto, é necessário

Tecnologias Educacionais (G.E.N.T.E.) _ 4 _ realizar uma análise de diversas dimensões cognitivas e não cognitivas dos alunos e dos professores ainda em 2013. Assim, a estruturação das distintas atividades deste projeto de pesquisa propõe três macro tarefas: 1. Análises das possibilidades de replicabilidade do G.E.N.T.E. e/ou de seus componentes, 2. Desenho da estratégia de avaliação de impacto e monitoramento no médio e longo prazo, e, 3. Análises de resultados de curto prazo (2013). Naturalmente, os três itens mencionados acima encontram-se estreitamente relacionados e as suas atividades de pesquisa precisam ser iniciados simultaneamente. A interdependência das três macro tarefas não é apenas de caráter substantivo e metodológico, mas também em termos do cronograma de trabalho. Devido a arquitetura institucional montada pela SME em termos de parcerias e atores que participam do G.E.N.T.E, neste documento se estrutura de forma detalhada os objetivos, as metodologias, cronogramas, produtos, orçamento e recursos envolvidos somente dos itens 1 e 2: Análises das possibilidades de replicabilidade do G.E.N.T.E. e/ou de seus componentes, e, Desenho da estratégia de avaliação de impacto e monitoramento no médio e longo prazo.

Tecnologias Educacionais (G.E.N.T.E.) _ 5 Relatório sobre as possibilidades de replicabilidade dos componentes do G.E.N.T.E. _Objetivo Geral Identificar e analisar a replicabilidade dos componentes centrais do projeto segundo os seguintes eixos: Governança; Infraestrutura física e equipamentos; Sistematização/ Avaliação e Aspectos Pedagógicos. _Objetivos específicos: a) Sistematizar os princípios básicos do marco lógico do programa, b) Identificar e classificar os elementos em cada um dos componentes, c) Medir a viabilidade do programa a partir de indicadores de eficiência, d) Identificar os elementos replicáveis a partir da construção de um custoaluno G.E.N.T.E. _Principais características metodológicas Como ponto de partida é imprescindível revisitar os objetivos e a estrutura lógica do projeto, os produtos e as atividades planejadas para a realização de cada um desses objetivos. A estruturação formal do marco lógico do G.E.N.T.E. responde às necessidades acima mencionadas.

Tecnologias Educacionais (G.E.N.T.E.) _ 6 _ Esta cristalização do marco lógico compreende quatro etapas: A) Coleta e organização de documentação disponível, B) Preparação de roteiros e realização de entrevistas, C) Realização de uma Oficina de Trabalho com os responsáveis e atores envolvidos para apresentação da primeira versão do marco lógico do projeto, D) Elaboração do relatório contendo o detalhamento do marco lógico. A construção do marco lógico permite estabelecer uma matriz de ações que servem de base para a replicabilidade e o sistema de avaliação. Para isso, pretende-se realizar até 10 entrevistas com os principais parceiros e profissionais da Secretaria Municipal de Educação, envolvidos na concepção e construção do projeto 1. Como mencionado anteriormente, algumas características que diferenciam o G.E.N.T.E. são: a) o esquema de governança com participação ativa das entidades de cunho privado desde o desenho da proposta pedagógica até o monitoramento permanente das atividades dos alunos; b) a infraestrutura física e os equipamentos tecnológicos e de comunicação necessários nesta proposta pedagógica para criação, transmissão e apropriação do conteúdo por parte dos alunos; c) as ferramentas pedagógicas, tais como, o itinerário formativo, a Educopédia, a estruturação das equipes em famílias de alunos ou o professor-mentor virtual. 1 Ressalta-se que estes encontros serão individuais para cada um dos parceiros e membros da SME.

Tecnologias Educacionais (G.E.N.T.E.) _ 7 _ Todos esses elementos acima mencionados precisam ser definidos de forma apurada para, posteriormente, analisar a viabilidade de que cada um possa ser replicado em escala. Da replicabilidade pretende-se responder três perguntas: 1) Vale a pena replicar o programa? 2) Quão custoso é replicar o programa? 3) Quais as condições necessárias para replicar o programa em outros contextos? Assim, é preciso indagar sobre a dinâmica, custos e peculiaridades de cada elemento, uma vez que o propósito do programa é tornar-se um modelo de crescimento em escala para toda a rede pública municipal de ensino. Nesse contexto, identificar e fornecer informações sobre os componentes replicáveis representa tratar de cinco fatores: a) Especificação e análise de custos do programa (eficiência), incluindo custos de implementação e custos operacionais de manutenção do programa, b) As condições de infraestrutura física e disponibilidade dos recursos humanos e institucionais na comunidade escolar 2, c) Os aspectos de governança necessários ao dia-a-dia do programa e sua sustentabilidade, d) A flexibilidade do G.E.N.T.E. para crescer a partir de módulos independentes, e) E, por fim, uma análise comparativa a partir do perfil das escolas que compõe a rede municipal versus as condições mínimas para recebimento do projeto. 2 Por exemplo, analisar as necessidades de recrutamento, seleção, treinamento das equipes para atuarem em escolas do modelo G.E.N.T.E.

Tecnologias Educacionais (G.E.N.T.E.) _ 8 _ Para aferir os cinco fatores acima mencionados serão utilizados registros administrativos (para a análise custo/eficiência) e, em grande medida, resultados apurados ao longo da construção do produto anterior. Tratar o tema da replicabilidade pressupõe criar facilitadores para que outras escolas (ou até outros sistemas educacionais) possam adotar de forma efetiva o modelo do G.E.N.T.E. no futuro. Daí a necessidade da caracterização do perfil da rede municipal de ensino a partir dos fatores que compõe/influenciam os gastos por aluno. No mais, conceitos como a ausência de salas de aula, quadros negros e a transformação em grandes espaços abertos de aprendizado requerem uma análise da disponibilidade e/ou flexibilidade de espaços disponíveis nas escolas da rede. Nesse sentido, esta análise permitirá distinguir grupos específicos de escolas potencialmente receptoras do G.E.N.T.E. no curto, médio e longo prazos, além de identificar possíveis gargalos (e complexidades) para a replicabilidade em grande escala, mantendo-se a fidelidade aos objetivos definidos no marco lógico do programa, porém tornando-os adaptáveis no contexto de crescimento. Importante ressaltar um importante aspecto quantitativo de análise dos componentes replicáveis. A identificação destes componentes adaptáveis adiciona flexibilidade ao programa e, ao fornecer indicadores quantitativos do programa, permite racionalizar essa intervenção no contexto de um sistema público de ensino. Indicadores como custo/aluno do G.E.N.T.E., relação aluno/computador permitirão a analisar a importância do custo em cenários de replicabilidade.

Tecnologias Educacionais (G.E.N.T.E.) _ 9 Desenho da Estratégia de Avaliação de Impacto e Monitoramento de médio e longo prazo _Objetivo Geral Desenhar estratégia de avaliação do impacto do programa a médio e longo prazo, nas dimensões diretamente relacionadas às habilidades cognitivas e não-cognitivas dos alunos. _Objetivos Específicos São propostos cinco objetivos específicos: a) Desenhar o perfil socioeducativo de professores-mentores e alunos como objeto de análise dos resultados; b) Elaborar uma análise de caráter qualitativo a partir de grupos focais e entrevistas aprofundadas com os atores da escola; c) Garantir condições para avaliação de impacto ao longo do tempo e nas situações específicas de avaliação; d) Propor uma arquitetura do(s) Cadastro(s) necessária para o monitoramento e avaliação de impacto do projeto; e) Construir uma linha de base para o G.E.N.T.E.;

Tecnologias Educacionais (G.E.N.T.E.) _ 10 _ f) Propor uma estrutura de indicadores de curto, médio e longo prazo para o Sistema de Monitoramento e Avaliação baseado em Resultados (SM & A-R). _ Principais características metodológicas Como em toda avaliação de impacto de programas, é necessário definir três aspectos: a) Sobre qual(is) resultado(s) se deseja investigar o impacto dessa intervenção? b) Sobre qual população se deseja investigar o impacto dessa intervenção? E, por fim, c) como se pretende isolar o impacto dessa intervenção dos demais fatores que podem modificar o resultado de interesse. Uma vez acordados os resultados pretendidos pelo programa, na segunda etapa partese para a construção e a escolha para implementação da metodologia de avaliação adequada. A metodologia escolhida poderá contemplar a possibilidade da avaliação com respeito exclusivamente ao impacto direto sobre o aprendizado cognitivo e nãocognitivo dos alunos, mas também poderá incorporar impactos sobre os professores (e demais membros da comunidade escolar) ou ainda impactos indiretos do programa, nas relações sociais na comunidade, efeitos sobre entrada no mercado de trabalho, renda, violência, etc.. A pergunta então é: o interesse da investigação concentra-se no impacto direto do G.E.N.T.E ou também nos efeitos indiretos que o programa poderá gerar? Existe uma importante diferença entre eles. A literatura sobre avaliações de impacto disponibiliza

Tecnologias Educacionais (G.E.N.T.E.) _ 11 _ metodologias de investigação para ambos ou apenas um deles. Assim, será importante garantir as condições de avaliação considerando estas distinções: impactos diretos e indiretos, no curto e longo prazo. Parte-se então para o entendimento de sobre qual população está-se avaliando o impacto do G.E.N.T.E.. Mesmo entre alunos de uma mesma localidade, o impacto pode ser diferenciado e, a construção de uma linha de base qualificada deverá permitir comparações dos impactos a partir das mudanças identificadas no momento da aplicação comparativamente aos questionários que serão aplicados nos anos posteriores. Para isso deve-se ter em mente quão importante é a definição de uma arquitetura de cadastro para construção dessa linha de base. A construção da linha de base espera elaborar e aplicar inicialmente três questionários em uma amostra de alunos beneficiários e não-beneficiários do G.E.N.T.E 3, suas famílias/responsáveis e professores, definidos em consenso com a equipe idealizadora do programa. Assim, espera-se que essa coleta de dados seja realizada por alunos que foram selecionados para fazerem parte do G.E.N.T.E. em 2014, bem como por aqueles que não foram selecionados para entrada na escola, e, portanto serão frequentadores de outros estabelecimentos da rede municipal. 3 Uma questão central em avaliações de programas sociais está em: Qual seria a situação se a intervenção não tivesse ocorrido? A resposta a esta questão está em que não é possível observar, ao mesmo tempo, os resultados de um experimento social entre mesmos indivíduos na condição de tratados e não tratados. Tais condições são mutuamente exclusivas e, portanto o desafio está na escolha do grupo que funcione como um bom contrafatual do grupo tratado, ou seja, de não participantes, que representem, da melhor maneira possível, a condição de não tratados. Tradicionalmente, essa construção se baseia na seleção aleatória dos indivíduos que farão parte do grupo de tratamento (que receberá a intervenção) e do grupo de controle (que não receberá a intervenção).

Tecnologias Educacionais (G.E.N.T.E.) _ 12 _ Importante ressaltar que o objetivo destes questionários está não apenas em complementar as características socioeconômicas não disponíveis em fontes de dados secundárias, mas, sobretudo coletar informações em outros temas que estejam em linha com os resultados de interesse do programa definidos anteriormente. Apesar de o uso de dados secundários se configurarem em uma excelente forma de usar conjuntos de dados preexistentes e prevenir a duplicação de esforços no levantamento de informações, cada programa tem um desenho e objetivos específicos que exigem o levantamento de dados adicionais. Na última etapa parte-se para a construção de um conjunto de indicadores para o Sistema de Monitoramento e Avaliação baseado em Resultados (SM & A-R) 4. A consistência destes indicadores de resultados estará diretamente relacionada às definições das bases teóricas do marco lógico identificadas na etapa inicial 5. A proposta inclui a construção de indicadores em médio prazo, cujo objetivo principal está em avaliar a continuidade dos estudos desses alunos 6 avaliando dimensões associadas a sua perspectiva de futuro. Para o longo prazo, a proposta se constitui em uma avaliação inicialmente prevista para três coortes que poderão incorporar 4 Um sistema baseado em resultados procura responder três questões principais: 1) Quais são os objetivos do programa? 2) Estes objetivos estão sendo atingidos considerando os princípios sobre os quais o programa foi desenvolvido e 3) Como é possível monitorar os resultados atingidos no programa?. 5 Neste momento espera-se fazer uso dos indicadores propostos em documento recente produzido pelo Instituto Natura e intitulado A educação inovadora Compartilhando experiências e ideias para um novo paradigma de aprendizagem. A ideia do instrumento está em analisar iniciativas inovadoras em modelos de aprendizagem a partir de três áreas: indicadores de alinhamento, de processo e de resultados e impacto, para, posteriormente avaliar o grau de maturidade destes programas para futura replicabilidade e crescimento em escala. 6 Espera-se que a maior parte dos alunos entrantes na escola André Urani esteja apta a continuidade dos estudos no ensino médio.

Tecnologias Educacionais (G.E.N.T.E.) _ 13 _ resultados tão distintos como a participação dos alunos beneficiários do programa em, por exemplo: rendimentos futuros, comportamento criminal, pagamentos de impostos, participação em programas de distribuição de renda (e outros programas sociais), escolaridade futura, estrutura familiar, qualidade de vida, preferências sociais. A principal atividade dessa etapa se formalizará com a preparação do relatório contendo a análise estratégica da avaliação de impacto. Os dados obtidos na linha de base se constituem no principal insumo para a proposição do modelo empírico que procurará estimar os impactos do programa. Ademais, com a construção da linha de base será possível a realização de diversos exercícios de comparação considerando o impacto do programa no momento zero versus impactos posteriores obtidos com a aleatorização dos futuros beneficiários e não beneficiários do programa. _Produtos 1. Plano de Trabalho detalhado, 2. Relatório contendo a descrição dos princípios básicos que compõem o marco lógico do programa e a análise de caráter qualitativo, 3. Relatório preliminar contendo análise das habilidades cognitivas e não cognitivas dos alunos da escola, 4. Relatório analítico-descritivo dos componentes replicáveis e seus módulos contendo um compêndio estatístico com indicadores sobre o perfil da rede pública municipal, 5. Relatório contendo a descrição da Arquitetura do Cadastro e do Banco de dados.