PLANO DE AVALIAÇÃO DO PROGRAMA OPERACIONAL REGIONAL DO NORTE NOVEMBRO DE

Transcrição

1 PLANO DE AVALIAÇÃO DO PROGRAMA OPERACIONAL REGIONAL DO NORTE NOVEMBRO DE

2 Índice Introdução Contexto Objetivos e âmbito Objetivo global, objetivos específicos, princípios orientadores Âmbito Avaliação, Revisão e Atualização do PGA PT Quadro Lógico das avaliações Princípios orientadores Resultados diretos das avaliações e calendarização Método de seleção das avaliações a integrar no PGA PT Fundamentação da seleção das avaliações a realizar (evidências) Sistema de Avaliação Estratégia de Gestão da Qualidade do Processo de Avaliação Gestão do Plano de Avaliação Entidades envolvidas e respetivas funções Coordenação do PGA PT2020: Rede de Monitorização e Avaliação Processo de avaliação Questões de avaliação e Métodos Informação de suporte às avaliações Modo de realização das avaliações Orçamento e Duração das avaliações Gestão dos exercícios de avaliação Utilização dos resultados das avaliações e acompanhamento da implementação das recomendações A utilização dos resultados das avaliações Acompanhamento da implementação das recomendações Comunicação dos resultados das avaliações Plano de Avaliação do Programa Operacional Regional do Norte /182 -

3 2.6. Capacitação em avaliação Planeamento das avaliações Listagem e calendarização indicativa das avaliações a realizar Articulação das avaliações previstas com os objetivos específicos dos programas operacionais Especificação das avaliações a realizar Bibliografia Anexo 1 - Matrizes de representação das avaliações a realizar Anexo 2 - Modelo de ficha de caracterização das avaliações a realizar Anexo 3 - Fichas de exercícios de avaliação que abrangem o PO NORTE: Avaliações Globais Anexo 4 - Fichas de exercícios de avaliação que abrangem o PO NORTE: Avaliação do Programa Anexo 5 - Fichas de exercícios de avaliação que abrangem o PO NORTE: Avaliações temáticas no domínio da Competitividade e Internacionalização Anexo 6 - Fichas de exercícios de avaliação que abrangem o PO NORTE: Avaliações temáticas no domínio da Inclusão Social e Emprego Anexo 7 - Fichas de exercícios de avaliação que abrangem o PO NORTE: Avaliações temáticas no domínio do Capital Humano Anexo 8 - Fichas de exercícios de avaliação que abrangem o PO NORTE: Avaliações temáticas no domínio da Sustentabilidade Anexo 9 - Fichas de exercícios de avaliação que abrangem o PO NORTE: Outras avaliações temáticas Anexo 10 - Fichas de exercícios de avaliação que abrangem o PO NORTE: Avaliações territoriais Plano de Avaliação do Programa Operacional Regional do Norte /182 -

4 Índice de Figuras Figura 1 - Tipo de avaliações e Critérios de avaliação Figura 2 - Tipo de avaliações e Critérios de identificação das avaliações a realizar Figura 3 - Estratégia de gestão da qualidade no processo de avaliação Figura 4 - Estratégia de gestão da qualidade no processo de avaliação Figura 5 - Modelo de gestão do PGA PT2020 e dos Plano de Avaliação dos Programas Plano de Avaliação do Programa Operacional Regional do Norte /182 -

5 Índice de Quadros Quadro 1 - Programas e Fundos que integram o PGA PT Quadro 2 - Produtos que o PGA PT2020 deve alimentar Quadro regulamentar (FEEI, excluindo especificidades do FEADER e FEAMP) Quadro 3 - Orçamento indicativo do PGA PT Quadro 4 - Principais objetivos da participação dos atores a envolver na avaliação Quadro 5 - Principais atores e respetivas funções (síntese) Quadro 6 - Produtos e destinatários de comunicação dos resultados das avaliações Quadro 7 - Exemplos de ações de divulgação Quadro 8 - Síntese das avaliações a realizar por fundo, abrangência de PO e Tipo de avaliação Quadro 9 - Síntese da calendarização das avaliações a realizar Quadro 10 - Síntese da calendarização das avaliações a realizar por tipo de avaliação Quadro 11 - Lista das avaliações previstas no PGA PT2020 que abrangem o NORTE Plano de Avaliação do Programa Operacional Regional do Norte /182 -

6 Introdução 1. A avaliação das políticas públicas e dos seus programas é uma condição de melhoria e de progresso e um exercício de prestação de contas e de responsabilização, constituindo igualmente um imperativo legal e regulamentar. Assim, o Regulamento Geral dos Fundos Europeus Estruturais e de Investimento (FEEI) artigos 56º 1 e 114º 1 do REG (UE) 1303/2013, de 17 de dezembro e, a nível nacional, o Acordo de Parceria e o Decreto-Lei n.º 137/2014, de 12 de setembro, estabelecem a obrigatoriedade de elaboração e divulgação de um plano de avaliação global do Portugal 2020 e de um plano de avaliação por cada Programa Operacional (PO). 2. Neste quadro legal e regulamentar, foi elaborado o Plano Global de Avaliação (PGA PT2020), que estrutura a avaliação no Portugal 2020, integrando as avaliações a realizar no âmbito dos FEEI, ou seja, inclui os Fundos da Política da Coesão Fundos Estruturais (FSE e FEDER) e Fundo de Coesão (FC), o FEADER e o FEAMP. O PGA PT 2020, aprovado pela Comissão Interministerial de Coordenação do Portugal 2020, em 5 de agosto de 2015, será complementado por dois outros documentos Orientações para o planeamento e a preparação dos exercícios de avaliação (TdR) e Orientações para o acompanhamento da implementação das recomendações das avaliações (follow-up). 3. O Plano de Avaliação do NORTE 2020 constitui um elemento deste Plano Global, assumindo os princípios, as condições e os calendários comuns e explicitando a intervenção específica do Programa. O decreto-lei acima citado, na alínea s) do n.º 1 do Artigo 27.º, define como competência da Comissão Diretiva participar na elaboração do plano global de avaliação do Portugal 2020 e elaborar o plano de avaliação do PO e, na alínea c) do n.º 2 do Artigo 54.º, prevê que a Comissão de Acompanhamento analise e aprove esse plano, bem como eventuais alterações. 4. O período de programação caracteriza-se pela existência de programas e de intervenções multifundos, pelo carácter transversal e complementar das intervenções, com os PO temáticos e os PO regionais a concorrerem para os mesmos objetivos específicos, e pelo reforço da orientação para os resultados como forma de incrementar a eficácia e a utilidade destes instrumentos das políticas públicas. Estas três características têm Plano de Avaliação do Programa Operacional Regional do Norte /182 -

7 implicações na conceção e na estruturação do Plano Global e na realização dos diferentes processos de avaliação, exigindo o cruzamento de modalidades diversas de avaliação e o reforço da articulação e da coordenação de avaliações. Assim, apesar de a sua prioridade específica ser a avaliação intercalar do Programa, a Autoridade de Gestão do NORTE 2020 participará ativamente nas avaliações temáticas, visto que estas permitirão avaliar de forma mais aprofundada a totalidade das prioridades de investimento e dos objetivos específicos, do que podem beneficiar todos os programas que incluem cada uma dessas prioridades ou cada um desses objetivos. 5. A articulação e a coordenação das funções de Monitorização e Avaliação do Portugal 2020 assumem, no atual período de programação, uma importância acrescida. Neste sentido, o Norte 2020 valorizará a sua participação na Rede de Monitorização e Avaliação do Portugal 2020, constituída pelas entidades responsáveis pela coordenação dos fundos (AD&C, CCN e CCF) e as Autoridades de Gestão dos PO, sob coordenação da AD&C. Esta Rede é herdeira da experiência e do conhecimento técnico e científico acumulados nas instituições portuguesas ao longo dos sucessivos períodos de programação, em especial do mais recente (QREN ). O PGA PT 2020 reconhece que em muito beneficia da experiência em matéria de avaliação acumulada ao longo do QREN, nomeadamente, da dinâmica instituída na Rede de Avaliação do QREN, da existência de um Plano Global de Avaliação do QREN e dos Programas Operacionais, do modo de funcionamento dos Grupos de Acompanhamento, da partilha eletrónica de informação e da disponibilização de documentos comuns de orientação e as atividades de divulgação das avaliações realizadas. 6. O Plano de Avaliação do NORTE 2020 está estruturado em três partes: o Capítulo 1. Contexto apresenta os objetivos, o âmbito e o quadro lógico subjacente à avaliação no Portugal 2020; o Capítulo 2. Sistema de Avaliação é dedicado à descrição das atividades a desenvolver, quer no âmbito do PGA PT2020, quer na realização de cada exercício de avaliação, dos produtos a obter e dos atores a envolver; o Capítulo 3. Planeamento das avaliações apresenta a calendarização e a articulação entre avaliações e objetivos específicos, incluindo uma ficha de descrição sumária da avaliação intercalar do NORTE 2020, bem como de outros exercícios de avaliação mais associados ao NORTE Plano de Avaliação do Programa Operacional Regional do Norte /182 -

8 Como estabelecido a nível nacional, os capítulos 1 e 2 do presente Plano são uma versão adaptada dos capítulos I e II do PGA PT2020, com ligeiras alterações de redação e a supressão de informação que manifestamente não se aplicava a este Programa regional. 7. Além da avaliação intercalar do NORTE 2020 e da participação nos exercícios de avaliação temática que incidem sobre objetivos específicos incluídos neste Programa, haverá lugar à realização de estudos específicos, ao incentivo e à valorização de trabalhos académicos e de outras iniciativas pertinentes e ao apoio à participação de agentes regionais e nacionais em redes europeias e mundiais, sempre na perspetiva da avaliação do Programa. 8. A Autoridade de Gestão do NORTE 2020, em estreita colaboração com a Rede de Monitorização e Avaliação do Portugal 2020, afetará os recursos necessários ao desenvolvimento deste Plano de Avaliação, tendo em vista a melhoria da aplicação dos Fundos Europeus na Região do Norte e em Portugal. A importância destes Fundos para o desenvolvimento económico e social e para a coesão territorial bem o justifica. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

9 1. Contexto Este capítulo sintetiza o quadro essencial que orientou a elaboração do PGA PT2020, apresentando, num primeiro momento, os objetivos e os princípios, o âmbito temporal, institucional e geográfico, os procedimentos de avaliação, revisão e atualização do próprio Plano, e, num segundo momento, os resultados diretos esperados, os princípios, os critérios e os métodos de seleção dos diferentes tipos de avaliação e a fundamentação das opções com recurso às conclusões das avaliações realizadas no período de programação anterior Objetivos e âmbito Neste subcapítulo, apresenta-se (i) o objetivo global, os objetivos específicos e os princípios que orientam o PGA PT2020, (ii) o âmbito temporal, institucional e geográfico de aplicação do Plano, e (iii) os procedimentos de avaliação, revisão e atualização do próprio Plano que permitam o seu sucessivo ajustamento Objetivo global, objetivos específicos, princípios orientadores O Plano Global de Avaliação do Portugal 2020 (PGA PT2020) constitui o documento orientador da avaliação do Portugal 2020 (PT2020) e resulta de um consenso entre as entidades responsáveis pela governação dos Fundos Europeus Estruturais e de Investimento (FEEI). Pretende-se que a conceção e a implementação das políticas e dos programas beneficiem de avaliações de qualidade, suportadas em evidências sobre a eficácia, a eficiência e o impacto das intervenções. Este objetivo global enquadra-se na missão de contribuir para a boa gestão e utilização dos FEEI, reforçando a sua orientação para resultados e a qualidade na prestação de contas. O Plano está alinhado com as orientações e os princípios para o período de programação , inscritos no regulamento geral dos FEEI da União Europeia (UE), onde se realça a necessidade de a avaliação dos FEEI contribuir para melhorar a qualidade da elaboração e execução dos programas e avaliar a sua eficácia, eficiência e impacto. (Regulamento (UE) nº 1303/2013, de 17 de dezembro, n.º 1 do artigo 54.º) Plano de Avaliação do Programa Operacional Regional do Norte /182 -

10 Objetivo Global do Plano de Avaliação do NORTE 2020 Contribuir para a qualidade da estratégia, da gestão e da execução do NORTE 2020, tendo em conta a programação e os objetivos específicos aí definidos, com vista a melhorar a sua eficácia, eficiência e impacto. Este objetivo global tem subjacentes os objetivos comummente associados à função de avaliação, tais como ao dupla planeamento/eficiência, a responsabilidade, a implementação e a produção do conhecimento, sem descurar os efeitos relevantes da função de avaliação na capacitação institucional. Objetivos da função de avaliação (CE, 2013, EVALSED) Planeamento/eficiência: justificar a existência de uma política/programa e a utilização eficiente dos recursos. Responsabilidade: demonstrar em que medida determinado programa alcançou os seus objetivos, e de que forma utilizou os seus recursos. Implementação: aumentar a eficiência dos programas e a eficácia da sua implementação e gestão. Produção de conhecimento: aumentar a compreensão sobre como os instrumentos atuam no contexto em que são aplicados e como diferentes medidas e intervenções podem ser mais efetivas. Capacitação institucional: melhorar e desenvolver as capacidades dos participantes nos programas e as suas redes e instituições. Quadro regulamentar Devem ser efetuadas avaliações com o objetivo de melhorar a qualidade da elaboração e execução dos programas, e avaliar a sua eficácia, eficiência e impacto ( ) (Regulamento (UE) nº 1303/2013, de 17 de dezembro, n.º 1 do artigo 54.º). Durante o período de programação, a autoridade de gestão assegura a realização de avaliações, incluindo para determinar a eficácia, a eficiência e o impacto de cada programa, com base no plano de avaliação ( ) (Regulamento (UE) nº 1303/2013, de 17 de dezembro, n-º 3 do artigo 56º). Compete à Agência, I.P., no âmbito da coordenação técnica geral do Portugal 2020 ( ) elaborar e submeter à aprovação da CIC Portugal 2020, em articulação com a CCN e a CCF, o plano global de avaliação do Portugal 2020, que inclui as avaliações de âmbito estratégico e operacional ( ) (Decreto-Lei nº 137/2014, de 12 de setembro, alínea k) do artigo 12º). FEADER: cada programa de desenvolvimento rural inclui: ( ) O plano de avaliação referido no artigo 56.º do Regulamento (UE) nº 1303/2013, de 17 de dezembro ( ) (Regulamento (EU) nº 1305/2013, de 17 de dezembro, alínea g) do n.º1 do artigo 8º). FEAMP: o programa operacional deve incluir: ( ) i) Os requisitos de avaliação e o plano de avaliação a que se refere o artigo 56º do Regulamento (UE) nº 1303/2013, de 17 de dezembro e as medidas a tomar para dar resposta às necessidades identificadas (REG (UE) nº 508/2014 art. 18º 1, j). As novas exigências que se colocam à função de avaliação no período implicam desafios acrescidos à avaliação nas suas diferentes fases. Com efeito, estas exigências colocamse na fase de planeamento/preparação, em particular na identificação das avaliações a realizar (tendo em conta a elevada inter-relação entre programas regionais e temáticos e uma orientação para os resultados). Procura-se, igualmente, garantir de forma antecipada a Plano de Avaliação do Programa Operacional Regional do Norte /182 -

11 informação necessária à realização das avaliações (de forma a viabilizar, por exemplo, a realização de avaliações de impacto). Por outro lado, nas fases de implementação das recomendações e de divulgação, reforça-se a necessidade de garantir o uso das avaliações no processo de tomada de decisão. Principais alterações regulamentares que influenciam o PGA PT2020 (Regulamento (UE) n.º 1303/2013) Plano de Avaliação Obrigatoriedade de apresentação de um plano de avaliação (n.º 1 do artigo 56º e n.º 1 do artigo 114º). Relatórios Obrigatoriedade de elaboração de um relatório de síntese dos resultados das avaliações em 2022, para cada PO dos Fundos da Política de Coesão (n.º 2 do artigo 114º) Focalização nos resultados e impactos Lógica de abordagem que privilegia a aferição dos resultados alcançados e a avaliação da eficácia, da eficiência e dos impactos (n.º 3 do artigo 56º). Necessidade de avaliação do impacto dos programas para o cumprimento das metas da Estratégia da UE (n.º 1 do artigo 54º). Incidência das avaliações Lógica de intervenção que privilegia a aferição do contributo dos FEEI para os objetivos de cada prioridade (Eixo Prioritário/Medida) (n.º3 do artigo 56º). A relevância dos sistemas de informação e dados A ênfase na aferição do contributo dos FEEI para os objetivos de cada prioridade implica o recurso a métodos de avaliação de impactos, designadamente a avaliação baseada na teoria e a avaliação contrafactual (n.º3 do artigo 56º). A disponibilização e a atualização de dados, sobretudo microdados, são fundamentais para as avaliações de impacto (alíneas d) e e) do n.º 2 do artigo 125º). Acompanhamento da implementação das recomendações Cada exercício de avaliação é sujeito a um follow-up adequado (alínea b) do n.º 1 do artigo 110º e alínea a) do n.º 4 do artigo 111º). Reserva de desempenho Existência de reserva de desempenho (artigos 20º, 21º e 22º). A experiência recente do processo avaliativo da aplicação dos fundos europeus sugere a necessidade de um maior envolvimento das entidades públicas e dos parceiros sociais na avaliação desses fundos, enquanto responsáveis pelas políticas públicas ou com estas relacionadas. Este envolvimento é relevante nas diferentes fases do ciclo avaliativo, nomeadamente, no planeamento e na conceção das avaliações, na realização dos estudos de avaliação, na sua discussão pública e na implementação das recomendações, sobretudo, através Plano de Avaliação do Programa Operacional Regional do Norte /182 -

12 da integração daquelas entidades em grupos de acompanhamento das avaliações. O envolvimento das entidades públicas na avaliação permitirá qualificar o processo e melhorar a cooperação em matérias comuns à gestão das políticas públicas e à gestão dos fundos. Um exemplo desta cooperação será a facilitação do acesso às bases de dados administrativas, geridas por entidades públicas, para efeitos de avaliação dos impactos de políticas públicas cofinanciadas. A capacitação em avaliação, quer das entidades que constituem o modelo de governação do PT2020, quer das entidades públicas, tem-se revelado igualmente uma necessidade crescente e um fator crítico para a garantia da qualidade e da utilidade do processo avaliativo. A experiência adquirida sugere, também, a necessidade de aumentar a qualidade e a utilidade das avaliações por via do aprofundamento da reflexão e da discussão pública dos seus resultados, envolvendo os intervenientes relevantes. A reconhecida experiência positiva da Rede de Avaliação do QREN, enquanto órgão de concertação da estratégia de avaliação e de partilha de experiências, apela à continuação desta parceria, bem como do trabalho conjunto produzido no âmbito da avaliação. Objetivos específicos do PGA PT2020 construir um quadro lógico planeado e estruturado das avaliações a realizar no âmbito do PT2020; contribuir para que se garanta um nível elevado de qualidade das avaliações, nas suas diferentes dimensões: termos de referência, métodos utilizados, conclusões e recomendações e implementação das recomendações; assegurar o uso das avaliações através do envolvimento dos interessados no processo avaliativo, da disponibilização das conclusões e recomendações em tempo útil à tomada de decisão e da criação de mecanismos de monitorização da implementação das recomendações (follow-up); garantir uma adequada divulgação e reflexão pública da avaliação do PT2020; contribuir para o desenvolvimento de uma cultura de avaliação da Administração Pública, sobretudo através da sua capacitação, bem como de um maior envolvimento desta no processo avaliativo do PT2020; garantir que a avaliação do PT2020 se desenvolva no âmbito de uma parceria entre os principais intervenientes do PT2020, no seio da Rede de Monitorização e Avaliação (RM&A); prever atempadamente as necessidades de informação para a avaliação a recolher dos sistemas de informação dos programas, das estatísticas nacionais, das bases de dados administrativas e junto dos destinatários e beneficiários. Princípios orientadores utilidade: garantir a produção de resultados relevantes disponibilizados atempadamente para a tomada de decisão política e de gestão, constituindo-se como suporte fundamental à (re)formulação de políticas e à gestão dos programas; objetividade: garantir assertividade nas questões de avaliação, disponibilidade atempada da informação, acompanhamento adequado das avaliações, aplicação de métodos adequados e credíveis, conclusões Plano de Avaliação do Programa Operacional Regional do Norte /182 -

13 suportadas em evidências (distinguindo entre juízos de valor e factos) e recomendações sustentadas, realistas e robustas; flexibilidade: na formulação, gestão e implementação do PGA PT2020. Revisão anual deste Plano, com especificação progressiva das avaliações a desenvolver (desde uma apresentação inicial indicativa até à definição mais detalhada três anos antes da sua realização), bem como possibilidade de revisões extraordinárias do mesmo, em função de alterações significativas do contexto da sua aplicação; independência: realização das avaliações por peritos internos, externos ou por equipas mistas, funcionalmente independentes dos responsáveis pela conceção e implementação dos programas; parceria: envolvimento e comprometimento dos responsáveis pela coordenação e gestão do PT2020 nas diferentes fases de PGA PT2020 (conceção, implementação, divulgação e acompanhamento da implementação das recomendações) e envolvimento de um conjunto alargado de atores nas avaliações (p.e., Administração Pública central, regional e local, parceiros sociais e beneficiários); transparência: prestar contas aos cidadãos sobre a utilização dos recursos públicos, partilha dos resultados nas diferentes áreas de intervenção das políticas públicas e promoção do debate público, clareza das conclusões das avaliações e das metodologias utilizadas, constituição de um repositório de evidências para suportar a decisão política: aprendizagem: reflexão e autoavaliação do processo de avaliação com o objetivo da sua melhoria contínua. Análise das conclusões e recomendações das avaliações e desenvolvimento de ações de acompanhamento da implementação das recomendações tendo em vista a melhoria dos programas e das políticas Âmbito O PGA PT2020 abrange os doze (12) programas regionais, temáticos e de assistência técnica do Portugal 2020, relativos ao Objetivo de Investimento no Crescimento e no Emprego, excluindo, deste modo, a cooperação territorial europeia. O PGA PT2020 inclui ainda os Programas de Desenvolvimento Rural (PDR) do Continente e das Regiões Autónomas e o PO MAR. A sua abrangência geográfica corresponde, assim, ao território nacional (Continente e Regiões Autónomas) e cobre o período de programação Não obstante as especificidades de programação e avaliação do FEADER e FEAMP, foi opção nacional a sua inclusão no PGA PT2020. O quadro institucional do PGA PT2020 é formado pelas entidades responsáveis pela coordenação e gestão dos dezasseis programas do Portugal 2020 considerados, nomeadamente: Comissão Interministerial de Coordenação do Acordo de Parceria (CIC Portugal 2020); Agência para o Desenvolvimento e Coesão, IP (AD&C); Comissão de Coordenação Nacional para o FEADER (CCN); Comissão de Coordenação para o FEAMP (CCF); Autoridades de Gestão (AG) dos programas considerados. O PGA PT2020 abarca os Fundos Europeus Estruturais e de Investimento (FEEI), que financiam os dezasseis programas considerados: Plano de Avaliação do Programa Operacional Regional do Norte /182 -

14 Fundos da Política da Coesão, designadamente, o Fundo Europeu de Desenvolvimento Regional (FEDER), o Fundo de Coesão (FC) e o Fundo Social Europeu (FSE), que se repartem por doze Programas Operacionais (PO), sendo quatro Temáticos, sete Regionais relativos às regiões NUTS II, do Continente e das Regiões Autónomas (RA) e um de Assistência Técnica. Fundo Europeu Agrícola de Desenvolvimento Rural (FEADER), que se reparte por três Programas de Desenvolvimento Rural relativos às regiões NUTS I Continente, RA dos Açores e RA da Madeira. Fundo Europeu dos Assuntos Marítimos e das Pescas (FEAMP), agregado num único Programa Operacional com incidência em todo o território português. Quadro regulamentar (Regulamento (UE) nº 1303/2013, de 17 de dezembro) A autoridade de gestão ou o Estado-Membro define um plano de avaliação que pode abranger mais do que um programa ( ) (n.º 1 do artigo 56º) Plano de Avaliação do Programa Operacional Regional do Norte /182 -

15 Quadro 1 - Programas e Fundos que integram o PGA PT2020 Programas Fundos Programas Operacionais Temáticos (POT) PO Competitividade e Internacionalização (PO CI) PO Inclusão Social e Emprego (PO ISE) PO Capital Humano (PO CH) PO Sustentabilidade e Eficiência no Uso dos Recursos (PO SEUR) PO Norte (região menos desenvolvida) FEDER e FSE (Regiões menos desenvolvidas) FC (todas as regiões Transportes) FSE (Regiões menos desenvolvidas) Iniciativa Emprego Jovem (IEJ) (em todas as regiões) FSE (Regiões menos desenvolvidas) FC (em todas as regiões) Programas Operacionais Regionais (POR) do Continente (POR-Continente) PO Centro (região menos desenvolvida) PO Lisboa (região desenvolvida) PO Alentejo (região menos desenvolvida) PO Algarve (região em transição) FEDER e FSE das Regiões Autónomas (POR-RA) PO Açores (região menos desenvolvida) PO Madeira (região desenvolvida) Assistência Técnica Desenvolvimento Rural Assuntos Marítimos e Pesca PO Assistência Técnica (PO AT) Programa de Desenvolvimento Rural do Continente (PDR 2020) Programa de Desenvolvimento Rural da R.A. Açores (PRORURAL+) Programa de Desenvolvimento Rural da R.A. Madeira Programa Operacional Mar 2020 (PO MAR) FEDER FEADER FEAMP A intervenção dos FEEI no âmbito do PT2020 estrutura-se em torno dos seguintes domínios temáticos: (i) Competitividade e Internacionalização (que inclui os Objetivos Temáticos (OT) OT1, OT2, OT3, OT7, OT8 e OT11); (ii) Inclusão Social e Emprego (OT8 e OT9); (iii) Capital Humano (OT10); (iv) Sustentabilidade e eficiência no uso de recursos (OT4, OT5 e OT6). Em síntese, o âmbito do PGA PT2020 tem a seguinte cobertura: Temporal - Período de Programação ; Institucional CIC Portugal 2020, AD&C, CCN, CCF, AG; Geográfica Continente e Regiões Autónomas; Programática 5 Fundos (FEDER, FC, FSE, FEADER e FEAMP), 4 Domínios Temáticos e 16 Programas (4 POT; 5 POR-C; 2 POR-RA; 1 PO AT; 3 PDR; 1 PO MAR). Plano de Avaliação do Programa Operacional Regional do Norte /182 -

16 Avaliação, Revisão e Atualização do PGA PT2020 O PGA PT2020, concretizando o princípio da flexibilidade, deve ser alvo de ajustamentos ao longo do seu período de vigência, de modo a melhor incorporar as diferentes necessidades de avaliação no decorrer da implementação dos programas. Nesta perspetiva, terá lugar um processo de revisão anual, da responsabilidade da RM&A, sob coordenação da AD&C. Esta revisão ocorrerá durante o último trimestre de cada ano civil de vigência do PT2020, sendo que a primeira realizar-se-á no final de Poderão ainda verificarse atualizações extraordinárias do PGA PT2020, quando tal se justifique. Na organização do PGA PT2020 os dois primeiros capítulos têm um carácter mais estrutural, enquanto o terceiro capítulo acomodará as atualizações anuais (ainda que estas possam incidir também sobre os primeiros capítulos), relativas quer à alteração das avaliações previstas, quer ao aprofundamento da especificação da caracterização das avaliações a realizar nos três anos seguintes à data da revisão do Plano. A identificação da necessidade de alterar as avaliações previstas poderá ter origem na monitorização estratégica, operacional e territorial da implementação dos programas, mas também em propostas apresentadas pelas instituições e redes ou fóruns que constituem o modelo de governação do PT2020. Será garantido o acompanhamento dos progressos do PGA PT2020, ao longo do seu período de vigência, sendo considerado um elemento fundamental de garantia da sua qualidade. Será efetuada, igualmente, uma meta-avaliação (avaliação das avaliações), cuja especificação se encontra no Capítulo III. Este processo de acompanhamento e avaliação do PGA PT2020 permitirá introduzir alterações ao longo do seu período de programação de forma a garantir a sua qualidade e eficácia Quadro Lógico das avaliações Neste subcapítulo, apresenta-se (i) os princípios orientadores da seleção da avaliações, (ii) os resultados diretos esperados e os produtos que o PGA PT2020 deve alimentar, (iii) os critérios e os métodos de seleção dos diferentes tipos de avaliação e (iv) a fundamentação da seleção das avaliações a realizar, com base nas mensagens das avaliações realizadas no âmbito do período de programação Plano de Avaliação do Programa Operacional Regional do Norte /182 -

17 Princípios orientadores A ênfase na orientação para os resultados no período de programação influenciará de forma determinante a função de avaliação neste período. Consequentemente, a aferição da eficácia, da eficiência e do impacto das intervenções, com vista a melhorar a qualidade destas, será central no modelo de avaliação a implementar. O modelo de organização programática prosseguida no PT2020, em que se verifica uma forte interligação entre os PO Temáticos e os PO Regionais, que concorrem para objetivos específicos semelhantes do PT2020, influenciará igualmente o modelo de avaliação aqui proposto, evidenciando a vantagem das avaliações transversais (temáticas) que abrangem diferentes PO (Temáticos e Regionais ou PO Regionais). Por outro lado, as avaliações temáticas serão necessariamente privilegiadas nas avaliações de impactos, de forma a garantir uma maior focalização da avaliação (tornando-as mais eficazes) e a possibilitar o desenvolvimento de determinadas metodologias de análise de impactos. Quadro regulamentar (Regulamento (UE) n.º 1303/2013, de 17 de dezembro) Devem ser efetuadas avaliações com o objetivo de melhorar a qualidade da elaboração e execução dos programas, e avaliar a sua eficácia, eficiência e impacto. O impacto dos programas deve ser avaliado à luz da missão dos respetivos FEEI, tendo em conta as metas da estratégia da União para um crescimento inteligente, sustentável e inclusivo, e, quando apropriado, atendendo à dimensão do programa, em relação ao PIB e ao desemprego na zona geográfica do programa em causa (n.º 1 do artigo 54º). Durante o período de programação, a autoridade de gestão assegura a realização de avaliações, incluindo para determinar a eficácia, a eficiência e o impacto de cada programa, com base no plano de avaliação, e assegura que as avaliações estão sujeitas a um acompanhamento adequado em conformidade com as regras específicas dos Fundos. Pelo menos uma vez durante o período de programação, deve ser realizada uma avaliação para determinar de que forma os FEEI contribuíram para os objetivos de cada prioridade [leia-se Eixo Prioritário no caso dos Fundos da Politica da Coesão] ( ) (n.º 3 do artigo 56º). Princípios orientadores na seleção das avaliações orientação para os resultados, que se materializará numa forte incidência nas avaliações que permitam aferir os efeitos das intervenções cofinanciadas, nomeadamente na análise da eficácia, da eficiência e do impacto das intervenções e dos programas. Será atribuída uma especial atenção à análise da eficiência. Não será, contudo, descurada a análise das vertentes de implementação, tendo em vista eventuais correções ou ajustamentos à gestão dos programas; racionalidade económica, financeira e estratégica, procurando um bom compromisso entre a avaliação de áreas de política pública com elevado financiamento comunitário e áreas estrategicamente relevantes e/ou com significativos impactos esperados; abrangência, sobretudo temática e territorial, garantindo uma adequada cobertura das diferentes áreas temáticas e fundos do PT2020. Considerando os princípios da racionalidade e da abrangência, cada objetivo específico será coberto pelas avaliações, embora com níveis de aprofundamento e extensão distintos. Prevê-se, ainda, a integração de estudos de avaliação no PT2020 promovidos por entidades que não integram a governação do PT2020, desde que tenham como objeto de análise políticas públicas cofinanciadas pelos fundos; Plano de Avaliação do Programa Operacional Regional do Norte /182 -

18 respeito pela lógica de intervenção da programação, adequando as avaliações à lógica do PT2020, nomeadamente à forte inter-relação entre os PO Temáticos e os PO Regionais, através da realização de avaliações transversais; preferência por avaliações temáticas, necessariamente transversais, nas situações em que um eixo prioritário / objetivos específicos / intervenções sejam semelhantes e/ou complementares em diversos PO, potenciando desta forma a aferição dos efeitos das intervenções; utilização de meta-avaliações, sempre que possível e adequado, nomeadamente nas avaliações de impacto dos programas. Esta via permitirá conciliar o objetivo de privilegiar a realização de avaliações temáticas (necessariamente focadas numa intervenção 1 ou num conjunto diminuto de intervenções) e avaliações de programas, uma vez que estas poderão usufruir dos resultados de avaliações temáticas realizadas anteriormente, desenvolvendo apenas análises específicas para as áreas dos programas não cobertas por aquelas avaliações temáticas; realização de avaliações de impacto de intervenções cofinanciadas no QREN, e que têm continuidade no PT2020, nas situações em que os impactos das intervenções se fazem sentir decorrido um longo período após a intervenção Resultados diretos das avaliações e calendarização As avaliações a realizar no âmbito do PGA PT2020 têm um papel preponderante no contexto do sistema de monitorização do PT2020, que é tributário das avaliações e simultaneamente uma fonte de informação para a revisão do Plano e formulação das questões de avaliação. Paralelamente, as avaliações constituem um input para os diferentes relatórios de acompanhamento previstos. Tendo como objetivo último melhorar a qualidade da elaboração e execução dos programas e avaliar a sua eficácia, a sua eficiência e o seu impacto, as avaliações do PT2020 devem contribuir para os seguintes conteúdos dos reportes de monitorização: (i) progressos no cumprimento e na concretização dos objetivos dos programas; (ii) progressos no contributo efetivo dos programas para a realização da Estratégia Europa 2020 e do compromisso de Portugal no seio dessa estratégia o Programa Nacional de Reformas; (iii) consequências das alterações verificadas no contexto de aplicação dos fundos e nas necessidades de desenvolvimento do Estado-Membro ao nível da implementação dos programas e da concretização dos seus objetivos; (iv) contributo dos programas para as dinâmicas de desenvolvimento territorial; (v) execução da Iniciativa Emprego Jovem (IEJ); As conclusões e recomendações das avaliações do PGA PT2020 deverão contribuir para a elaboração dos seguintes relatórios, da responsabilidade das autoridades nacionais: 1 Neste contexto, entende-se por intervenção uma ação ou um conjunto de ações ou de projetos coerente nos seus objetivos que podem, no limite, coincidir com um Programa ou linha(s) de atuação de uma determinada política. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

19 Relatórios Anuais de Execução dos programas e Relatórios Finais (nestes, apenas aplicável aos Fundos da Política de Coesão) - os relatórios de execução anual deverão ser apresentados pelas AG à CE até 31 de maio do ano seguinte, exceto os relatórios de 2016 e 2018 dos PO dos Fundos e os relatórios dos PDR do FEADER, para os quais a sua apresentação poderá ocorrer até 30 de junho do ano seguinte ao do reporte; Relatório Intercalar da execução do Acordo de Parceria - no âmbito dos FEEI, Portugal terá que produzir o relatório intercalar da execução do Acordo de Parceria, com reporte até 31 de dezembro de 2016 e de 2018, e submissão à CE até 31 de agosto do ano seguinte 2. Relatório Anual do Portugal 2020 a AD&C deve elaborar e submeter à aprovação da CIC Portugal 2020 os relatórios anuais de monitorização estratégica, operacional e financeira do Portugal Relatório de síntese dos resultados das avaliações e dos principais resultados e realizações dos PO (apenas aplicável aos Fundos da Política de Coesão) - as AG têm de apresentar à CE, até ao final de 2022, um relatório de síntese dos resultados das avaliações, que visa disponibilizar informação sistematizada, para que a CE efetue a avaliação ex-post do período relativa ao FEDER, ao FC e ao FSE. De acordo com as suas competências, estes relatórios permitirão à CE elaborar: (i) Relatório estratégico; (ii) Relatório de síntese dos Programas. A informação reportada nos relatórios anuais de execução dos programas deverá permitir à CE a elaboração dos relatórios de síntese dos programas (anuais). Estes relatórios incluirão os relatórios estratégicos, em 2017 e 2019, os quais serão sustentados nos relatórios intercalares da execução do Acordo de Parceria apresentados pelos Estados-Membros. No FEAMP acresce que tal informação deverá permitir à CE a elaboração, até final de março de 2017, do relatório de avaliação intercalar, que possibilite a efetivação da revisão intercalar até junho do mesmo ano. As avaliações a realizar terão em consideração, em termos de calendarização, os produtos que irão alimentar. Esta calendarização (apresentada no Capítulo 3) será assim um compromisso entre estes produtos e as necessidades de informação para efeitos de alterações processuais e 2 Conforme estrutura e conteúdo exaustivo constante do Anexo I do Regulamento de Execução (UE) n.º 215/2014, de 7 de março. 3 Decreto-Lei n.º 137/2014, de 12 de setembro. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

20 programáticas dos programas, bem como a expectativa da produção de efeitos pelas intervenções cofinanciadas, de forma a garantir que as avaliações de impacto serão efetuadas no momento em que já exista informação relevante para analisar. Quadro regulamentar Relatórios de execução dos Programas Em todos os relatórios de Execução Anual referentes aos anos 2015 a 2022: 2. ( ) síntese das conclusões de todas as avaliações do programa que ficaram disponíveis [nesse ano], outras questões que afetem o desempenho do programa, bem como as medidas adotadas ( ) (Regulamento (UE) nº 1303/2013, 17 de dezembro, n.º 1 e 2 do artigo 50º). No caso do FSE, ( ) avaliar a qualidade das ofertas de emprego recebidas pelos participantes na IEJ, incluindo as pessoas desfavorecidas, pertencentes a comunidades marginalizadas e que abandonaram o ensino sem qualificações. ( ) avaliar o seu progresso na formação contínua, na obtenção de empregos duradouros e dignos, ou na participação em estágios de aprendizagem ou de aperfeiçoamento (Regulamento (UE) nº 1303/2013, 17 de dezembro nº 1304/2013, Art. 19º 4). No caso do FEAMP, ( uma síntese das atividades empreendidas em relação ao plano de avaliação (Regulamento (UE) nº 508/2014, Art b). No caso do FEADER, ( ) os relatórios anuais de execução [que se estendem até 2023] devem incluir informações sobre ( ) uma síntese das atividades empreendidas relacionadas com o plano de avaliação (Regulamento (UE) nº 1305/2013, Art. 75º 2). O relatório referente a 2016 inclui: ( ) os progressos alcançados na realização dos objetivos do programa, incluindo a contribuição dos FEEI para a alteração do valor dos indicadores de resultados, quando esses dados sejam facultados pelas avaliações ( ) (Regulamento (UE) nº 1303/2013, Art. 50º 4). Os relatórios referentes a 2016 e 2018 incluem: no caso dos Fundos da Política de Coesão do Objetivo Investimento no Crescimento e Emprego, Os progressos realizados na execução do plano de avaliação e do seguimento dado aos resultados das avaliações; ( ) e o envolvimento dos parceiros na execução, monitorização e avaliação do programa operacional ( ) (Regulamento (UE) nº 1303/2013, Art. 111º 4 a) e c)). O relatório referente a 2018, no caso do FEADER, inclui: ( ) descrição da execução de quaisquer subprogramas incluídos no programa e uma avaliação dos progressos alcançados no sentido de uma abordagem integrada da utilização do FEADER e de outros instrumentos financeiros da UE a favor do desenvolvimento territorial das zonas rurais, nomeadamente através de estratégias de desenvolvimento local (Regulamento (UE) nº 1305/2013, Art. 75º 4). O relatório referente a 2018 e final inclui: ( ) progressos relativos ao cumprimento dos objetivos do programa, bem como o seu contributo para a realização da estratégia da União para um crescimento inteligente, sustentável e inclusivo (Regulamento (UE) nº 1303/2013, Art. 50º 5). Relatório intercalar da execução do acordo de parceria As alterações verificadas nas necessidades de desenvolvimento do Estado-Membro, desde a adoção do acordo de parceria (REG (UE) nº 1303/2013 Art. 52º 2a). Os progressos registados na realização da estratégia da União para um crescimento inteligente, sustentável e inclusivo, bem como nas missões específicas por Fundos ( ), através do contributo dos FEEI para os objetivos temáticos selecionados, e nomeadamente quanto aos objetivos intermédios adotados no quadro de desempenho para cada programa e ao apoio utilizado para os objetivos relativos às alterações climáticas (REG (UE) nº 1303/2013 Art. 52º 2b). ( ) informações adicionais sobre a execução da IEJ, bem como uma avaliação dessa execução. (REG (UE) nº 1304/2013 Art. 19º 5). Relatório de síntese dos resultados das avaliações (apenas para cada PO dos Fundos da Política de Coesão) Plano de Avaliação do Programa Operacional Regional do Norte /182 -

21 Até 31 de dezembro de 2022, as autoridades de gestão apresentam à Comissão, para cada programa operacional, um relatório de síntese sobre os resultados das avaliações efetuadas durante o período de programação e os principais resultados e realizações do programa, com comentários relativos às informações comunicadas (REG (UE) nº 1303/2013, Art. 114º 2). Relatório de síntese dos Programas (CE): (..) Relatório de síntese relativamente aos programas dos FEEI, com base nos relatórios de execução anuais do Estados-Membros ( ), bem como uma síntese das conclusões das avaliações disponíveis dos programas ( ) (REG (UE) nº 1303/2013, Art. 53º 1). Relatório estratégico (CE) Em 2017 e 2019, a Comissão elabora um relatório estratégico resumindo os relatórios de progresso dos Estados- Membros que será apresentado até 31 de dezembro de 2017 e 31 de dezembro de 2019 (REG (UE) nº 1303/2013, Art. 53º 2). Relatório de avaliação intercalar (CE) (apenas FEAMP) Relatório de avaliação intercalar sobre os resultados obtidos e sobre os aspetos qualitativos e quantitativos do FEAMP (REG (UE) nº 508/2014, Art. 15º) Plano de Avaliação do Programa Operacional Regional do Norte /182 -

22 Quadro 2 - Produtos que o PGA PT2020 deve alimentar Quadro regulamentar (FEEI, excluindo especificidades do FEADER e FEAMP) Dez. Plano de Avaliação Revisão do Plano de Avaliação Avaliações (relatórios e seus subprodutos) Melhorar a qualidade dos programas e aferir a Eficácia, eficiência e impacto de cada programa (Impacto dos programas avaliado à luz da missão dos respetivos FEEI, tendo em conta as metas da estratégia da União para um crescimento inteligente, sustentável e inclusivo (e, quando adequado, em relação ao PIB e ao desemprego)) Contributo dos FEEI para os objetivos dos Eixos Prioritários (pelo menos uma vez durante o período de programação) Avaliação IEJ Dez. Avaliação IEJ Dez. Avaliação Estado-membro Síntese das conclusões das avaliações do programa > Principais resultados das avaliações IEJ: eficácia, eficiência e impacto do apoio conjunto do FSE e da dotação específica da IEJ, nomeadamente para a execução da Garantia para a Juventude (avaliar pelo menos duas vezes durante o período de programação) > Avaliar a qualidade das ofertas de emprego recebidas pelos participantes na IEJ, incluindo as pessoas desfavorecidas, pertencentes a comunidades marginalizadas e que abandonaram o ensino sem qualificações > Avaliar o seu progresso na formação contínua, na obtenção de empregos duradouros e dignos, ou na participação em estágios de aprendizagem ou de aperfeiçoamento 2017 > Progressos na realização dos objetivos PO (inclui contribuição FEEI para a alteração dos indicadores de resultado) Fundos da Política de Coesão: > Progressos na execução do PA e seguimento dado aos resultados das avaliações > Envolvimento dos parceiros na avaliação do PO > Progressos relativos ao cumprimento dos objetivos do programa > Contributo do programa para a realização da estratégia da EU (crescimento inteligente, sustentável e inclusivo) > Alterações nas necessidades de desenvolvimento EM > Progressos registados na realização da estratégia da União para um crescimento inteligente, sustentável e nclusivo > Contributo FEEI para os objectivos temáticos (inclui Quadro Desempenho e alterações climáticas) > Avaliação da execução da IEJ Dez. Fundos da Política de Coesão: Relatório de síntese dos resultados das avaliações e dos principais resultados e realizações do programa - PO Acompanhamento e Monitorização Estado-membro Comissão Relatório Anual de Execução PO Relatório Anual do Portugal 2020 Relatório de síntese dos Programas Maio Jun. Maio Jun. Maio Maio Maio Maio Relatório Anual de Execução PO Ago. Relatório Intercalar da execução do Acordo de Parceria Relatório Anual do Portugal 2020 Relatório estratégico Relatório de síntese dos Programas Relatório Anual de Execução PO Relatório Anual do Portugal 2020 Relatório de síntese dos Programas Relatório Anual de Execução PO Ago. Relatório Intercalar da execução do Acordo de Parceria Relatório Anual do Portugal 2020 Relatório estratégico Relatório de síntese dos Programas Relatório Anual de Execução PO Relatório Anual do Portugal 2020 Relatório de síntese dos Programas Relatório Anual de Execução PO Relatório Anual do Portugal 2020 Relatório de síntese dos Programas Relatório Anual de Execução PO Relatório Anual do Portugal 2020 Relatório de síntese dos Programas Relatório Anual de Execução PO Relatório Final de Execução Relatório Anual do Portugal 2020 Relatório de síntese dos Programas Legenda: Conteúdos Produtos Plano de Avaliação do Programa Operacional Regional do Norte /182 -

23 Método de seleção das avaliações a integrar no PGA PT2020 O conjunto das avaliações a integrar no PGA PT2020 será estabelecido de acordo com as diretrizes que a se apresentam em seguida. Serão desenvolvidos dois tipos de avaliações 4, em função do seu objetivo: de processo e de impacto. Serão também elaboradas meta-avaliações (uma avaliação das avaliações e metaanálises nas avaliações de impacto). Tipos de avaliações, em função do seu objetivo Fonte: CE, DG Regio (2014); CE, DG Emprego (2012) Processo: centra-se na implementação dos programas, nomeadamente na forma como as políticas públicas e os programas são operacionalizados, as diferenças entre a população a que se destinam e a população apoiada, o acesso ao programa e as práticas de gestão (de programas e políticas). Impacto: tem por objetivo distinguir os efeitos de uma intervenção da contribuição de outros fatores e compreender o funcionamento de um programa. Poderão ser realizadas, igualmente, meta-avaliações, distinguindo-se: Avaliação das avaliações: Avaliação de outra avaliação ou de um conjunto de avaliações. Meta-análise: análises sistemáticas de outras avaliações. Para cada avaliação serão selecionados os critérios de avaliação mais apropriados à finalidade/foco da avaliação: nas avaliações de processo privilegiar-se-ão os critérios da relevância, coerência e eficiência (sobretudo a operativa), enquanto as avaliações de impacto incidirão, sobretudo, na análise da eficiência, eficácia, impacto e sustentabilidade, podendo contudo englobar a totalidade dos critérios. Critérios de avaliação (CE (2013), EVALSED) Relevância: adequação dos objetivos explícitos do programa em relação aos problemas socioeconómicos diagnosticados. Coerência: Coerência interna correspondência entre os diferentes objetivos de uma mesma intervenção. A coerência interna pressupõe uma hierarquia clara de objetivos, em que os de nível inferior conferem uma contribuição lógica à realização dos de nível superior. Coerência externa correspondência entre os diferentes objetivos de uma intervenção e os objetivos das restantes intervenções inter-relacionadas. A coerência externa pressupõe, para além da necessária confluência para os mesmos objetivos globais, a potenciação dos efeitos de sinergia e de complementaridade entre intervenções e a minimização dos efeitos de concorrência entre elas. Eficácia: verificação se os objetivos formulados no programa foram alcançados, ou estão em vias de ser alcançados. Eficiência: comparação entre os resultados alcançados e os recursos mobilizados. Inclui também a eficiência operativa verificação se os programas estão a ser bem implementados (nomeadamente, divulgação, seleção, sistema de informação, gestão financeira, acompanhamento da execução), garantindo as condições necessárias para atingir os resultados pretendidos. 4 Serão incluídas, quando se justifique, avaliações ex ante, nomeadamente as avaliações em curso dos Instrumentos Financeiros. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

24 Impacto: efeitos do programa no contexto socioeconómico. Sustentabilidade: análise da durabilidade dos resultados da intervenção a longo prazo para além da duração da intervenção. Nas avaliações de impacto o enfoque dependerá, sobretudo, (i) da natureza da temática (tipo de resultados, conhecimento disponível sobre as intervenções, o entendimento da importância do impacto das intervenções para as políticas, etc..); (ii) do tempo necessário para a produção de impactos associados às intervenções; (iii) dos métodos utilizados: e.g. contrafactual e/ou avaliação de impacto baseada na teoria. Nas avaliações de impacto será privilegiada a aferição do contributo das intervenções (impacto) para os resultados esperados, ou seja, a mudança que pode ser atribuída, com credibilidade, a uma intervenção 5. Nas avaliações de impacto serão utilizados dois métodos: Avaliação de Impacto Contrafactual e Avaliação de Impacto Baseada na Teoria. Métodos utilizados nas avaliações de impacto CE, (2015), Guidance Document on Evaluation Plans e CE (2013), EVALSED Avaliação de Impacto Contrafactual: consiste na utilização de grupos de controlo ou de comparação. Este método é utilizado para responder a quanto da mudança observada é devida a uma intervenção. Este método exige: Um grupo de controlo ou comparação credível Um largo número de participantes ou entidades e um controlo rigoroso da significância estatística Informação robusta sobre os participantes e entidades apoiados e não-apoiados, de forma a comparar resultados de forma credível Podem ser utilizadas as seguintes abordagens: Experimentais Experimental aleatória (Randomized Controlled Trial) Não-Experimentais ( quasi-experimental ) Diferença-nas-diferenças (Difference-in-differences) Emparelhamento da propensão a participar na intervenção (Propensity score matching) Regressão descontínua (Regression discontinuity) Variáveis instrumentais (Instrumental variables) Avaliação de Impacto Baseada na Teoria: segue cada etapa da lógica da intervenção, identificando relações causais e mecanismos de mudança, respondendo às questões relativas ao porquê e como a intervenção funciona. Este método produz, fundamentalmente, uma estimativa qualitativa dos impactos. Inclui técnicas como a revisão da literatura, análise de textos, entrevistas, inquéritos, focus group e estudos de caso. Podem ser utilizadas as seguintes abordagens: Avaliação realista Teoria da mudança Análise da Contribuição Abordagem Científica da Política (Policy Scientific Approach) Método de Avaliação Estratégica 5 CE (2013), EVALSED. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

25 Avaliação de Síntese Prospetiva (Prospective Evaluation Synthesis (PES)) Método Dedutivo Método Modus Operandi (Cf. em Anexo às Orientações para planeamento e preparação dos exercícios de avaliação (TdR), tabela com descrição, principais aplicações, vantagens e desvantagens de métodos e abordagens utilizados nas avaliações de impacto). O seguinte esquema sintetiza as diretrizes apresentadas neste ponto. Figura 1 - Tipo de avaliações e Critérios de avaliação Fonte: Adaptado de CE (2014), Guidance Document on Monitoring and Evaluation CF and ERDF Concepts and Recommendations. No âmbito das avaliações de impacto serão realizadas quatro tipos de avaliações, em função da sua incidência: Programa, Temática, Territorial ou Global. As avaliações de processo incidirão, pela sua própria natureza, em programas (na medida em que apenas estes têm uma gestão comum) ou em temas específicos (Temáticas), no caso de avaliações de carácter instrumental transversais a diferentes programas. Exemplos de Tipo de avaliações a desenvolver em função da sua incidência Programas Cada um dos Programas (12) Intervenção ou conjunto de intervenções Temáticas Plano de Avaliação do Programa Operacional Regional do Norte /182 -

26 Domínio Temático (4) Objetivo Temático (11) Prioridade de Investimento (47) Eixo Prioritário (DT CI: 6; DT ISE: 3; DT CH: 5; DT SEUR: 4) Objetivos específicos (DT CI: 20; DT ISE: 26 DT CH: 8; DT SEUR: 17) Instrumentais Outros temas (p.e. princípios da igualdade entre homens e mulheres, da não discriminação e da acessibilidade) Territoriais Intervenções de âmbito territorial Conjuntos de intervenções num ou em mais territórios Portugal 2020 Globais Os critérios de identificação das avaliações a realizar variam consoante a incidência da avaliação e centram-se, sobretudo, na relevância das intervenções, nas suas diferentes dimensões: montantes envolvidos e impactos esperados nos beneficiários, bem como nas estratégias e nos territórios em que se inserem. O carácter inovador ou o risco das intervenções pode justificar, igualmente, a realização de avaliações. Figura 2 - Tipo de avaliações e Critérios de identificação das avaliações a realizar Plano de Avaliação do Programa Operacional Regional do Norte /182 -

27 Fundamentação da seleção das avaliações a realizar (evidências) As evidências, apresentadas em seguida, que justificam a necessidade das avaliações a realizar no âmbito do PT2020, suportam-se, sobretudo, nas avaliações realizadas no âmbito do período de programação Domínio da Competitividade e Internacionalização Apoios a atividades produtoras de bens e serviços transacionáveis e internacionalizáveis Mensagens das Avaliações Aspetos mais positivos Quadro de apoios abrangente e maduro, fortemente alinhado com os objetivos prosseguidos (em particular, o fortalecimento da economia baseada no conhecimento e na inovação, a articulação entre empresas e entidades de investigação e divulgação de conhecimento, e a orientação para bens e serviços transacionáveis e internacionalizáveis). Modelo de governação em Rede que favorece o alinhamento com os objetivos prosseguidos e a aprendizagem institucional. Papel muito relevante dos projetos de natureza colaborativa. Projetos apoiados no âmbito do capital de risco têm uma forte orientação para a internacionalização e a inovação de produto. Aspetos a melhorar Grau de simplificação administrativa ainda insuficiente. Dispersão excessiva no volume de projetos. Insuficiente acompanhamento dos projetos aprovados. Falta de clareza sobre o modelo de implementação dos vales. Número reduzido de projetos apoiados no âmbito do capital de risco (devido a: lançamento tardio dos instrumentos, imaturidade do mercado e crise económica). Insuficiente expressão de ações coletivas para o empreendedorismo tecnológico e para a atração de IDE. Insuficientes estímulos à prestação de serviços indutores de inovação comercial ou organizacional. Critérios de identificação das avaliações a realizar Relevância para a estratégia nacional - estímulo à produção de bens e serviços transacionáveis e à internacionalização da economia, visando a criação de emprego e a dinâmica de convergência com as economias mais desenvolvidas da União Europeia. Os apoios às empresas concentram mais de 25% do total da dotação financeira atribuída aos FEEI em Portugal. A importância da Estratégias de Especialização Inteligente na seleção de apoios a conceder bem como o seu caráter inovador na programação. O reforço da dotação associada aos instrumentos financeiros. Observações Apesar dos apoios às empresas terem sido objeto de avaliação no passado a sua centralidade na programação dos FEEI em Portugal justifica a continuação do investimento avaliativo. Produção, difusão e valorização económica de conhecimento científico e tecnológico Mensagens das Avaliações Aspetos mais positivos Elevada seletividade na aprovação de projetos, baseada em critérios de avaliação do mérito científico dos projetos e das equipas de investigação. Contributo muito relevante para a produção científica referenciada internacionalmente e para a inserção do Aspetos a melhorar Valorização económica do conhecimento ainda insuficiente; Fraca absorção pelas empresas de quadros com formação avançada (profissionais altamente qualificados). Fraca intensidade de apoios a ações de demonstração de resultados de projetos apoiados e projetos-piloto e provas Plano de Avaliação do Programa Operacional Regional do Norte /182 -

28 sistema científico nacional em plataformas e redes de conhecimento internacionais. Parte relevante dos projetos aprovados prevê a valorização económica dos resultados da investigação sob diferentes formas. Importante contributo para a criação, o desenvolvimento e/ou consolidação de infraestruturas fortemente vocacionadas para a internacionalização das atividades de I&D em que Portugal revela um desempenho de excelência e com um impacto potencial relevante na competitividade do país. Lançamento de uma política de clusterização e de eficiência coletiva com alguma ambição, com um processo de reconhecimento e um quadro de medidas globalmente adequados. de conceito que promovam uma atuação mais alargada ao ciclo de inovação. Fraca intensidade de apoios a ações de demonstração de resultados e de transferência de conhecimento e tecnologia de projetos empresariais de I&D&I apoiados. Necessidade de reforçar o alinhamento das prioridades de investigação com as estratégias de I&I para uma especialização inteligente. Insuficiente articulação entre o subsistema de C&T e o sistema de inovação como um todo. Apoios à investigação excessivamente fragmentados e centrados em horizontes temporais pouco alargados. Insuficiente quadro de acompanhamento e coordenação política da iniciativa de clusterização. Excessivo enfoque no apoio a clusters e ações coletivas enquadradas no alinhamento tradicional dos principais setores exportadores. Critérios de identificação das avaliações a realizar A valorização da eficiência coletiva no Sistema de I&I constituiu uma área à qual foi conferida especial incidência na programação, com o intuito de potenciar a consolidação de uma rede entre as entidades do Sistema de I&I, reforçando a relação entre empresas e entidades de investigação. Número elevado de beneficiários diretos e indiretos e diversidade de tipologias de beneficiários envolvidas (entidades do Sistema de I&I e empresas). Observações Apesar dos apoios nestas áreas terem sido objeto de avaliação no passado, a necessidade de aferir se os novos instrumentos são adequados à procura e se permitem atingir os objetivos a que se propõem justifica a continuação do investimento avaliativo. Transporte de mercadorias com repercussão na redução dos custos e tempos de operação para as empresas Mensagens das Avaliações Aspetos mais positivos Contributo relevante para o reforço do sistema marítimo portuário e para o aumento da atratividade dos portos beneficiados, direta ou indiretamente (acessibilidade ferroviária). Aspetos a melhorar Permanecem alguns constrangimentos de conetividade internacional do país e promovendo a sua interoperabilidade em todos os modos de transportes. Critérios de identificação das avaliações a realizar Intervenções com uma tónica reforçada no contributo dos transportes para aumentar a competitividade das exportações nacionais através da redução dos custos de transporte de mercadorias, em especial por modo ferroviário e marítimo em concordância com o Plano Estratégico das Infraestruturas e Transportes PETI Observações O faseamento das intervenções entre períodos de programação, nomeadamente no setor do transporte ferroviário de mercadorias, reforça a necessidade de avaliar o impacto dos apoios relativos ao reforço da rede ferroviária integrada em RTE- T, agora com enfoque na dimensão de reforço da competitividade e da internacionalização da economia portuguesa. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

29 Reforma da Administração Pública Mensagens das Avaliações Aspetos mais positivos Projetos relevantes para a redução dos custos públicos de contexto das atividades económicas (nomeadamente, no domínios da fiscalidade, justiça, registos e notariado) concentram parte significativa do fundo aprovado. Aspetos a melhorar Grande parte dos projetos está mais focada na eficiência e redução de custos da Administração pública do que na diminuição de custos de contexto. O impacto deste investimento pode estar a ser limitado por níveis de utilização insuficientes dos serviços disponibilizados online, exigindo maior atenção às questões da divulgação e da infoexclusão. Implementação dos projetos dificultada pela ausência de orçamentação plurianual. Critérios de identificação das avaliações a realizar Relevância para a Estratégia Europa 2020/PNR a reforma da Administração Pública assume grande relevância enquanto dimensão chave da mudança estrutural do país. Novas dimensões de apoios através dos FEEI na promoção de mudanças no modelo institucional e organizacional da administração pública, incluindo o seu modelo de organização espacial. Intervenções menos avaliadas no passado. Observações A importância crescente dos apoios à reforma da administração pública no âmbito dos Fundos Estruturais e a inexistência de avaliações no passado, especificamente dedicadas às intervenções de apoio às reformas da Administração pública, justificam a importância da realização de avaliações dedicadas a esta temática. Domínio da Inclusão Social e Emprego Apoios à transição/ inserção/ manutenção no mercado de trabalho Mensagens das Avaliações Aspetos mais positivos As intervenções avaliadas (Estágios, Medidas ocupacionais, Apoio à contratação, Apoio ao empreendedorismo e à criação do próprio emprego) apresentam efeitos positivos e, em certos casos, de forte intensidade sobre a probabilidade de emprego dos participantes no médio prazo (3 anos): a probabilidade de emprego dos participantes é, ao fim de um ano e devido à participação, superior em 10 a 25 p.p. à probabilidade de emprego de um não-participante (avaliação contrafactual). As medidas com efeitos estimados mais positivos são os apoios à contratação e os apoios ao empreendedorismo, correspondendo estas às medidas que estabelecem uma ligação direta e imediata entre o trabalhador e os empregadores. Ainda que evidenciando sinais de aprisionamento significativos nos primeiros doze meses após o início da participação, os estágios são igualmente medidas de emprego com efeitos muito positivos sobre a probabilidade de emprego no médio prazo. A avaliação Intercalar do PO Valorização do Potencial Humano e Coesão Social da RA da Madeira concluiu que é positivo o contributo dos estágios profissionais para os objetivos de empregabilidade: 56% dos beneficiários está empregado 6 meses após a conclusão do estágio. O grupo de ex-estagiários tem uma Aspetos a melhorar Adequar as respostas dos serviços de emprego à alteração no perfil de desempregados registados: i) mais jovens com escolaridade acima da média ou superior; ii) mais velhos, mais experientes e com escolaridade abaixo da média. Melhorar a formação técnica dos promotores das iniciativas empresariais ou de criação do próprio emprego e a dimensão de apoio consultivo durante e após o lançamento da iniciativa, com vista a melhorar a taxa de sobrevivência e de sucesso. Medidas mais centradas em objetivos específicos, em alternativa a objetivos múltiplos de forma a possibilitar uma melhor coordenação com outros objetivos de política. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

30 probabilidade de 63,3% de obter emprego após seis meses contra 46,5% do grupo de controlo (avaliação contrafactual). O contributo da tipologia formação-emprego para o objetivo de empregabilidade é igualmente positivo: 77% está empregado em entidades privadas 6 meses após a conclusão do processo. Critérios de identificação das avaliações a realizar Relevância para a estratégia Europa 2020/PNR Aumento da taxa de emprego da população dos 20 aos 64 para 75%, nos termos da meta do PNR e da Estratégia 2020 e Redução do desemprego jovem. Intervenções com alterações significativas, nomeadamente a nova abordagem integrada do empreendedorismo. Existência de algum risco para atingir os objetivos associados ao empreendedorismo na medida em que estas intervenções dependem fortemente da iniciativa dos destinatários. Relevância financeira das intervenções, a cofinanciar pelos fundos comunitários, associadas aos estágios e aos apoios à contratação (inclui Iniciativa Emprego Jovem (IEJ)) e à promoção do empreendedorismo (inclui IEJ). Observações Apesar desta temática ter sido avaliada no passado, a sua centralidade no Acordo de Parceria, e na estratégia europeia e nacional de promoção do emprego, exige a continuação do investimento avaliativo nesta matéria. Desenvolvimento das competências (certificadas) dos ativos para o mercado de trabalho Aspetos mais positivos Mensagens das Avaliações As Formações Modulares Certificadas (FMC) têm associadas vantagens relevantes para o desenvolvimento das qualificações dos adultos, que são reconhecidas pelos empregadores e pelas entidades formadoras: i) a possibilidade de definir ações de formação à medida das necessidades de cada momento; ii) a flexibilidade dos percursos formativos, pela sua natureza modular e pela curta duração, possibilitando a realização de percursos formativos completos de forma intermitente; iii) a atribuição de certificação escolar e/ou profissional e total ou parcial (acumuláveis para uma certificação total); iv) a possibilidade de adquirir competências específicas (com certificação parcial); v) dispensar ausências prolongadas do local de trabalho para a frequência de formação; vi) permitir a entrada dos formandos a meio do percurso formativo, não exigindo que se frequente o percurso completo. O perfil de formandos abrangidos pelas FMC corresponde aos objetivos desta medida, uma vez que abrange pessoas com baixas qualificações (a maioria dos formandos tem habilitações iguais ou inferiores ao 3º ciclo do ensino básico) e empregadas. Identifica-se uma relação positiva entre a evolução das remunerações e a conclusão de FMC. O efeito após inscrição é positivo nas FMC, mas inferior ao dos Cursos de Educação e Formação de Adultos (EFA) (3% para os homens e 1% para as mulheres), sendo este efeito mais reduzido justificado pela reduzida duração média destas formações. Critérios de identificação das avaliações a realizar Aspetos a melhorar Apesar do elevado número de abrangidos pelas FMC, são limitados aqueles que frequentam as mesmas no quadro de um percurso qualificante. As FMC, pela sua reduzida duração média (cada formando realiza dois módulos/50horas) não são suficientes para combater fragilidades mais acentuadas dos trabalhadores no que diz respeito à sua integração no mercado de trabalho e também à sua qualificação de base. Acesso limitado a FMC de trabalhadores de empresas de menor dimensão, entre outras razões, pela dificuldade que estas empresas têm em constituir um grupo de trabalhadores com o número mínimo de formandos exigido para uma ação. Relevância para a estratégia Europa 2020/PNR: aumento da taxa de emprego para 75%, nos termos da meta do PNR e da Estratégia Intervenções com alterações significativas: prevê-se que a implementação das modulares venha a sofrer uma alteração significativa no sentido do reforço dos percursos formativos através de um conjunto de módulos. Existência de algum risco para atingir os objetivos: capacidade de dar resposta aos fatores negativos identificados nas avaliações, de forma a melhorar a eficácia da intervenção. Relevância financeira das intervenções. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

31 Observações Apesar desta temática ter sido avaliada no passado, a sua relevância no quadro das políticas ativas de emprego e a tentativa de no futuro se verificarem alterações nesta intervenção com vista a potenciar as suas vantagens e colmatar os seus pontos fracos (identificados nas avaliações efetuadas), justificam a continuação do investimento avaliativo nesta matéria. Intervenções em territórios fragilizados e/ou junto de grupos vulneráveis Mensagens das Avaliações Aspetos mais positivos Resultados muito positivos na autonomização e capacitação dos indivíduos em risco ou situação de exclusão residentes em territórios urbanos problemáticos: 76% dos destinatários finais de intervenções apoiadas pelo QREN reforçaram as competências técnicas e 66% aumentaram as qualificações escolares e profissionais. 89% dos destinatários finais considera que houve uma melhoria da imagem dos territórios problemáticos como resultado das intervenções do QREN. Esta melhoria teve efeitos na redução da estigmatização, no reforço do sentido de pertença e na dinamização do tecido social e económico local. As intervenções para a valorização da diversidade étnica e cultural das comunidades contribuíram para a melhoria da integração da população imigrante: 77% dos imigrantes destinatários finais de intervenções do QREN reconhecerem ganhos na sua integração nas comunidades. Aspetos a melhorar Persistir no reforço das medidas de promoção da empregabilidade complementadas com instrumentos que facilitem o acesso e a criação do próprio emprego, a fim de melhorar os níveis de empregabilidade que permanecem elevados. Necessidade de promover estratégias locais de longo prazo capazes de contrariar as debilidades estruturais dos territórios urbanos problemáticos. Prosseguir com intervenções de promoção da autoestima e motivação para a aprendizagem a fim de aumentar os níveis de mobilização da população para processos de qualificação. Critérios de identificação das avaliações a realizar Relevância para estratégia europeia e nacional: redução de pelo menos pessoas em situação de pobreza até Relevância da especificidade territorial: determinadas especificidades territoriais (p.e. áreas de baixa densidade, centros urbanos, áreas costeiras, territórios com situações críticas de pobreza e/ou especialmente afetados por desemprego) configuraram a opção no PT2020, em linha com as estratégias da UE, de implementar abordagens integradas de desenvolvimento territorial específicas cujos, resultados deverão ser avaliados. Foco no território de um conjunto de intervenções: a concentração em determinados territórios de diversos tipos de vulnerabilidades e/ou potencialidades determina a possibilidade de serem mobilizados diferentes instrumentos de desenvolvimento territorial que se pretende que criem sinergias e complementaridades que necessariamente deverão ser avaliadas (p.e. intervenções de Desenvolvimento Local de Base Comunitária (DLBC), dos Contratos Locais de Desenvolvimento Social (CLDS) e de Regeneração Urbana). Intervenções novas e/ou inovadoras referentes à Inovação Social. Intervenções menos avaliadas no passado. Observações As abordagens territoriais integradas assumem uma maior relevância neste período de programação incidindo em territórios com características socioeconómicas e demográficas diversificadas e com objetivos diferenciados, mas sempre apelando à participação ativa dos atores relevantes, procurando complementaridades e sinergias entre intervenções no mesmo território e, frequentemente, implicando a implementação de modelos de governação multinível. A avaliação de intervenções de carácter territorial assume, por esta razão, destaque no atual PGA. Apesar de no passado ter havido alguns exemplos, este tipo de avaliação constitui um elevado desafio na seleção de metodologias que apurem: i) se os instrumentos criados para a concretização das abordagens integradas de desenvolvimento territorial produzem os resultados esperados; ii) se os modelos de operacionalização (por ex. processos concursais, contratualização, atores mobilizados, governação, apoio técnico e acompanhamento) são adequados para atingir os resultados propostos; iii) os fatores-chave de sucesso das intervenções integradas de desenvolvimento territorial; iv) os fatores dos contextos territoriais que determinam diferentes resultados e impactos. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

32 Domínio do Capital Humano Qualificação de jovens (abandono escolar precoce e aproximação dos sistemas ensino e formação ao mercado de trabalho) Mensagens das Avaliações Aspetos mais positivos Impacto positivo dos Cursos de Educação e Formação e dos Cursos Profissionais (CP) na redução do abandono escolar precoce, por redução das taxas de desistência e de retenção, e aumento das taxas de transição e conclusão. A título exemplificativo, nos CEF de nível básico os resultados apresentam um diferencial na taxa de conclusão superior em cerca de 65 pontos percentuais (pp) face à via regular e nos CP do secundário este diferencial é de cerca de 20 pp. (análise contrafactual). Os TEIP assumem um contributo positivo, sobretudo, na interrupção precoce do percurso escolar e na redução da indisciplina. Entre os ex-alunos do ensino secundário (que responderam ao inquérito do Observatório de Trajetos dos Estudantes do Ensino Secundário OTES) que optaram por não prosseguir estudos, a proporção dos que se encontram a trabalhar, ao fim do tempo normal de conclusão, é superior para os que frequentaram um CP (53,3%), face a 28,5% dos alunos que frequentaram o ensino regular, sendo também mais favorável em termos contratuais (e.g. maior peso dos vínculos laborais sem termo 29,1% nos CP e 26,3% na via regular), bem como na proporção dos que trabalham a tempo inteiro. Aspetos a melhorar Nos últimos anos, estagnação das taxas de transição/conclusão; ou seja, o impacto das ofertas de dupla certificação é agora mais evidente no aumento das taxas de escolarização do que no aproveitamento escolar dos alunos. Os TEIP apresentam resultados menos evidentes nas taxas de conclusão, ao nível do aproveitamento escolar e na interação com a comunidade local. A sustentabilidade dos resultados alcançados na redução de abandono escolar requer estratégias de prevenção e de recuperação dos jovens adultos (18-24 anos) que já se encontram fora da escola. Critérios de identificação das avaliações a realizar Meta inscrita no PNR, no âmbito da Estratégia 2020: redução do abandono escolar para 10% em 2020; relevância, no âmbito da estratégia nacional e europeia, da redução dos NEET. Relevância financeira das intervenções, a cofinanciar pelos fundos comunitários, de promoção do sucesso educativo. Existência de algum risco para atingir os objetivos: cada vez é mais exigente fazer diminuir de forma acentuada a taxa de abandono escolar uma vez que os públicos a atingir são cada vez mais complexos. Elevado número de beneficiários. Observações Apesar da redução acentuada nos últimos anos do abandono escolar precoce, e da identificação da relação causal entre as medidas cofinanciadas e esta tendência, importa continuar a acompanhar os efeitos das ofertas no sucesso escolar. Com efeito, para além da necessidade de analisar a sustentabilidade da diminuição do abandono, importa acompanhar a instabilidade nas variáveis associadas ao sucesso escolar (taxas de desistência e de retenção), com impactos na taxa de abandono escolar a prazo. Revela-se fundamental avaliar, igualmente, o desempenho escolar competências adquiridas (matéria não avaliada no âmbito do QREN), bem como as intervenções específicas de combate ao abandono escolar precoce (e.g., TEIP), que apresentaram algumas fragilidades e que serão alvo de alterações no PT2020. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

33 Ensino Superior e formação avançada Mensagens das Avaliações Não foi realizada qualquer avaliação nesta temática no âmbito do QREN. Critérios de identificação das avaliações a realizar Meta inscrita no PNR, no âmbito da Estratégia 2020: aumento para 40% da população entre os anos com o ensino superior. Intervenção nova: TeSP; e intervenção com alterações significativas: doutoramentos. Relevância financeira das intervenções, a cofinanciar pelos fundos comunitários, associadas ao reforço do ensino superior e da formação avançada. Intervenções não avaliadas no passado, no âmbito dos fundos europeus. Elevado número de beneficiários. Observações Importa avaliar em que medida as bolsas de ensino superior e os TeSP (ação nova) contribuem para a obtenção do diploma do ensino superior, e a possibilidade de alcançar a meta da Estratégia Esta temática, assim como as bolsas de doutoramento, para além de não terem sido avaliadas no âmbito do QREN, mantêm uma elevada dotação financeira. Qualificação de Adultos Mensagens das Avaliações Aspetos mais positivos Resultados positivos dos processos RVCC: nas qualificações e aprendizagens (ao nível das literacias, do uso das TIC e da capacidade para aprender a aprender); na vida pessoal (aumento da autoestima e melhoria das relações familiares); na propensão à continuação de atividades de formação e na transmissão para as gerações mais novas das vantagens da qualificação escolar e/ou profissional. Após a conclusão do curso EFA, a probabilidade de transição do desemprego para o emprego aumenta (em 14% para os homens e 2% para as mulheres) (contrafactual). Aspetos a melhorar Os resultados revelam efeitos menos favoráveis na vida profissional, no caso dos RVCC (isolados ou em combinação com EFA ou com FMC), nomeadamente, na probabilidade dos participantes transitarem de uma situação de desemprego para emprego e no aumento das remunerações. Critérios de identificação das avaliações a realizar Aumento da taxa de emprego para 75%, nos termos da meta do PNR e da Estratégia Relevância política do aumento da escolaridade de nível secundário da população portuguesa. Intervenções com alterações significativas: ensino recorrente (não cofinanciado no QREN) e CQEP com alterações relevantes. Observações Apesar do PO CH incluir apenas uma parte da qualificação de adultos aquela diretamente relacionada com a certificação, refletindo-se na dotação financeira atribuída a esta matéria, a sua importância para o desenvolvimento social, económico e territorial do país, a introdução de alterações nos processos de RVCC e o facto do ensino recorrente passar a ser cofinanciado pelos fundos comunitários (para além de se perspetivar um aumento substancial do peso desta oferta formativa, assim como de alterações de funcionamento), justifica uma análise avaliativa. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

34 Qualidade e eficiência do sistema de educação/ formação e Ajustamento das qualificações das pessoas com o mercado de trabalho Mensagens das Avaliações Aspetos mais positivos Desenvolvimento de mecanismos de estruturação da oferta formativa que resultaram da criação do Sistema Nacional de Qualificações (SNQ), nomeadamente, o Catálogo Nacional de Qualificações (e dos Conselhos Sectoriais). Medidas implementadas com impacto no desempenho e na eficiência dos sistemas educativo/formativo: alteração no modelo de gestão das escolas (introdução da figura do diretor de escola); Projeto metas de aprendizagem; Programa educação 2015 (estabelecimento de objetivos para as escolas); avaliação externa das escolas; Sistema nacional de avaliação de professores; expansão dos indicadores de educação nacionais. Aspetos a melhorar Inexistência de centros de racionalidade estratégica (de âmbito regional e nacional) orientados para a avaliação prospetiva de necessidades de formação. O perfil da oferta surge fortemente influenciado pelas preferências da procura dos jovens e pelo perfil de dotação de recursos das entidades formadoras. Persistência de debilidades ao nível da orientação e encaminhamento de jovens e adultos para formações adequadas às suas preferências e às necessidades do tecido produtivo. Ausência de um modelo de avaliação integrado do sistema educativo (alunos, professores, escolas, processos de aprendizagens). Necessidade de existência de um sistema de acreditação das entidades formadoras com base em critérios de qualidade do desempenho destas entidades. Critérios de identificação das avaliações a realizar Intervenções novas e inovadoras, no caso das medidas específicas e inovadoras dirigidas à melhoria da qualidade e da eficiência do sistema de educação/formação de jovens com vista à promoção do sucesso escolar. Intervenções não avaliadas no passado. Nível de risco para atingir os objetivos quer pelo seu carácter inovador, quer pelo risco de canibalização por parte dos sistemas formativos. Observações Apesar de esta temática ter uma dotação financeira reduzida, assume elevada relevância na garantia da qualidade, eficácia e eficiência dos investimentos a efetuar na generalidade das intervenções do PO CH. Domínio da Sustentabilidade e Eficiência no Uso dos Recursos Transição para uma economia de baixo teor de carbono Mensagens das Avaliações Aspetos mais positivos As intervenções apoiadas permitiram uma redução de 17,6% do consumo de energia primária, em toneladas equivalentes de petróleo (tep), e de 16,9% em redução das emissões de gases de efeito de estufa (GEE). Os apoios financeiros contribuíram para o cumprimento dos compromissos internacionais de Portugal em matéria de redução do consumo energético e redução das emissões de gases de efeito de estufa. Os recursos financeiros alocados, no âmbito da eficiência energética, permitiram apoiar os grupos de beneficiários com os desafios mais urgentes neste domínio, nomeadamente o setor público, nos diversos níveis da Administração Pública, empresas de todos os setores de atividade e entidades do terceiro setor. Os efeitos indiretos dos apoios permitiram a melhoria do conforto térmico das habitações em bairros sociais e a É necessário: Aspetos a melhorar Promover uma maior articulação entre os recursos financeiros e os instrumentos de política, identificando necessidades específicas do setor e do território. Promover uma maior articulação on going com os restantes instrumentos financeiros e operacionais nacionais que visam o aumento da eficiência energética. Assegurar que os mecanismos processuais para aplicação dos fundos são ajustados às especificidades das tipologias e dos beneficiários. Melhorar a definição dos critérios de seleção, dos custos padrão, da avaliação do mérito das operações, bem como a capacitação das estruturas técnicas das AG e dos OI nesta matéria. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

35 redução da fatura energética em famílias de baixos rendimentos, a melhoria da qualidade do ar e a consciencialização social sobre estas matérias. Desenvolver procedimentos específicos, orientações de gestão e de instrumentos próprios para o acompanhamento e avaliação das intervenções, bem como construir um sistema de indicadores mensuráveis que permita o seu acompanhamento. Critérios de identificação das avaliações a realizar Relevância para estratégia nacional e europeia: a meta comunitária para 2020 estabelece a obrigatoriedade de redução do consumo de energia primária em 20%, sendo de 25% no Plano Nacional de Ação para a Eficiência Energética (PNAEE) e de 30% para a administração pública; os objetivos do Plano Nacional de Ação para as Energias Renováveis (PNAER) para 2020 preveem a incorporação de 31% de fontes de energia renovável (FER) no consumo final bruto de energia e 10% no setor dos transportes; os compromissos assumidos relativos às emissões de gases de efeito de estufa para 2020 de +1% face a 2005, tendo por base a partilha de esforços de redução ou limitação do aumento das emissões entre os estados-membros. Intervenções novas: apoio à produção e distribuição de energia de fontes renováveis com tecnologias testadas e que não estejam disseminadas no território e respetiva integração na rede; desenvolvimento e implementação de redes inteligentes através de projetos-piloto. Intervenções pouco avaliadas e relativamente novas, nomeadamente, produção de energia a partir de fontes renováveis, construção de redes energéticas inteligentes em cidades, evolução para um sistema de transportes mais ecológico através do desenvolvimento de uma rede de abastecimento e da aquisição e conversão de frotas de transportes públicos. Intervenções relevantes em termos financeiros. Observações O domínio da energia ganhou um destaque neste quadro comunitário face ao anterior, quer em termos de dotações colocadas para apoio, quer em termos de tipologias de ações possíveis, que justificam uma avaliação focada que cubras as diversas áreas desta temática, a que se junta a necessidade de articulação entre as várias entidades, o setor e o território. A sua dimensão financeira face ao anterior quadro, a escassez de avaliações, bem como o apoio de intervenções pouco disseminadas no território ou em fase de projeto-piloto, reforça a necessidade de uma avaliação que, por um lado, avalie a sua implementação e as metas propostas e que por outro verifique o seu contributo líquido para a transição para uma economia com baixas emissões de carbono em todos os setores. O compromisso de Portugal em termos de planos nacionais e metas europeias reforça a necessidade de um acompanhamento e avaliação próximos tendo em conta o leque de ações em causa, a abrangência de beneficiários e a fragilidade de capacitação técnica nestas matérias com a consequente adequação e avaliação do mérito das intervenções a apoiar. Adaptação às alterações climáticas e prevenção e gestão de riscos Mensagens das Avaliações Não foi realizada qualquer avaliação nesta temática no âmbito do QREN. Critérios de identificação das avaliações a realizar Relevância para a estratégia nacional: vulnerabilidade de pessoas e território e alinhamento das intervenções a apoiar com a Estratégia Nacional para a Gestão Integrada da Zona Costeira, os Planos de Ordenamento da Orla Costeira, e o Plano de Ação de Proteção e Valorização do Litoral (e/ou Plano de Ação que lhe suceder). Intervenções que não foram objeto de avaliações no passado. Observações A grande vulnerabilidade do país aos impactos das alterações climáticas, com fenómenos climáticos extremos, com riscos naturais e antrópicos, com o aumento das secas, das ondas de calor, com riscos para a saúde pública, com percas financeiras e materiais, é por si só o motivo mais relevante da necessidade de uma avaliação que se centre nos resultados e benefícios das intervenções apoiadas sem perder de vista a imprevisibilidade dos fenómenos em causa. No anterior quadro comunitário, para além dos apoios ao desenvolvimento de infraestruturas de defesa no litoral com vista à minimização do risco de erosão costeira, foram também apoiadas infraestruturas que contribuíram para a valorização do litoral, no entanto, no atual quadro de apoio há uma concentração do foco para as áreas mais vulneráveis da proteção do litoral, em especial a erosão, concentração essa que tendo em conta as vastas necessidades do território e a dotação financeira em causa, justificam uma avaliação focada e articulada no território sobre os resultados a atingir. No que respeita ao fenómeno das secas e fogos, e tendo Portugal registado anualmente uma área ardida superior quer à média europeia, quer à média dos países da bacia mediterrânea, os apoios futuros preveem o reforço da gestão face aos riscos, bem como a capacitação das instituições envolvidas, pelo que, e dado o alargado volume de atores em causa e a necessidade de articulação entre os mesmos e o setor, se torna evidente uma avaliação que também demonstre a melhoria ao nível da resposta e da capacitação face aos diagnósticos identificados. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

36 Por último, avaliar esta área justifica-se face aos critérios de relevância para a estratégia nacional e por outro face à inexistência de avaliações anteriores. Proteção do ambiente Mensagens das Avaliações Está em curso o estudo sobre as alterações de uso do solo diretamente induzidas pelos projetos apoiados do QREN e afetação dos ecossistemas sensíveis para a conservação da natureza, o qual visa o apuramento de indicadores de monitorização ambiental estratégica, bem como analisar a contribuição do QREN para os seguintes objetivos: reduzir a taxa de perda de biodiversidade, reduzir as pressões humanas sobre a biodiversidade e manter a integridade e a provisão dos bens e serviços dos ecossistemas. Prevê-se a sua conclusão no segundo semestre de Critérios de identificação das avaliações a realizar Relevância para as estratégias nacionais: no domínio das águas a relevância justifica-se pelo alinhamento das intervenções a apoiar com o PENSAAR 2020 Uma nova estratégia para o setor de abastecimento de água e saneamento de águas residuais com os Planos de Gestão de Região Hidrográfica e com a Diretiva Águas Residuais Urbanas. Intervenções que não foram objeto de avaliações no passado: nenhum dos domínios foi objeto de intervenção anterior. Número de potenciais beneficiários: em ambos os domínios destaca-se uma complexa rede de atores e de diferentes territórios. Intervenções relevantes em termos financeiros. Observações No domínio das águas, as futuras intervenções irão abranger estudos que contribuam para a melhoria da qualidade das massas de água e investimentos que permitam a otimização e a gestão dos recursos hídricos e das infraestruturas existentes, nomeadamente, para controlo e redução de perdas e melhoria da qualidade de água fornecida, bem como para a reabilitação dos sistemas de drenagem de águas residuais. A abrangência de apoios, a complexidade temática e a articulação da diversidade dos atores, assim como a dotação financeira em causa, justificam uma avaliação que permita analisar os resultados a atingir nas diversas esferas de atuação. No domínio dos passivos ambientais e reabilitação urbana, dar-se-á continuidade à recuperação dos passivos prioritários, em linha com o QREN, sendo eles 8 passivos ambientais industriais e 74 antigos locais de exploração mineira. Devido ao risco de contaminação com elevada penalização para a saúde pública, ecossistemas e território, bem como ao nível químico e radiológico, justifica-se a necessidade de avaliar esta área sensível e urgente que ainda não foi objeto de avaliações. Ao nível dos PO Regionais a reabilitação urbana incluirá também a qualificação do espaço público e o desenvolvimento de experiências inovadoras e de ações piloto no âmbito do desenvolvimento urbano sustentável, ações para melhorar a qualidade do ambiente urbano e infraestruturas verdes. Neste caso, justifica-se a avaliação desta temática pela intervenção territorial destas ações, pela necessidade de estabelecimentos de parcerias e de estratégias integradas, pela necessidade de articulação com outros instrumentos de revitalização urbana e pela diversidade de diferentes atores do território. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

37 2. Sistema de Avaliação Neste capítulo pretende-se apresentar o sistema de avaliação que engloba, em primeiro lugar, a estratégia de gestão da qualidade do próprio processo avaliativo e a gestão do PGA PT2020. Seguidamente são explicitados o processo de avaliação, a utilização dos resultados dos estudos de avaliação e o acompanhamento das suas recomendações, a comunicação dos resultados das avaliações efetuadas e a capacitação das equipas das entidades que acompanharão os estudos de avaliação Estratégia de Gestão da Qualidade do Processo de Avaliação A estratégia de gestão da qualidade do processo de avaliação sustenta-se na combinação de três fatores: um conjunto de atividades, planeadas e desenvolvidas dentro de um quadro lógico; a definição dos produtos a desenvolver, de acordo com standards qualitativos previamente definidos; o estabelecimento do modelo de gestão, designadamente os atores envolvidos e suas atribuições e responsabilidades. Os mecanismos de articulação dos atores, para além de garantirem a qualidade do trabalho desenvolvido, permitirão uma adequada partilha de conhecimento e o acréscimo da capacitação técnica dos envolvidos. O esquema seguinte sistematiza estes três fatores, apresentando as principais atividades a desenvolver, quer no âmbito da realização do PGA PT2020 quer de cada exercício de avaliação; considera-se ainda os produtos a desenvolver e os atores a envolver ao longo do processo avaliativo. O esquema encontra-se dividido em três fases: planeamento e preparação (que inclui a elaboração do PGA PT2020 e a preparação de cada exercício de avaliação, uma vez que o planeamento de cada exercício de avaliação se inicia na fase de elaboração do PGA PT2020, quer na definição dos princípios orientadores quer na identificação das avaliações a efetuar e das suas características); a realização das avaliações; a divulgação e o acompanhamento da implementação das recomendações das avaliações (follow up). Plano de Avaliação do Programa Operacional Regional do Norte /182 -

38 Figura 3 - Estratégia de gestão da qualidade no processo de avaliação Considera-se que o planeamento rigoroso desta estratégia, o seu cumprimento e a sua revisão, quando necessária, a meta-avaliação e retroação periódica garantirão a qualidade do processo de avaliação. A explicação e o aprofundamento deste esquema encontra-se: nas caixas seguintes, que apresentam uma breve explicação de cada uma das fases; nos restantes pontos do Capitulo 2 Sistema de avaliação, que estabelecem os princípios comuns orientadores para a definição dos elementos constantes no esquema, aprofundando, quando necessário, alguns deles; nos dois documentos autónomos do PGA PT2020 Orientações para o planeamento e preparação dos exercícios de avaliação (Termos de Referência (TdR)) e Orientações para o acompanhamento da implementação das recomendações das avaliações (followup) que complementam o documento do PGA PT2020, detalhando as matérias Plano de Avaliação do Programa Operacional Regional do Norte /182 -

39 relativas à elaboração dos documentos do concurso e do follow-up, em conformidade com os princípios orientadores constantes neste capítulo. Planeamento / Preparação do PGA PT2020 PGA PT2020 Esta fase tem como ponto de partida a regulamentação e as orientações da CE e das Redes de Monitorização e Avaliação da DG Regio, DG Emprego, DG Agri e DG Mar, o PT2020, composto pelo Acordo de Parceria e pelos Programas Operacionais e a legislação nacional, sobretudo o Modelo de Governação dos FEEI, produzida pelo Governo português, nomeadamente pelas entidades que compõem a CIC Comissão Interministerial de Coordenação do PT2020. O PGA PT2020, materializado no presente documento, é elaborado no seio da Rede de Monitorização e Avaliação (Rede M&A) e será submetido à aprovação da CIC e do Comité de Acompanhamento dos PO. Os dois documentos complementares mas autónomos do PGA PT2020 Orientações para o planeamento e preparação dos exercícios de avaliação (TdR) e Orientações para o acompanhamento da implementação das recomendações das avaliações (follow-up) serão elaborados numa fase imediatamente posterior à aprovação do PGA PT2020. O documento de Orientações para o planeamento e preparação dos exercícios de avaliação (TdR) assume especial relevância, uma vez que os documentos do concurso são determinantes para a qualidade das avaliações. Este documento terá a seguinte estrutura: Figura 4 - Estratégia de gestão da qualidade no processo de avaliação Salientam-se duas peças fundamentais a constar neste documento: Plano de Avaliação do Programa Operacional Regional do Norte /182 -

40 o Modelo de avaliação das propostas, a constar nas orientações para a elaboração do Programa de Concurso, que permitirá analisar e hierarquizar as propostas dos concorrentes segundo critérios de adjudicação préestabelecidos; a Grelha para aferição da qualidade dos relatórios de avaliação, constante no ponto 11 das especificações técnicas, que permitirá analisar os relatórios produzidos pelas equipas de avaliação de acordo com critérios de qualidade pré-estabelecidos. Exercícios de Avaliação Esta fase decorre desde a definição global da avaliação até à seleção do avaliador (no caso de avaliações externas ou mistas) que irá realizar a avaliação. O desenho global da avaliação consiste na revisão e no aprofundamento da ficha da avaliação constante no PGA PT2020, que contém os principais elementos de uma avaliação: Objetivo(s); Tipo de avaliação; Âmbito; Contextualização/Justificação; Critérios e Questões de avaliação; Utilizações específicas dos resultados da avaliação; Métodos a considerar; Objeto de avaliação; Informação a disponibilizar no início da avaliação; Procedimento de contratação; Responsabilidade pelo(a): Lançamento e coordenação do acompanhamento da avaliação, Acompanhamento das recomendações e Divulgação dos resultados; Constituição do: Grupo de Acompanhamento, Júri do Concurso e Comité Científico; Calendário: Lançamento do concurso Início da Avaliação, Duração da Avaliação, Fonte de financiamento, Estimativa de custo. Nesta fase destaca-se a relevância dos seguintes elementos: construção definitiva das questões de avaliação; compilação da informação a disponibilizar quer no Caderno de Encargos quer aquando da adjudicação da avaliação. Na maioria das situações, a fase de identificação e recolha de informação inicia-se com a elaboração das fichas de avaliações constantes no PGA PT2020, quando necessário, prolonga-se até ao início da preparação da avaliação e termina com a disponibilização final de informação solicitada pelos avaliadores; determinação do modo de realização das avaliações (externo, interno ou misto) e do procedimento de contratação do avaliador, no caso das avaliações externas ou mistas; definição dos atores efetivos a acompanhar o estudo e das suas atribuições e início do seu envolvimento (caso não tenha ocorrido anteriormente), no âmbito da participação do Grupo de Acompanhamento na elaboração dos documentos do concurso; produção dos documentos do concurso da avaliação, seleção e convocação do júri do concurso e seleção da equipa que realizará o estudo. Esta fase será detalhada nos pontos seguintes deste capítulo e no documento de Orientações para o planeamento e preparação dos exercícios de avaliação (TdR). Implementação dos Exercícios de Avaliação Na fase de realização das avaliações, cabe à entidade adjudicante e ao Grupo de Acompanhamento a disponibilização da informação necessária à realização do estudo (que ainda não foi disponibilizada no Caderno de Encargos) e a solicitada diretamente pelo avaliador, o esclarecimento de questões colocadas pelo avaliador, bem como a apreciação dos produtos entregues pelo avaliador previstos no Caderno de Encargos. A estrutura dos relatórios constará nas Orientações para o planeamento e preparação dos exercícios de avaliação (TdR). A qualidade dos relatórios, que se pretendem objetivos e com conclusões devidamente fundamentadas, será aferida pelo recurso a uma Grelha para aferição da qualidade dos relatórios de avaliação, constante no mesmo documento. Nesta fase são ainda elaborados os produtos de divulgação da responsabilidade da equipa de avaliação. Esta fase será detalhada nos pontos seguintes e no documento de Orientações para o planeamento e preparação dos exercícios de avaliação (TdR). Acompanhamento da implementação das recomendações das avaliações (follow-up) e Comunicação Os exercícios de avaliação culminam no seu follow-up e na comunicação dos resultados de forma a potenciar a sua utilização. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

41 Esta fase será detalhada nos pontos seguintes e no documento Orientações para o acompanhamento da implementação das recomendações das avaliações (follow-up). Capacitação A estratégia de capacitação, transversal a todas as fases de elaboração do PGA PT2020 e de planeamento, realização e follow-up e divulgação das avaliações, é apresentada no ponto 6 deste capítulo Gestão do Plano de Avaliação Pretende-se neste subcapítulo expor o modelo de governação previsto para a elaboração e implementação do PGA PT Entidades envolvidas e respetivas funções Considerando a experiência adquirida na conceção e implementação do PGA do período de programação , definem-se como princípios orientadores do modelo de gestão do PGA PT2020 os seguintes: responsabilização partilhada diferentes responsabilidades assumidas pelos órgãos de coordenação política, técnica e de gestão do PT2020 nas diversas fases do PGA PT2020; coordenação em Rede a Rede M&A como espaço privilegiado de conceção, acompanhamento e avaliação do PGA PT2020, bem como de interligação com outras redes de articulação funcional criadas no âmbito da coordenação do Portugal 2020 e a nível internacional; partilha de experiências consolidar e harmonizar as experiências em matéria de planeamento estratégico e operacionalização das avaliações dos diferentes fundos (FEDER, FC, FSE, FEADER, FEAMP). O modelo de gestão do PGA PT2020 atribui à AD&C, em articulação com a Comissão de Coordenação Nacional (CCN) e a Comissão de Coordenação para o FEAMP (CCF), a elaboração e submissão do PGA à apreciação e aprovação da CIC Portugal A elaboração do PGA PT2020 e dos documentos de orientação autónomos que o complementam é efetuada no âmbito da Rede de Monitorização e Avaliação (RM&A), que inclui as autoridades de coordenação técnica dos FEEI e as AG. As revisões do Plano seguem o mesmo modelo da sua preparação. Por sua vez, a elaboração dos Planos de Avaliação dos PO (que decorrem diretamente do PGA PT2020) é da responsabilidade das AG, as quais devem concluir e submeter o Plano de Avaliação Plano de Avaliação do Programa Operacional Regional do Norte /182 -

42 dos PO para aprovação do Comité de Acompanhamento (CA) até um ano após a adoção da decisão dos programas pela UE. No FEADER e FEAMP o Plano de Avaliação é elaborado durante a fase de programação, constando num capítulo do texto da decisão da UE dos respetivos programas. Nestes fundos o modelo de governação assume, igualmente, contornos específicos: A coordenação técnica do FEADER cabe à Comissão de Coordenação Nacional (CCN), coordenada pelo Diretor-Geral do Gabinete de Planeamento, Políticas e Administração Geral (GPP), que assegura a representação, entre outras entidades, de cada um dos órgãos de gestão dos PDR. O Grupo de Coordenação da Avaliação (GCA), funcionalmente dependente da CCN, assegura a coordenação das atividades de avaliação e a harmonização de orientações no âmbito do FEADER, bem como a coordenação com os procedimentos de avaliação ao nível de outros fundos. O GCA é constituído pelo GPP, as AG dos três PDR, as equipas de avaliação, o Instituto de Financiamento da Agricultura e Pescas, IP (IFAP) (enquanto organismo pagador) e a Rede Rural Nacional (RRN). Ao contrário dos restantes fundos, as AG do FEADER assumem a responsabilidade da própria avaliação ex post do PDR, pelo que esta consta do Plano de Avaliação. No FEAMP, a coordenação técnica é confiada à Comissão de Coordenação para o FEAMP (CCF), presidida pelo Diretor-Geral da Direcção-Geral de Política do Mar (DGPM), que assegura a representação. O modelo de governação dos FEEI está consagrado nas decisões dos programas , bem como no Decreto-Lei nº 137/2014, de 12 de setembro, complementado, para as Regiões Autónomas dos Açores e da Madeira, respetivamente, pela Resolução do Conselho do Governo nº 156/2014 e pelo Decreto Legislativo Regional nº 12/2014/M. O presente enquadramento nacional visa assegurar o cumprimento das obrigações dispostas no Regulamento (UE) nº 1303/2013, que estabelece as disposições comuns dos FEEI e prevê especificidades dos Fundos da Política da Coesão (FEDER, FC e FSE), complementado com as obrigações dos Regulamentos Específicos do FSE, FEADER e FEAMP, respetivamente Regulamentos (UE) nºs 1304/2013, 1305/2013 e 508/2014. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

43 Quadro regulamentar FEEI - A autoridade de gestão ou o Estado-Membro define um plano de avaliação que pode abranger mais do que um programa. O plano de avaliação é apresentado em conformidade com as regras específicas dos Fundos (Regulamento (UE) nº 1303/2013, de 17 de dezembro, n.º 1 do artigo 56º). FEDER/FC/FSE - A autoridade de gestão ou o Estado-Membro elaboram um plano de avaliação para um ou vários programas operacionais. O plano de avaliação é apresentado ao comité de acompanhamento até um ano a contar da adoção do programa operacional (Regulamento (UE) nº 1303/2013 de 17 de dezembro, n.º 1 do artigo 114º). CIC Portugal 2020 Compete à CIC Portugal ( ) Apreciar e aprovar, sob proposta da Agência para o Desenvolvimento e Coesão, I.P. (Agência, I.P.), o plano global de avaliação do Portugal 2020, que inclui as avaliações de âmbito estratégico e operacional ( ). (Decreto-Lei nº 137/2014, de 12 de setembro, alínea h) do n.º 2 do artigo 10º). AD&C - Compete à Agência, I.P., no âmbito da coordenação técnica geral do Portugal 2020 ( ) e) Coordenar e desenvolver, em articulação com a CCN e a CCF, o sistema de avaliação do Portugal 2020, na perspetiva da sua contribuição para a concretização das políticas públicas cofinanciadas; ( ) k) Elaborar e submeter à aprovação da CIC Portugal 2020, em articulação com a CCN e a CCF, o plano global de avaliação do Portugal 2020, que inclui as avaliações de âmbito estratégico e operacional; ( ) t) Participar na elaboração do plano global de avaliação do Portugal 2020 e dos respetivos programas ( )(D.L. nº 137/2014, Art. 12º). AD&C, CCN e CCF - Compete à Agência, I.P, à CCN e à CCF, enquanto órgãos de coordenação técnica dos FEEI: ( ) b) Contribuir para a elaboração do plano global de avaliação do Portugal 2020, a submeter à aprovação da CIC Portugal 2020; ( ) d) Coordenar a elaboração do plano global de avaliação dos respetivos PO e PDR, que contempla avaliações de âmbito estratégico e operacional e inclui uma lista indicativa dos exercícios de avaliação previstos para o período , a sua natureza e calendário ( ) (D.L. nº 137/2014, Art. 13º). Autoridades de gestão dos POT, POR-C e AT - Compete às comissões diretivas dos PO temáticos, regionais do continente e de assistência técnica: ( ) s) Participar na elaboração do plano global de avaliação do Portugal 2020 e elaborar o plano de avaliação do PO (D.L. nº 137/2014, Art. 27º 1). Comités de Acompanhamento dos PO FEDER, FSE e FC: ( ) O plano de avaliação é apresentado ao comité de acompanhamento até um ano a contar da adoção do programa operacional (REG (UE) nº 1303/2013, Art. 114º 1);( ) O comité de acompanhamento examina, em especial: ( ) b) Os progressos realizados na aplicação do plano de avaliação ( ) (REG (UE) nº 1303/2013, Art. 110º 1); ( ) O comité de acompanhamento examina e aprova: ( ) c) O plano de avaliação do programa operacional e eventuais alterações, inclusive quando faz parte de um plano de avaliação comum nos termos do artigo 114.º, n.º 1 ( ) (REG (UE) nº 1303/2013, Art. 110º 2); ( ) Compete ainda às comissões de acompanhamento [dos PO temáticos e regionais do continente] analisar e aprovar: ( )c) o plano de avaliação dos PO e as suas eventuais alterações (D.L. nº 137/2014, Art. 54º 2). Autoridades de gestão do PO RA dos Açores e da Madeira: RA Açores ( ) São competências do Gestor do PO Açores 2020: ( ) c) Representar o programa operacional nos órgãos nacionais de Gestão, Monitorização, Avaliação e Acompanhamento do Portugal 2020, bem como nas demais instituições nacionais, europeias e internacionais ( ). (Resolução do Conselho do Governo nº 156/2014 da Presidência do Governo da RAA, Art. 6º 1). RA Madeira ( ) São competências da Autoridade de Gestão: ( ) r) Participar na elaboração do plano global de avaliação do Portugal 2020 ( ). (Decreto Legislativo Regional nº 12/2014/M, Art. 4º 1). Autoridades de gestão dos PDR ( ) As autoridades de gestão devem elaborar o plano de avaliação do respetivo PDR, incluindo os indicadores específicos e comuns no quadro de desempenho ( ). (D.L. nº 137/2014, Art. 30º 5). Comité de Acompanhamento dos PDR: O comité de acompanhamento ( ) b) Examina as atividades e as realizações ligadas aos progressos registados na execução do plano de avaliação do programa ( ) (REG (UE) nº 1305/2014, Art. 74º ). Autoridade de gestão do PO MAR ( ) Elaborar um plano de avaliação do Mar 2020 ( ). (D.L. nº 137/2014 Art. 33º 1f). Comité de Acompanhamento do PO MAR: ( ) o comité de acompanhamento verifica o desempenho do programa operacional e a eficácia da sua execução. Para esse efeito, o comité de acompanhamento: ( ) b) Examina as atividades e realizações ligadas ao plano de avaliação do programa ( ) (REG (UE) nº 508/2014 Artº 113). ( ) Examinar as atividades e realizações ligadas ao plano de avaliação do programa ( ). (D.L. nº 137/2014 Art. 58º b). Plano de Avaliação do Programa Operacional Regional do Norte /182 -

44 Fundos Europeus Estruturais e de Investimento (FEEI) Função FEDER, FC e FSE (Fundos da Política da Coesão) FEADER FEAMP Comissão Europeia Participação a título consultivo Participação a título consultivo Participação a título consultivo Plano de Avaliação dos Programas Aprovação, acompanhamento e orientações Comité de Acompanhamento dos PO Elaboração pela AG e submissão do Plano de Avaliação do PO (PA PO) para aprovação do CA até um ano após a decisão e análise dos progressos do PA PO Comité de Acompanhamento dos PDR Acompanhamento Elaboração do Plano de Avaliação do Programa no texto do PDR e adoção da decisão do PDR Comité de Acompanhamento do PO Acompanhamento Elaboração do Plano de Avaliação do Programa no texto do PO e adoção da decisão do PO Programação e Gestão Autoridades de Gestão dos POT e POR Autoridades de Gestão dos PDR Autoridade de Gestão do PO MAR Articulação Articulação Articulação Rede de Monitorização e Avaliação Plano Global de Avaliação do Portugal 2020 Articulação institucional Coordenação técnica geral dos FEEI Coordenação técnica geral do Portugal 2020 Coordenação política Articulação e coordenação AD&C - Agência para o Desenvolvimento e Coesão, IP Articulação Submissão do Plano Global de Avaliação do Portugal 2020 para aprovação da CIC Portugal 2020 Grupo de Coordenação da Avaliação (GCA) Orientações e acompanhamento CCN - Comissão de Coordenação Nacional para o FEADER Elaboração, em articulação, do Plano Global de Avaliação do Portugal 2020 CIC Portugal Comissão Interministerial de Coordenação do Acordo de Parceria Articulação CCF - Comissão de Coordenação para o FEAMP Figura 5 - Modelo de gestão do PGA PT2020 e dos Plano de Avaliação dos Programas Plano de Avaliação do Programa Operacional Regional do Norte /182 -

45 Coordenação do PGA PT2020: Rede de Monitorização e Avaliação A Rede de Monitorização e Avaliação (Rede M&A), constituída pelos organismos de coordenação técnica dos FEEI e pelas Autoridades de Gestão (AG) dos programas, sob coordenação da AD&C, tem como objetivo principal promover o desenvolvimento das atividades de monitorização e avaliação (M&A) de modo a garantir a excelência do sistema de monitorização e avaliação do PT2020. A articulação e coordenação das funções de M&A assumem, no atual período de programação, uma importância acrescida devido não só à presença de programas e intervenções multifundos, como à elevada transversalidade e complementaridade de intervenções, nomeadamente entre os PO temáticos e os PO regionais. Com efeito, estes programas, ao contribuírem para objetivos comuns, implicam a necessidade de privilegiar a realização de avaliações temáticas e territoriais cujo valor estratégico deve ser consensualizado para servir as necessidades do conjunto e de cada uma das organizações da Rede. A Rede de M&A dá continuidade à Rede de Avaliação do QREN, acrescentando-lhe a dimensão da monitorização. A experiência desta Rede e a reflexão sobre o seu balanço serviram de base à definição do processo de avaliação no período No âmbito da avaliação, a missão primeira da Rede de M&A é a de construir uma proposta de PGA PT2020 a apresentar à CIC Portugal 2020, monitorizar a sua execução, propor alterações e a sua atualização periódica, potenciar o uso das avaliações, nomeadamente junto dos decisores de política, e promover um debate público alargado sobre a relevância da avaliação e sobre os resultados dos exercícios de avaliação. Com efeito, pelas razões apontadas anteriormente, a Rede M&A assume uma importância vital na construção do PGA PT2020, garantindo a produção de um documento estratégico unificado e a definição de um conjunto de avaliações que refletam os princípios apresentados neste Plano. No seu papel instrumental, o coletivo da Rede deverá igualmente zelar pela qualidade das funções de M&A do PT2020, criando instrumentos que facilitem a seleção e a aplicação de critérios de qualidade às várias fases da monitorização e da avaliação. Como suporte daquelas funções, a rede tem igualmente uma função de aprendizagem e de capacitação dos seus membros, das organizações parceiras e ainda das entidades públicas implicadas no PT2020. Esta função deverá ser concretizada através de ações de informação e Plano de Avaliação do Programa Operacional Regional do Norte /182 -

46 formação de carácter e âmbito diversos, potenciando desde logo o espaço de interação da rede como veículo de partilha de informação sobre, nomeadamente, o que de importante se debate e se decide nas redes de avaliação da CE e sobre o interesse da participação em eventos ou ações de formação sobre metodologias e resultados de avaliações. A Rede M&A, enquanto fórum de articulação e coordenação da M&A do PT2020, tem os seguintes atributos: Objetivos promover e articular o desenvolvimento das atividades de M&A de modo a garantir o funcionamento e a eficácia no sistema de monitorização e avaliação do PT2020; promover o intercâmbio de experiências e de boas práticas entre os membros da rede, a fim de fortalecer a capacidade de monitorização e avaliação de políticas públicas em Portugal. Organismos de Coordenação Técnica dos FEEI; Autoridades de Gestão. Membros Modo de Funcionamento reuniões periódicas, sempre que se justifique, de preferência no mínimo três por ano, e workshops temáticos; grupos de trabalho para tratamento de questões específicas; partilha de documentos de trabalho em área reservada de uma plataforma informática. Áreas de atuação preparar uma proposta de Plano Global de Avaliação a apresentar à CIC Portugal 2020 e acompanhar a sua execução; contribuir para a preparação de instrumentos de apoio à Monitorização do PT2020 e acompanhar a sua execução; produzir orientações e instrumentos que contribuam para a qualidade dos exercícios de avaliação; debater assuntos de relevo em matéria de Monitorização e Avaliação (e.g. orientação para resultados); potenciar o uso dos resultados das avaliações, criando instrumentos de monitorização da implementação das recomendações (follow up); promover o debate público sobre os resultados das avaliações e o conteúdo dos relatórios de monitorização, propondo públicos e formatos adequados e participando ativamente na sua divulgação; garantir a aprendizagem organizacional, encontrando formas adequadas de transferir as aprendizagens dos membros da rede para as respetivas organizações; instituir práticas formativas nas reuniões da Rede, como apresentações temáticas de membros da rede e/ou peritos e exposição sobre participações em eventos (conferências, seminários, reuniões sobre avaliação); elaborar um diagnóstico de necessidades de formação em M&A que sirva de suporte a um plano de capacitação adequado aos membros da Rede e a outras entidades da administração pública e, subsequentemente, elaborar um plano de formação/capacitação. Quadro regulamentar Decreto-Lei. nº 137/2014, de 12 de setembro 1. A coordenação do Portugal 2020 e a sua capacitação institucional são garantidas através da criação e dinamização de redes de articulação funcional, sem prejuízo das competências das autoridades de gestão. 2. São criadas as seguintes redes de articulação funcional: ( ) b) Rede de monitorização e avaliação; 3. As redes referidas nas alíneas a) a d) do número anterior são coordenadas pela Agência, I.P. 4. As redes referidas nas alíneas a) e b) integram todas as entidades com competências na governação dos FEEI, nas respetivas matérias ( ) (Art. 61º). Plano de Avaliação do Programa Operacional Regional do Norte /182 -

47 2.3. Processo de avaliação Questões de avaliação e Métodos A importância das questões de avaliação (QA) na qualidade das avaliações justifica que se inscreva no PGA PT2020 um conjunto de princípios a atender na sua definição, bem como uma lista de questões de avaliação tipo, por critério de avaliação. Esta lista serve de apoio à construção das QA em cada exercício de avaliação, sendo contudo questões genéricas que podem ser especificadas em função do que se pretende analisar em cada avaliação. Foi dado um maior peso às questões da eficácia, da eficiência e do impacto, pela relevância que assumirão nas avaliações do PT2020. No entanto, o peso das questões de avaliação por critério deverá variar de acordo com os objetivos de cada avaliação. Princípios Orientadores à construção das questões de avaliação estabelecer um encadeamento lógico entre os objetivos específicos, as dimensões de análise do objeto e as questões de avaliação; este encadeamento deve corresponder a uma real necessidade de conhecimento, identificação de novas soluções, correspondente à necessidade de um input para uma tomada de decisão; definir as QA em função dos critérios de avaliação, priorizados tendo em conta as necessidades dos stakeholders e o racional orientador da avaliação; identificar os métodos possíveis para responder às QA e verificar a existência da informação necessária para o desenvolvimento desses métodos; os temas de maior preocupação devem ser abordados por questões de avaliação específicas; as QA devem: i) ser suscetíveis de gerar uma resposta, uma vez que todas as QA devem ser respondidas pela avaliação, ii) ser específicas e focalizadas no objeto de avaliação de forma a possibilitar retirar conclusões objetivas, iii) ser equilibradas em número de acordo com o objetivo da avaliação, iv) decorrer diretamente do(s) objetivo(s) da avaliação. Questões de Avaliação Tipo Relevância Em que medida os objetivos da intervenção dão resposta às necessidades dos beneficiários? Em que medida a intervenção responde às necessidades e prioridades do território? Houve mudanças de contexto que justifiquem alterações nos objetivos da intervenção? Em que medida os objetivos da intervenção são relevantes face às prioridades das políticas públicas associadas? Coerência interna As atividades e os resultados permitem alcançar os objetivos de uma forma lógica? Coerência externa Existem complementaridades e/ou sinergias e/ou sobreposições entre a intervenção avaliada e outras intervenções a atuar sobre o mesmo constrangimento ou território? Plano de Avaliação do Programa Operacional Regional do Norte /182 -

48 Eficácia A intervenção alcançou os seus objetivos específicos ou irá alcançá-los no futuro por efeito da sua realização? Que fatores externos influenciaram, positiva ou negativamente, o alcance dos resultados? Ocorreram efeitos imprevistos (positivos ou negativos)? A intervenção produziu os efeitos esperados? Poderiam ter sido alcançados mais efeitos se tivessem sido utilizados outros instrumentos? Que mudanças podem ser observadas em relação aos objetivos da intervenção? Porque é que a mudança ocorreu? (Avaliação baseada na teoria) Como é que a intervenção causou essa mudança? (Avaliação baseada na teoria) Em que medida as mudanças observadas podem ser atribuídas à intervenção? (Contrafactual) Os resultados obtidos com a intervenção variam segundo os diferentes subgrupos do grupo-alvo principal? (Contrafactual) O que pode ser feito para que a intervenção possa ser mais eficaz? Eficiência As componentes da intervenção foram concretizadas com o mínimo de recursos? Os resultados da intervenção foram alcançados com o mínimo de recursos? Poder-se-ia ter alcançado mais resultados com os mesmos recursos? A intervenção foi economicamente compensadora, tendo em conta possíveis alternativas para a aplicação dos recursos disponíveis? Foram desenvolvidos procedimentos racionais de gestão financeira e de recursos humanos? (Eficiência operativa) Impacto Quais são os efeitos globais da intervenção no contexto socioeconómico (planeados e não planeados, esperados e não esperados, positivos ou negativos)? Que fatores externos influenciaram, positiva ou negativamente, o alcance dos resultados? Porque é que a mudança ocorreu no contexto socioeconómico? (Avaliação baseada na teoria) Como é que a intervenção causou essa mudança no contexto socioeconómico? (Avaliação baseada na teoria) Sustentabilidade Os resultados são duráveis no tempo para além do período da intervenção? Quais os fatores que determinam a durabilidade/sustentabilidade dos resultados e impactos observados? Os métodos de avaliação deverão ser escolhidos em função do objetivo/objeto da avaliação e de cada uma das questões de avaliação. Os Cadernos de Encargos serão construídos de forma a garantir a apresentação, nas propostas técnicas, dos métodos mais adequados ao que se pretende analisar em cada avaliação. Em função da especificidade de cada avaliação, poderão ser adotadas uma das seguintes hipóteses relativamente ao grau de explicitação no Caderno de Encargos dos métodos a utilizar: a entidade contratante define no Caderno de Encargos (para a totalidade ou parte do estudo) os métodos que preferencialmente devem ser desenvolvidos. Nesta hipótese deve solicitar-se que as propostas dos concorrentes fundamentem a adequabilidade dos métodos e como estes vão ser combinados entre si na resposta às diferentes questões Plano de Avaliação do Programa Operacional Regional do Norte /182 -

49 de avaliação; as propostas devem, igualmente, apresentar uma análise sucinta da informação existente e necessária para a aplicação dos respetivos métodos, os pontos fortes e fracos dos dados, e os enviesamentos potenciais associados a cada método. Devem igualmente apresentar uma descrição das técnicas de recolha de dados a utilizar; os concorrentes propõem, na proposta técnica, os métodos que considerem mais adequados, fundamentando as opções tomadas com base em critérios objetivos de pertinência, robustez e proporcionalidade face ao âmbito, ao tipo e aos objetivos da avaliação, bem como as técnicas de recolha de informação. Nos procedimentos de negociação as opções apresentadas em termos de métodos de avaliação podem ser alvo de negociação. O documento Orientações para o planeamento e preparação dos exercícios de avaliação (TdR) explicitará os métodos existentes e as suas principais características (descrição do método, vantagens, desvantagens, requisitos e situações de aplicação). O Caderno de Encargos deve fornecer a informação necessária ao desenvolvimento de uma proposta adequada aos objetivos do estudo Informação de suporte às avaliações A exigência de informação requerida para alimentar os indicadores dos programas e para o desenvolvimento de metodologias de análise de impactos (p.e., microdados), bem como o potencial existente atualmente nas bases administrativas dos diversos sistemas da Administração Pública e nos sistemas de informação de suporte à gestão dos fundos da UE, impõem exigências acrescidas à preparação prévia e atempada da informação necessária à realização dos exercícios de avaliação. Estas condicionantes colocam cada vez mais o enfoque da recolha de informação quantitativa numa fase prévia à realização dos estudos (quer com o recurso a bases de dados existentes, quer através da realização de questionários específicos ou comuns a diferentes avaliações), em alternativa à produção desta informação no decurso da realização das próprias avaliações, como acontecia no passado. Com efeito, a quantidade de registos e o detalhe da informação exigida obriga: i) à recolha administrativa de dados determinantes à avaliação logo na fase inicial das candidaturas; ii) ao cruzamento destes dados com outras bases de dados administrativas sectoriais, que exigem procedimentos técnicos e de proteção de dados complexos; ou iii) à Plano de Avaliação do Programa Operacional Regional do Norte /182 -

50 recolha de informação através de inquéritos próprios, cuja complexidade e dimensão apenas se coaduna com a realização de questionários que deem resposta a diferentes avaliações. Qualquer uma destas opções exige que o processo de planeamento e de recolha de informação se realize com períodos longos (anos) de antecedência. Consideram-se como passos relevantes, para providenciar a informação necessária às propostas (a disponibilizar nas especificações técnicas) e para desenvolver as avaliações (a disponibilizar no início dos exercícios): o preenchimento da Ficha de avaliação inscrita no PGA PT2020 que contém a informação requerida para o desenvolvimento da avaliação; assegurar que o sistema de informação do PT2020 é eficaz para efeitos de avaliação, ou seja, que a informação quantitativa responderá cabalmente aos imperativos metodológicos das avaliações (p.e., abordagens contrafactuais); desenvolver inquéritos específicos para recolha de informação comum a diferentes estudos de avaliação; assegurar o acesso a microdados de fontes administrativas e eventuais cruzamentos de bases de dados, de forma a garantir a caracterização exaustiva dos destinatários e a informação longitudinal que possibilite a constituição de grupos de análise e de controlo; assegurar que a interação com as entidades produtoras de informação designadamente o Instituto Nacional de Estatística (INE), o Instituto de Emprego e Formação Profissional (IEFP) e a Segurança Social possa assegurar a construção de indicadores relevantes para a avaliação do PT2020; garantir os requisitos da proteção de dados nos diferentes processos de recolha de informação referidos nos passos anteriores. A palavra-chave deste processo é atempadamente, uma vez que se trata de mecanismos morosos e que importa garantir que deem os seus resultados a tempo de efetuar as avaliações no período em que estão previstas e em que serão úteis. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

51 Quadro regulamentar ( ) Compete aos Estados-Membros garantir os recursos necessários para efetuar as avaliações, bem como os procedimentos a aplicar para a produção e recolha dos dados necessários a essas avaliações, incluindo os dados relativos aos indicadores comuns e, quando apropriado, aos indicadores específicos dos programas (Regulamento (UE) nº 1303/2013, de 17 de dezembro, n.º 2 do artigo 54º) Modo de realização das avaliações As avaliações previstas no Plano de Avaliação serão efetuadas sobretudo com recurso a peritos externos. Em determinadas situações poderão ser constituídas equipas mistas ou internas, nomeadamente nas análises contrafactuais e na elaboração de inquéritos que contribuam para a realização de diferentes avaliações, por estas requererem conhecimentos aprofundados residentes nas entidades contratantes, nomeadamente o domínio das bases de dados e a lógica de programação, e também para permitir a capacitação da administração pública em determinados métodos (p.e., contrafactuais). Será utilizado, igualmente, o recurso a equipas mistas e/ou internas em situações de experimentação de métodos inovadores ou de divulgação/utilização ainda restrita. Será assegurada a independência necessária das pessoas que participam na realização das avaliações do PT2020 face às funções de conceção e/ou de execução das políticas e do programa objeto de análise, de forma a garantir a objetividade e imparcialidade nas conclusões e recomendações da avaliação. Mesmo que, excecionalmente, se encontrem funcionalmente incluídos em departamentos com funções de implementação, essas pessoas estarão adstritas, exclusiva e formalmente, à função de avaliação e de monitorização. No caso dos avaliadores externos, será assegurada a ausência de conflito de interesses (no Caderno de Encargos), garantindo que os elementos que constituem a equipa de avaliação não participaram na fase de programação ou de implementação da política/programa objeto da avaliação. Quadro regulamentar A realização das avaliações é assegurada por peritos internos ou externos funcionalmente independentes das autoridades responsáveis pela execução do programa. A Comissão fornece orientações sobre as modalidades de realização das avaliações, imediatamente após a entrada em vigor do presente regulamento (Regulamento (UE) 1303/2013, de 17 de dezembro, n.º 3 do artigo 54º). Na seleção de peritos externos serão utilizados os procedimentos previstos no Código dos Contratos Públicos (CCP), designadamente: Concurso público, Concurso limitado por prévia Plano de Avaliação do Programa Operacional Regional do Norte /182 -

52 qualificação, Procedimento de negociação ou Ajuste direto. Contudo, será privilegiada a adoção de um dos três primeiros procedimentos mencionados. Os documentos do concurso especificarão as regras e os critérios de submissão, exclusão, seleção e adjudicação das propostas, nomeadamente o Modelo de avaliação das propostas com os respetivos critérios de adjudicação. Serão privilegiados critérios de adjudicação associados à qualidade da proposta técnica, em detrimento da proposta financeira (que terá um peso inferior) e do prazo (que não será um critério de adjudicação). Será garantido que o avaliador detém as competências necessárias para o desenvolvimento da avaliação nomeadamente, experiência em avaliação, nos métodos requeridos/propostos e nas temáticas, contexto institucional e regional objeto de avaliação sobretudo através de: concurso limitado por prévia qualificação, quando se pretende garantir a contratação de uma entidade com determinadas características/competências; inclusão no Modelo de avaliação das propostas do critério de experiência dos elementos que compõem a equipa do avaliador; avaliação da qualidade da proposta técnica (como critério de avaliação de propostas); demonstração de sistemas de garantia de qualidade por parte dos avaliadores. Por fim, serão desenvolvidas ações no sentido de trazer para a avaliação de políticas públicas cofinanciadas outras entidades avaliadoras, nomeadamente centros de estudos e instituições de ensino superior, de forma a evitar a concentração das adjudicações num leque limitado de entidades Orçamento e Duração das avaliações A duração da realização de cada avaliação deverá ser planeada pela entidade adjudicante, considerando o seguinte: o prazo de realização da avaliação será fixo, não constituindo um fator de pontuação na seleção das propostas dos concorrentes; a definição do prazo de realização das avaliações, desde a adjudicação até à aprovação do relatório final, deverá situar-se entre os seis a doze meses, em função da complexidade da avaliação, nomeadamente, dos métodos utilizados; Plano de Avaliação do Programa Operacional Regional do Norte /182 -

53 o tempo de disponibilização da informação solicitada pelo avaliador; períodos de interrupção da contagem do tempo associadas à elaboração do parecer do Grupo de Acompanhamento; assunção de perspetiva realista para a duração da realização das avaliações. O preço base, ou seja, o preço máximo a alocar a cada avaliação, será definido pela entidade adjudicante, por referência a custos padrão, tendo em consideração os objetivos e o âmbito da avaliação, bem como a sua complexidade em termos do método requerido para o desenvolvimento do estudo e da duração temporal da execução da avaliação. A definição do preço deverá, assim, considerar: Avaliações de processo vs. Avaliação de impacto Análise contrafactual vs. Avaliação baseada na teoria Programas/multiprograma Dimensão dos PO Inclusão ou não das Regiões Autónomas Duração das avaliações O recurso ou não a recolha de informação primária Apresenta-se nos quadros abaixo o orçamento indicativo de implementação do Plano de Avaliação. Quadro 3 - Orçamento indicativo do PGA PT2020 Orçamento indicativo da realização das avaliações Custo ( ) Avaliações previstas no PGA PT Avaliações que abrangem o PO Norte Orçamento indicativo da capacitação em avaliação Ações de Capacitação com recurso a peritos nacionais e internacionais (12 sessões de 1 dia para 25 pessoas) Participação em Ações de Formação /Conferências Internacionais (47 participações/16 AG + AD&C/ , inclui inscrição e despesas de deslocação) Participação em Ações de Formação /Conferências Internacionais (133 participações/16 AG + AD&C/ , inclui despesas de deslocação) Tradução de documentação técnica Plano de Avaliação do Programa Operacional Regional do Norte /182 -

54 2 Conferências Internacionais sobre Avaliação Reuniões Rede de Monitorização e Avaliação Nacional (3 reuniões/ano) e Redes Europeias de Avaliação (4 reuniões/ano) Total das ações de capacitação Orçamento indicativo da comunicação das avaliações do PGA PT Seminários de apresentação de resultados das avaliações (1/2 dia 100 pessoas) Produção de material de divulgação (Publicações, Brochuras e outros matérias de divulgação) Aquisição de serviços de comunicação (Infográficos; Posters; linguagem não técnica) Total da comunicação Aquisição de Informação Total Global Somatório dos valores máximos previstos para cada exercício de avaliação, ou os valores já contratados no caso dos estudos de avaliação já iniciados. 2 Inclui uma conferência realizada em Maio 2015 Os custos acima orçados serão suportados pelo Programa Operacional Assistência Técnica (PO AT) ou pela Assistência Técnica (AT) dos Programas. Note-se a este propósito que, no caso dos exercícios de avaliação, só a Avaliação Intercalar do PO Norte é seguramente uma despesa da AT. No entanto, também outras despesas poderão ser imputadas a este programa desde que relacionadas com ações complementares referidas no ponto Gestão dos exercícios de avaliação O planeamento e a gestão dos exercícios de avaliação requerem um modelo de gestão específico, que contemple quer a definição dos atores e suas responsabilidades, quer os mecanismos de envolvimento destes. Pretende-se que o processo de avaliação do PT2020 seja de responsabilidade partilhada envolvendo um conjunto alargado de stakeholders, de forma a garantir a utilidade e uma elevada qualidade técnica do processo, com o contributo de diferentes competências e perspetivas e que se constitua como uma oportunidade de capacitação dos stakeholders. Neste sentido, a definição do modelo de gestão assentará nos seguintes princípios orientadores: Subsidiariedade quando uma avaliação incide apenas num programa a coordenação é garantida pela respetiva AG; quando incide em mais do que um programa é assegurada Plano de Avaliação do Programa Operacional Regional do Norte /182 -

55 por uma das entidades de coordenação técnica e/ou temática ou, quando se justifique, por uma AG. Envolvimento de atores garantir mecanismos de participação ativa dos atores nas diferentes fases da avaliação através da constituição de Grupos de Acompanhamento. Estes devem reunir, para além dos organismos diretamente implicados na gestão do processo da avaliação, outras entidades públicas, parceiros sociais e/ou outras AG não diretamente envolvidas na avaliação em causa, cujas diferentes competências técnicas e perspetivas contribuam para assegurar a qualidade e a utilidade das avaliações. Capacidade técnica existência de unidades técnicas/pessoas com responsabilidade na avaliação e dedicadas prioritariamente a esta área nas AG. O planeamento e a preparação dos exercícios de avaliação inicia-se com a elaboração do PGA PT2020 e do plano específico de avaliação do Norte 2020, no seio da Rede M&A, que inclui as autoridades de gestão dos PO e as coordenações técnicas dos fundos. Desta forma, a Rede M&A estabelece os princípios orientadores para o processo avaliativo e emite orientações (no PGA PT2020 e nos documentos autónomos) que orientem as entidades adjudicantes no processo de avaliação. Estas orientações permitirão assegurar a harmonização do processo de avaliação, bem como garantir o nível de qualidade pretendido. Realça-se, ainda, a definição, no Capítulo III, das avaliações a efetuar e as respetivas fichas de caracterização. Estas fichas são elaboradas pelas autoridades de gestão e de coordenação técnica, com a participação, sempre que se justifique, de outros atores com responsabilidades nas matérias abordadas. A CIC e o Comité de Acompanhamento dos PO aprovam, respetivamente, o PGA PT2020 e os Planos de Avaliação dos PO, que inclui as referidas fichas, e respetivas revisões. Compete à entidade adjudicante coordenar a avaliação em todas as suas fases, assegurando: i) o lançamento do concurso (destacando-se a elaboração dos documentos do concurso por forma a garantir a participação dos concorrentes em condições de igualdade e a promoção da concorrência); ii) a verificação do cumprimento do Caderno de Encargos/contrato durante a realização das avaliações; iii) o acompanhamento da implementação das recomendações; iv) e a divulgação dos resultados da avaliação, nomeadamente da componente sob a sua responsabilidade. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

56 Dando cumprimento ao estabelecido no quadro regulamentar e de forma a concretizar o PGA PT2020 aprovado pela CIC, as Autoridades de Gestão e de Coordenação Técnica deverão mobilizar as competências necessárias para o bom desempenho da função de avaliação. Para o cumprimento das suas funções, a entidade adjudicante deverá designar dois representantes (um efetiva e outro suplente) como responsáveis pela avaliação e como pontos de contacto com o avaliador, de forma a garantir uma contínua capacidade de resposta às solicitações do avaliador. Quadro regulamentar ( ) Compete aos Estados-Membros garantir os recursos necessários para efetuar as avaliações ( ) (Regulamento (UE) nº 1303/2013, de 17 de dezembro, n.º 2 do artigo 54º). ( ) Compete aos Estados-Membros garantir uma capacidade de avaliação adequada (Regulamento (UE) nº 1303/2013, de 17 de dezembro, n.º 2 Art. 56º). Compete ainda à entidade adjudicante a mobilização e coordenação do Grupo de Acompanhamento da avaliação, onde deverão estar representadas entidades ou órgãos com relevância no objeto da avaliação e, caso se considere adequado, poderão participar peritos. O Grupo de Acompanhamento da avaliação deverá assegurar a função da representação institucional dos parceiros envolvidos na avaliação, aliada à função da supervisão técnica e metodológica da avaliação. Este Grupo desempenhará um papel relevante ao longo de todo o processo avaliativo, sobretudo no contributo para a elaboração das Especificações Técnicas, no acompanhamento dos estudos (garantindo o cumprimento do contrato), através da emissão de pareceres aos relatórios, e na divulgação e follow-up. O Grupo de Acompanhamento reunirá sempre que se justifique, por convocatória da entidade adjudicante. Estas duas entidades entidade adjudicante e Grupo de Acompanhamento terão um papel determinante na análise e elaboração conjunta dos pareceres aos relatórios entregues pelos avaliadores. Estes pareceres, elaborados através de contributos escritos de cada membro do Grupo de Acompanhamento e sistematizados num único parecer pela Entidade adjudicante, farão o controlo de qualidade dos relatórios, que beneficiará das diferentes perspetivas que os elementos do Grupo de Acompanhamento têm das temáticas em causa. A entidade adjudicante aprecia os relatórios com base no parecer do Grupo de Acompanhamento, aprovando o relatório ou exigindo a sua revisão. Os relatórios serão analisados em função dos Cadernos de Encargos, da proposta técnica e da Grelha para aferição da qualidade dos relatórios da avaliação. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

57 Serão exigidas versões dos produtos finais até ao cumprimento destes requisitos e o pagamento de cada relatório dependerá da aprovação do mesmo. O Caderno de Encargos estabelecerá mecanismos de garantia de qualidade, nomeadamente a possibilidade de aditamento e de cancelamento do contrato em caso de incumprimento, bem como a definição de uma cláusula de rescisão antecipada do contrato condicionada à qualidade do trabalho desenvolvido. Quadro 4 - Principais objetivos da participação dos atores a envolver na avaliação Entidade Objetivo Decisores políticos (CIC) Grupo de Acompanhamento Autoridades de coordenação e Autoridades de gestão Representantes da administração pública sectorial que implementam as políticas públicas Parceiros sociais pertinentes Peritos Avaliadores Assinalar momentos-chave em que são necessários resultados de avaliações para a decisão política Formular questões de avaliação, nomeadamente relativas a impactos Utilizar os resultados das avaliações nas suas tomadas de decisão Coordenar todo o processo avaliativo, assegurando a sua qualidade (nomeadamente, elaboração dos Cadernos de Encargos incluindo a formular das questões de avaliação, lançamento do concurso, coordenação dos Grupos de Acompanhamento, aprovação dos Relatórios, follow-up e divulgação das recomendações) Implementar os respetivos processos de follow up Formular as questões de avaliação Disponibilizar informação relevante para a avaliação Incorporar nos pareceres técnicos o conhecimento que detêm sobre a temática em avaliação potenciando a sua qualidade Implementar os respetivos processos de follow up Apoiar o Grupo de Acompanhamento com conhecimento sobre a temática em avaliação e/ou sobre metodologias de avaliação Elaborar as avaliações e apresentá-las ao Grupo de Acompanhamento Dar conta das dificuldades no desenvolvimento do processo e encontrar soluções no Grupo de Acompanhamento Refletir sobre os pareceres técnicos do Grupo de Acompanhamento tendo em vista a melhoria da qualidade dos produtos da avaliação Poderá ser constituído um Comité Científico que apoie as atividades do Grupo de Acompanhamento da avaliação em matérias que requeiram conhecimentos técnicos e/ou metodológicos específicos. Este comité deverá pronunciar-se sobre a adequação da metodologia utilizada e a qualidade das análises efetuadas, assim como efetuar recomendações. O Júri do Concurso será constituído por representantes de três entidades integradas na Rede de M&A e envolvidas no objeto da avaliação. Em situações concretas, quando se revelar adequado, o órgão competente para a decisão de contratar poderá designar peritos ou consultores, para apoiarem o júri do concurso no exercício das suas funções, podendo aqueles participar, sem direito de voto, nas reuniões do júri. O júri hierarquizará as propostas através da aplicação do Plano de Avaliação do Programa Operacional Regional do Norte /182 -

58 Modelo de avaliação das propostas com os respetivos critérios de adjudicação e apresentará uma proposta de adjudicação. Na última fase do processo avaliativo, cabe à entidade adjudicante elaborar os produtos de divulgação que forem definidos na estratégia de comunicação, estabelecida durante a elaboração do caderno de encargos, como sendo da sua responsabilidade. Deverá, nomeadamente, construir a sua própria interpretação das conclusões do estudo e divulgar estes produtos e os elaborados pelo avaliador (incluídos no Caderno de Encargos ou propostos pelo próprio avaliador) ou de responsabilidade mista. As AG têm ainda como responsabilidades o envio à CE das avaliações e a respetiva disponibilização nos sítios web dos programas. Cabe-lhe igualmente coordenar o trabalho de acompanhamento da implementação das recomendações da avaliação. O Grupo de Acompanhamento, enquanto conjunto de entidades interessadas na avaliação e principais destinatários das conclusões e recomendações, é o principal responsável pelo seu uso sistemático, implementando os mecanismos de follow up nas respetivas entidades e potenciando a divulgação dos resultados junto dos seus públicos específicos. O Comité de Acompanhamento dos programas analisa as avaliações e efetua o adequado acompanhamento das conclusões e recomendações, monitorizando as medidas adotadas pela AG. Quadro regulamentar FEEI ( ) O comité de acompanhamento pode fazer observações à autoridade de gestão sobre a execução do programa e a sua avaliação, incluindo ações relacionadas com a redução dos encargos administrativos dos beneficiários. Compete ao comité de acompanhamento monitorizar as medidas tomadas na sequência dessas observações (REG (UE) nº 1303/2013, Art. 49º 4). ( ) Todas as avaliações são analisadas pelo comité de acompanhamento ( ). (REG (UE) nº 1303/2013, Art. 56º 3). ( ) Durante o período de programação, a autoridade de gestão ( ) assegura que as avaliações estão sujeitas ao acompanhamento adequado em conformidade com as regras específicas dos Fundos. ( ) (REG (UE) nº 1303/2013 Art. 56º 3). FEDER/FC/FSE (...) O comité de acompanhamento examina, em especial: ( ) b) o seguimento dado às conclusões das avaliações ( ) (REG (UE) nº 1303/2013 Art. 110º 1). Compete à Agência, I.P. ( ) Participar no acompanhamento dos exercícios de avaliação do Portugal 2020 e dos respetivos programas (D.L. nº137/2014 Art. 12º u). FEADER Compete à CCN ( ) b) Emitir orientações técnicas sobre os exercícios de avaliação referidos na alínea d) do artigo 13.º, participar no processo de seleção das entidades que as vão realizar, acompanhar os exercícios de avaliação e emitir parecer sobre os correspondentes relatórios intercalares e finais ( ) (D.L. nº 137/2014 Art. 16º). FEAMP Compete à CCF ( ) Pronunciar -se sobre os relatórios intercalares e finais de avaliação do Mar 2020 ( ). (D.L. nº 137/2014 Art. 18º). Plano de Avaliação do Programa Operacional Regional do Norte /182 -

59 Quadro 5 - Principais atores e respetivas funções (síntese) 2.4. Utilização dos resultados das avaliações e acompanhamento da implementação das recomendações A utilização dos resultados das avaliações O objetivo primordial do processo avaliativo é assegurar o uso alargado e sistemático dos resultados das avaliações, promover a aprendizagem e apoiar a tomada de decisão, tendo em vista a melhoria dos processos e das intervenções. Medir o nível de utilização da avaliação significa encontrar evidências de mudanças nas práticas das organizações e nas políticas induzidas pelos conhecimentos adquiridos nas avaliações. Deste modo, a implementação do PGA PT2020 e, em especial, do Plano de Avaliação do NORTE 2020 deverá considerar que a utilização eficaz dos resultados das avaliações depende, entre outros, dos seguintes fatores: Plano de Avaliação do Programa Operacional Regional do Norte /182 -

60 a relevância da avaliação para quem a contrata é um fator que influencia o nível de utilização da avaliação, considerando que a avaliação não é um mero exercício administrativo de resposta a exigências legais, mas que os seus resultados respondem a necessidades de informação para a tomada de decisão. Os resultados da avaliação merecem, assim, reflexão, respostas adequadas e disseminação por parte dos responsáveis da organização contratante; a importância relativa da avaliação no processo de decisão política, pois a avaliação é considerada uma das fases relevantes do processo de decisão, por parte dos decisores políticos e de gestão. Os resultados da avaliação, mesmo que reconhecidamente úteis, bem comunicados e debatidos, concorrem com outros fatores na decisão política. É obrigação das entidades que encomendam a avaliação não só construir um bom argumentário que sustente a utilidade dos resultados para a decisão política mas também encontrar complementaridades e compromissos com outros fatores concorrentes; o sentido de oportunidade da avaliação, visto que a decisão política tem tempos de oportunidade que devem ser tidos em conta na definição dos tempos da avaliação. Importantes resultados das avaliações podem deixar de ser utilizados se não forem disponibilizados de acordo com a oportunidade determinada pela necessidade da tomada de decisão; o sentido de apropriação dos resultados da avaliação, pois os resultados serão tanto mais apropriados e utilizados quanto maior for o grau de envolvimento dos stakeholders (incluindo os decisores políticos) ao longo do processo de avaliação, tendo em conta que cada um dos intervenientes no processo tenderá a influenciar o exercício de avaliação para responder às suas necessidades de tomada de decisão; a construção de conhecimento derivado dos estudos de avaliação. A uma realidade social e económica e a uma intervenção política complexa, a avaliação tem vindo a responder com avaliações de programas ou temáticas na tentativa de melhor compreender os efeitos causais das intervenções. No entanto, tendo em vista a informação a colocar à disposição dos responsáveis e decisores políticos, este processo deve ser complementado com outros produtos que incluam, nomeadamente, a sistematização das evidências e das principais mensagens resultantes das diferentes avaliações sobre uma determinada temática, a meta-análises, a conjugação das Plano de Avaliação do Programa Operacional Regional do Norte /182 -

61 conclusões das avaliações com outros estudos de investigação ou fontes estatísticas. Este exercício permitirá igualmente a identificação da necessidade da realização de novas avaliações Acompanhamento da implementação das recomendações Um dos fatores de sustentação do uso das avaliações reside no processo de acompanhamento da implementação das recomendações (follow-up) que se pretende valorizar no PGA PT2020 através da criação de instrumentos específicos para o efeito. Será implementada a seguinte estratégia. Objetivo geral Responsabilizar, monitorizar e prestar contas sobre o uso (quem, como e quando) das conclusões e recomendações das avaliações e promover a aprendizagem organizacional, tendo em vista contribuir para a melhoria dos programas e das políticas públicas. Medidas Definição da entidade responsável pelo follow-up das recomendações de cada avaliação. Elaboração de uma Grelha de follow-up, na qual se descreve, entre outras, a recomendação, a interpretação da recomendação pela entidade responsável pelo follow-up, a decisão de aceitação e respetiva justificação. Elaboração de um Plano de ação para a implementação das recomendações aceites, que inclua, entre outras, iniciativas de implementação da recomendação a promover, o seu estado de concretização, as entidades responsáveis pela implementação destas iniciativas, calendarização e orçamento/recursos. Inclusão dos resultados do follow-up nos Relatórios Anuais dos PO. Entidades envolvidas Entidade responsável pela gestão do follow-up das avaliações do PT2020: AD&C, na qualidade de coordenadora da Rede M&A. Entidade responsável pelo follow-up da avaliação: entidade contratante. Entidades responsáveis pela implementação das recomendações: a definir de acordo com cada recomendação. Quadro regulamentar FEDER/FC/FSE: O comité de acompanhamento examina ( ) b) ( ) o seguimento dado às conclusões das avaliações (REG (UE) nº 1303/2013 Art. 110º 1). O processo de follow-up será desenvolvido no documento autónomo Orientações para o acompanhamento da implementação das recomendações das avaliações (follow-up) Comunicação dos resultados das avaliações A comunicação das conclusões e recomendações das avaliações tem um papel fundamental na concretização dos princípios da utilidade, da transparência e da aprendizagem. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

62 Uma sistemática comunicação interna entre todos os stakeholders integrantes do Grupo de Acompanhamento, ao longo do processo de avaliação, permite que as tomadas de decisão sejam informadas e refletidas e que a aprendizagem contínua se reflita na melhoria do processo avaliativo. A utilidade de uma avaliação cumpre-se quando os seus resultados são conhecidos, compreendidos e utilizados. Uma cuidada comunicação externa sobre os resultados da avaliação, com suportes comunicacionais, mensagens, tecnicidade e linguagens adaptadas a diferentes destinatários, permite uma melhor compreensão dos propósitos e resultados da avaliação, potenciando a sua utilização e dando resposta ao princípio da transparência na prestação de contas aos cidadãos. Não menos importante, permite uma maior responsabilização dos decisores e responsáveis das políticas e dos programas públicos pelos resultados alcançados face aos objetivos inicialmente estabelecidos e prometidos, fruto sobretudo de um debate público mais informado. Quadro regulamentar ( ) Todas as avaliações são tornadas públicas (REG. (UE) nº 1303/2013 Art. 54º 4). ( ) Todas as avaliações são ( ) transmitidas à Comissão (REG (UE) nº 1303/2013 Art. 56º 3). ( ) Todas as avaliações são tornadas públicas e apresentadas nas comissões de acompanhamento dos PO abrangidos, devendo ser implementados mecanismos de seguimento das recomendações das avaliações (D.L. nº 137/2014 Art. 51º 3) Sistema de avaliação da aplicação dos FEEI Contribuindo para o desenvolvimento de uma cultura de avaliação e prestação de contas e para a afirmação da importância dos resultados das avaliações dos programas e das intervenções na tomada de decisão política, serão promovidas avaliações de impacto (multi-método) em áreas consideradas estratégicas e aprofundados os mecanismos de divulgação e debate público (no Acordo de Parceria capítulo sobre Coordenação operacional entre FEEI). Neste contexto, para além de ser aconselhável estabilizar, entre os stakeholders do Grupo de Acompanhamento, os procedimentos de comunicação interna a observar ao longo do exercício de avaliação, importa que se reflita sobre a comunicação dos resultados da avaliação na fase de planeamento/preparação das avaliações: a quem se destina a avaliação? Que tipos de questões da avaliação são importantes para cada tipo de destinatários? Que tipo de produtos devem ser produzidos para que destinatários? Quem é responsável pela produção dos produtos de comunicação (equipa de avaliadores? Contratante? Contratante e stakeholders?)? Como pretendem os diferentes interessados na avaliação utilizar interna e externamente os resultados da avaliação? Que ações de divulgação e se pretende realizar e com que destinatários? Plano de Avaliação do Programa Operacional Regional do Norte /182 -

63 É esta reflexão inicial que permitirá introduzir no caderno de encargos as solicitações específicas relativas a produtos e ações de comunicação adequados a diferentes destinatários. A estratégia global de comunicação no âmbito do PGA PT2020 tem os atributos que se seguem. Objetivo geral Divulgar os resultados das avaliações ao nível político, institucional e público, potenciando o debate sobre os mesmos, a fim de contribuir para o desenvolvimento de uma cultura de avaliação e de prestação de contas e para a valorização dos processos de avaliação na tomada de decisão e na ação para a mudança. Objetivos específicos Potenciar o uso das avaliações nos processos de decisão política e de gestão dos programas. Divulgar os resultados das avaliações através de diversos meios de comunicação, de ações de informação/formação e com suporte em produtos de comunicação apropriados aos públicos a que se destinam. Promover um debate público alargado sobre o processo e os resultados das avaliações, aberto ao questionamento e ao contraditório por pares, peritos e responsáveis de política. Aprofundar conhecimento através da criação de um repositório de conclusões e evidências sobre as temáticas avaliadas. Princípios orientadores Abrangência e adequação: produzir produtos/ações de natureza diversa adequados a públicos-alvo distintos. Legibilidade e utilidade: investir na simplificação da linguagem técnica e em formatos atrativos de comunicação para melhorar o entendimento e a utilidade das avaliações. Coerência: consensualizar e conferir uma lógica de conjunto aos produtos e às ações de divulgação pública das avaliações produzidas no âmbito dos FEEI. Processo a implementar por exercício de avaliação Definir, incorporando os contributos dos stakeholders integrados no Grupo de Acompanhamento, as especificidades de comunicação de cada exercício de avaliação (produtos e ações por destinatário). Especificar, no caderno de encargos da avaliação, a estratégia de comunicação pretendida e solicitar aos avaliadores o aprofundamento da mesma e a especificação da participação da equipa de avaliadores em ações de divulgação e debate (podendo este aprofundamento ser um dos critérios de seleção das propostas). Promover ações de divulgação dos resultados de avaliação, com base nos produtos de comunicação desenvolvidos, ponderando o recurso a especialistas de comunicação, nomeadamente para tornar o conteúdo, em termos de linguagem, adequado aos públicos-alvo. Destinatários No âmbito de cada exercício de avaliação serão identificados os destinatários específicos para a divulgação dos resultados da avaliação, considerando deste já os seguintes segmentos de destinatários: Comités de Acompanhamento Autoridades de Gestão Comissão Europeia Governo Assembleia da República (Comissões Parlamentares pertinentes) Organismos Intermédios Plano de Avaliação do Programa Operacional Regional do Norte /182 -

64 Administração Pública central, regional e local Cidadãos Comunicação social/jornalistas Instituições de ensino superior e centros de investigação Avaliadores Parceiros Sociais Destinatários e beneficiários dos programas Produtos A adequação dos produtos de comunicação aos destinatários a abranger é um fator chave para potenciar a compreensão e, como consequência, a utilidade e a utilização dos resultados da avaliação. Na estratégia de comunicação do PGA PT2020 consideram-se como produtos de base os que se apresentam na tabela seguinte. O Relatório Final, o Sumário Executivo e o Policy Brief são produtos comuns à comunicação das diversas avaliações, enquanto os restantes serão selecionados consoante a especificidade de cada avaliação. Existe, no entanto, flexibilidade para poderem ser definidos outros produtos para dar resposta a necessidades específicas. Quadro 6 - Produtos e destinatários de comunicação dos resultados das avaliações Tipo de produtos de comunicação Relatório final (incluindo anexos) Sumário Executivo e Executive Summary Policy briefs Características Documento base do estudo donde sairão todos os outros documentos de comunicação. Deve especificar-se no caderno de encargos os conteúdos e formato exigido. Desenhado de modo a que diferentes partes do relatório se dirijam a diferentes públicos (especificados no índice interativo no caso da publicação digital). Documento autónomo do Relatório com uma importância central divulgação abrangente e operacional. Importante documento para decisores políticos. Deve ser sintético e evidenciar as recomendações. Deve apresentar um encadeamento lógico entre: contexto, metodologias e condicionantes, conclusões e recomendações. O Executive Summary assegura uma difusão mais extensa e permite uma utilização global, nomeadamente por parte dos outros Estados-Membros. Documento (1/2 páginas) que deriva do sumário executivo mas mais condensado e com uma linguagem menos técnica. Apresenta a relevância e pertinência do objeto da avaliação, os principais resultados e as principais recomendações. Principais destinatários Contratante(s) da avaliação stakeholders (membros do Grupo de Acompanhamento) Decisores políticos Comissão Europeia Responsáveis de entidades públicas interessadas Contratante(s) da avaliação stakeholders Decisores políticos Comissão Europeia Responsáveis de entidades públicas interessadas Comunicação social Cidadãos Decisores políticos Comissão Europeia Comunicação social Cidadãos (Documento para distribuir em sessões de divulgação) Plano de Avaliação do Programa Operacional Regional do Norte /182 -

65 Comunicado de imprensa Notícias PowerPoint Infográficos Posters Vídeos Repositório de evidências Documento para servir de base à publicação de notícias ou divulgação de eventos ligados à avaliação. Pode transcrever os conteúdos do policy briefs mas com linguagem apropriada aos media. Notícias com as principais conclusões e recomendações para divulgar nas newsletters e boletins internos dos stakeholders. Os conteúdos derivam dos policy briefs mas com linguagem acessível. Documento de suporte a apresentações públicas sobre os resultados da avaliação. Pode ser construído para servir vários níveis de público. Documentos nos quais a informação é transmitida com uma linguagem rigorosa mas não técnica, transposta para gráficos e imagens (desenhos) de fácil leitura e perceção o mais ampla possível. Os Infográficos para a web podem ser animados e com voz. Cartaz de grande formato (p.e.: 1,20cmx90cm), usual nas apresentações científicas. Apresenta uma informação sucinta mas mais desenvolvida que os policy briefs. Têm um carácter predominantemente académico. Interessa descrever a metodologia. Podem servir de apoio a apresentações públicas mas também podem estar em exposição sem mediação. Documento para apresentação de resultados das avaliações de uma forma mais viva e com possibilidade de ser ilustrada com testemunhos ou casos concretos (story telling). São bons materiais para divulgação nomeadamente em websites. Documento em aberto ao qual se vão juntando os resultados, as evidências, as principais mensagens e as lições resultantes dos exercícios de avaliação e estabelecendo interligações com outras investigações e dados estatísticos, de forma a consolidar conhecimento que informe a decisão política e identifique áreas temáticas com défices de avaliação. Comunicação social stakeholders internos e externos Contratantes das avaliações stakeholders Comunicação Social Cidadãos (p.e. através da divulgação em websites) Contratantes das avaliações stakeholders Comissão Europeia Académicos Avaliadores Especialistas na temática Cidadãos Decisores políticos Comissão Europeia Responsáveis de entidades públicas interessadas Académicos Avaliadores Especialistas na temática A estratégia de comunicação de cada exercício de avaliação deverá explicitar quem são os responsáveis pelos produtos: i) determinados produtos (caso dos relatórios, dos sumários executivos) são necessariamente da responsabilidade das equipas de avaliação, que ao longo do processo terão em consideração o parecer conjunto do Grupo de Acompanhamento, embora mantendo a independência dos seus juízos de valor; ii) outros produtos serão fundamentalmente da responsabilidade dos contratantes, que devem elaborar e priorizar as suas próprias conclusões e recomendações a partir da sua interpretação das conclusões dos avaliadores (caso, p.e., dos policy briefs e dos comunicados de imprensa); outros ainda poderão ser de responsabilidade mista e concertada. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

66 Ações de divulgação e debate público: Dando continuidade à estratégia de comunicação do QREN, apresenta-se no quadro seguinte um conjunto de ações de divulgação a desenvolver no período As primeiras ações serão desenvolvidas para todos os exercícios de avaliação, enquanto as seguintes serão definidas para cada avaliação, em função da sua adequabilidade face ao exercício de avaliação e aos públicos a que se pretende dar a conhecer os resultados da mesma. Quadro 7 - Exemplos de ações de divulgação Ação Características Principais destinatários Reuniões Divulgação nos websites pertinentes Apresentação pública (conferência, seminário ) Outras conferências Workshops Ações de divulgação promovidas pelos stakeholders Apresentação e debate sobre resultados e recomendações, tendo em vista potenciar a importância dos estudos de avaliação no processo de decisão política e implicar os órgãos políticos, nomeadamente, nos mecanismos de acompanhamento da implementação das recomendações Divulgar os produtos produzidos pelo estudo a fim de possibilitar a utilização alargada da informação e servir de base para estudos posteriores sobre a temática (à semelhança do que foi desenvolvido durante a vigência do QREN) Apresentações feitas pelos avaliadores, promotores da avaliação, peritos na temática, responsáveis da política (à semelhança dos workshops temáticos de divulgação de resultados de avaliações do QREN). Pode realizar-se em formato de painel de discussão com a participação de Critical Friends (peritos na matéria encarregues de colocar as questões mais críticas e pertinentes) Apresentação do estudo em outras conferências sobre a temática (nacionais e/ou internacionais). Workshops informativos e formativos Incentivar os stakeholders integrados no Grupo de Acompanhamento da avaliação a promoverem ações de divulgação Decisores políticos Responsáveis de entidades públicas Comissão Europeia Comissões parlamentares pertinentes Todos os destinatários Autoridades de Gestão dos FEEI Decisores políticos Comissão Europeia Responsáveis de entidades públicas Investigadores Avaliadores Cidadãos Universidades/Investigadores Destinatários e beneficiários de projetos cofinanciados pelos FEEI Destinatários pertinentes para os stakeholders Comunicado de imprensa Entrevistas Envio de comunicado de imprensa (com convocação de conferência de imprensa se for caso disso), para divulgação do estudo e/ou divulgação da conferência de debate público Demonstrar o interesse da temática à comunicação social e a disponibilidade para o aprofundar através de entrevistas (e.g., a atores-chave das intervenções; a responsáveis da política avaliada; a responsáveis pelo Comunicação social Comunicação social Cidadãos Plano de Avaliação do Programa Operacional Regional do Norte /182 -

67 Divulgação em redes sociais estudo de avaliação) em órgãos de comunicação escrita, TV e rádio Divulgação do estudo (principais conclusões e recomendações) nas redes sociais (Facebook; Twiter; Blogs) dos contratantes da avaliação e restantes stakeholders Todos os destinatários As ações que implicam a participação da equipa de avaliadores serão especificadas no caderno de encargos. A programação das ações deve ser realizada em interligação com os responsáveis pela comunicação das entidades contratantes. Importa ainda considerar a Comissão Europeia como um destinatário relevante da comunicação do processo e dos resultados das avaliações do PT2020. Considerando as avaliações como uma fonte importante de conhecimento, a comunicação do PGA deve contribuir para um repositório ao nível da UE (alimentado pelos Estados-Membros através do SFC) de relatórios de avaliação, de termos de referência, de metodologias de avaliação inovadoras, de processos participados, de resultados de políticas com evidências credíveis e robustas, permitindo enriquecer a comunidade de avaliação e construir meta-análises de evidências para a construção da política europeia. Neste sentido, os Termos de Referência e os Relatórios das avaliações serão submetidos no SFC (Structural Funds Common database) Capacitação em avaliação A capacitação em avaliação tem sido fortemente impulsionada para responder quer às exigências da CE na avaliação de programas cofinanciados, quer às necessidades de avaliação das políticas públicas em geral. No entanto, há ainda um longo caminho a percorrer no sentido de se criar e consolidar uma cultura de avaliação. A construção de sólidas competências e capacidades em avaliação é uma tarefa complexa, que, como se explicita no Guia Evalsed 6, é tanto mais bem-sucedida e consistente quanto se dirige aos vários níveis possíveis de capacitação. Níveis possíveis de capacitação e respetivos objetivos Individual investir na aquisição de competências através da experiência profissional, da formação profissional e/ou da disponibilizada por instituições de ensino superior; Organizacional promover a integração da avaliação na gestão da organização, a criação de mecanismos de acompanhamento da implementação das recomendações, o recurso à avaliação e ao repositório de evidências como fonte de melhoria da gestão e da decisão política; 6 CE (2013), EVALSED. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

68 Inter-organizacional promover a criação de redes de coordenação entre organizações que assegurem a consistência e a qualidade das várias fases dos processos de avaliação eo desenvolvimento de um mercado de avaliação com regras claras e baseado em standards de qualidade da avaliação que incentive a capacitação dos avaliadores; Societal fomentar hábitos de escrutínio dos resultados das políticas públicas na sociedade, através da divulgação e do debate sobre os resultados das avaliações, criando-se, assim, condições para uma maior responsabilização dos decisores perante os seus constituintes e para a utilização desses resultados na decisão política. Embora circunscrito à avaliação dos programas cofinanciados pelos FEEI, as ações de capacitação a implementar no âmbito do PGA PT2020 têm por objetivo reforçar as competências dos níveis referidos. A estratégia global de capacitação no âmbito do PGA PT2020 tem os atributos que se seguem. Objetivo geral Desenvolver competências e capacitar para a avaliação as entidades com responsabilidades na governação dos FEEI e outras entidades da Administração Pública, central regional e local envolvidas na formulação, operacionalização e avaliação de programas e políticas públicas. Objetivos específicos aprofundar o conhecimento sobre conceitos, métodos e técnicas de avaliação; aprofundar o conhecimento sobre métodos de avaliação adequados aos objetivos dos estudos, às especificidades dos setores/objetos de estudo, o âmbito da problemática, ao grau de territorialização e ao estádio de desenvolvimento das políticas/programas/intervenções a avaliar; qualificar os processos de avaliação capacitando para a produção de cadernos de encargos de qualidade, a elaboração de pareceres tecnicamente sustentados e a exigência de resultados credíveis. Princípios orientadores Abrangência mobilizar um número alargado e diversificado de entidades e atores. Utilidade atender às necessidades dos participantes e criar competências que permitam a mobilização das aprendizagens na resolução de problemas concretos. Qualidade envolver instituições do ensino superior, centros de investigação e peritos no processo de capacitação. Participação e reflexividade estimular a autoinformação e autoaprendizagem contínua. Medidas Realizar um diagnóstico de necessidades de formação no âmbito, nomeadamente, da Rede M&A Realizar ações de capacitação de conteúdo, abrangência, formato e público-alvo diversificado. Estabelecer protocolos de colaboração com instituições do ensino superior. Instituir práticas, nomeadamente no seio da Rede M&A, que viabilizem a divulgação e o debate sobre a informação e o conhecimento adquiridos nas redes da UE ou noutros fóruns de avaliação. Desenvolver mecanismos de cooperação e aprendizagem colaborativa, nomeadamente no quadro da Rede M&A, motivando os participantes a partilhar e a construir conhecimento. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

69 Acompanhar as boas práticas no domínio da M&A a nível internacional, nomeadamente através da participação ativa em cursos, workshops e conferências internacionais onde se discutam experiências e inovações neste domínio. Destinatários Responsáveis e técnicos das entidades com responsabilidade na governação dos FEEI (AD&C, organismos integrantes da CCN do FEADER, organismos integrantes da CCF do FEAMP e Autoridades de Gestão e respetivos organismos intermédios). Outras entidades públicas centrais, regionais e locais com responsabilidades no planeamento, na execução e na avaliação de programas e políticas públicas. Exemplos de ações Formações específicas de curta-média duração (p.e., lecionadas em instituições do ensino superior ou organizadas por um programa mobilizando formadores e avaliadores experientes). Ações de formação no contexto de reuniões da Rede de M&A (com eventual participação de peritos externos). Construção de práticas e de ferramentas adequadas e atribuição de funções e responsabilidades que permitam a cooperação e a aprendizagem colaborativa entre os participantes na Rede de M&A (difusão de informação, benchmarking de boas práticas, reflexão e debate informal e construção de conhecimento sobre avaliação). Tradução, publicação e divulgação de guias metodológicos (p.e., da CE) e outros documentos e publicações sobre avaliação. Divulgação e mobilização para a participação em cursos, ações de formação, seminários e conferências internacionais sobre avaliação. Participação em redes/fóruns nacionais e europeus sobre avaliação (p.e., dinamizadas pela CE) e partilha do conhecimento aí adquirido, no âmbito da Rede M&A. Organização e participação em eventos de divulgação de resultados das avaliações. Quadro regulamentar ( ) Compete aos Estados-Membros garantir uma capacidade de avaliação adequada (REG (UE) nº 1303/2013 Art. 56º 2). ( ) Rede de Monitorização e Avaliação, enquanto instância de coordenação do Sistema [de avaliação da aplicação dos FEEI] e de capacitação institucional (no Acordo de Parceria capítulo sobre Coordenação operacional entre FEEI - Sistema de avaliação da aplicação dos FEEI). ( ) A coordenação do Portugal 2020 e a sua capacitação institucional são garantidas através da criação e dinamização de redes de articulação funcional, sem prejuízo das competências das autoridades de gestão [Rede de articulação funcional - Rede de monitorização e avaliação] (D.L. nº 137/2014 Art. 61.º). Promover a realização de ações de formação e disseminação de conhecimento, tendo em vista o desenvolvimento de competências e a capacitação da administração pública em matéria de avaliação de políticas e programas. - Competências da Unidade de Avaliação e Monitorização Estratégica. (Portaria nº 351/2013 Estatutos AD&C (Art. 6º f). Plano de Avaliação do Programa Operacional Regional do Norte /182 -

70 3. Planeamento das avaliações 3.1. Listagem e calendarização indicativa das avaliações a realizar O cronograma de realização das avaliações do PGA PT 2020 é planeado considerando, nomeadamente, os seguintes fatores: (i) o período necessário para a produção de impactos (no caso das avaliações de impacto); (ii) as necessidades de análises aprofundadas para a melhoria da programação/implementação dos programas atuais e/ou futuros, de forma a assegurar a oportunidade e a utilidade das avaliações; (iii) as necessidades de reporte; (iv) um período de três meses para a seleção da equipa de avaliação. A lista de avaliações que se apresenta em seguida, consensualizada na Rede M&A, reflete a aplicação dos princípios orientadores apresentados no Capítulo 1, que se materializam nos pontos que em seguida se salientam. Equilíbrio entre os diferentes fundos, sobretudo FEDER/FC e FSE, uma vez que as avaliações específicas do PO MAR e dos PDR 2020 não são aqui consideradas. As avaliações específicas do PO MAR serão, igualmente, incluídas no programa, que se encontra em fase de elaboração. Estes fundos apenas são considerados neste Plano quando associadas a avaliações Multi-PO. Verifica-se uma predominância das avaliações Multi-PO devido ao predomínio das avaliações transversais (globais, temáticas e territoriais). As avaliações que abrangem um único PO são, salvo raras exceções (p.e., IEJ), avaliações de programa. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

71 Quadro 8 - Síntese das avaliações a realizar por fundo, abrangência de PO e Tipo de avaliação Incidência FEADER FEAMP Fundo FEDER/FC FSE Global Multi-PO (6) PO (2) Programa PO (10) Multi-PO (5) Competitividade e Internacionalização Multi-PO (3) Multi-PO (1) Multi-PO (1) Inclusão Social e Emprego PO (2); Multi-PO (2) Multi-PO (1) Capital Humano Multi-PO (4) Temáticas Sustentabilidade Multi-PO (1) Multi-PO (3) Outras Territorial Nota: Os números correspondem à quantidade de avaliações Multi-PO (1) Multi-PO (3) Multi-PO (1) Multi-PO (2) PO (1) Coerência da calendarização das avaliações com os reportes inscritos na regulamentação comunitária. A opção pela elaboração de um conjunto significativo de avaliações até 2018 deve-se à necessidade de obter informação sobre a eficácia, a eficiência e o impacto dos programas em tempo oportuno para a introdução de alterações nos respetivos programas. Esta opção também não é alheia ao facto de haver necessidade de disponibilizar informação para a realização do Relatório Intercalar do Acordo de Parceria em Quadro 9 - Síntese da calendarização das avaliações a realizar Global Programa Temáticas Nota: Competitividade e Internacionalização Inclusão Social e Emprego Capital Humano Sustentabilidade Outras Territorial Incidência As avaliações estão representadas no ano em que terminam; Os números correspondem à quantidade de avaliações Calendarização avaliação >1 e <=5 avaliações >5 avaliações Equilíbrio entre os diferentes tipos de avaliação, tendo em consideração a respetiva calendarização: Em 2015 são realizadas as avaliações ex ante dos Instrumentos Financeiros. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

72 Em 2016 serão realizadas, sobretudo, avaliações de processo e avaliações de impacto de intervenções cofinanciadas no período de programação , e que terão continuidade no PT2020. Esta opção permite antecipar algumas avaliações de impacto, nomeadamente em áreas cujos efeitos apenas se produzirão na segunda fase do PT2020. Acresce que, para além das avaliações deverem ser realizadas quando já se estão a produzir efeitos de uma dada intervenção, a disponibilidade da informação que permite a análise destes efeitos não é imediata, sendo necessário entre seis meses a um ano, no mínimo, para a sua disponibilização. Em 2017 serão realizadas as últimas avaliações de processo e as primeiras avaliações de impacto referentes ao PT2020. A partir de 2018 serão realizadas, sobretudo, avaliações de impacto referentes ao PT2020 e meta-avaliações (meta-análises) com base nestas e nas avaliações de impacto do QREN. Estas meta-análises, globais e de programas, alimentar-se-ão das avaliações de impacto já realizadas e farão análises específicas para as intervenções não cobertas por estes exercícios. Esta opção garantirá que, além de todas as prioridades (ou eixos, no caso dos Fundos da Política da Coesão) serem alvo de avaliações de impacto, também a totalidade dos objetivos específicos será objeto de avaliações de impacto, alguns de forma mais aprofundada, nas avaliações temáticas, e outros através de avaliações mais genéricas (nas avaliações de programa ou globais). Quadro 10 - Síntese da calendarização das avaliações a realizar por tipo de avaliação Incidência Global Programa Temáticas Competitividade e Internacionalização Inclusão Social e Emprego Capital Humano Sustentabilidade Outras Territorial Calendarização Nota: As avaliações estão representadas no ano em que terminam; Os números correspondem à quantidade de avaliações Ex ante IF Processo Impacto QREN Impacto Impacto / Meta-avaliação A lista das avaliações a realizar é flexível na medida em que nas revisões do PGA PT2020 podem ser excluídas avaliações programadas e incluídos novos exercícios de avaliação que se considerem necessários à data. Poderão, igualmente, vir a ser incluídas no PGA PT2020 outras avaliações a realizar por entidades da administração pública que incidam em políticas públicas cofinanciadas pelos fundos comunitários. Para que um Plano de Avaliação deste âmbito possa ter as melhores condições para ser bemsucedido é importante desenvolver outras ações que aumentem a eficiência e eficácia da gestão e elevar o conhecimento de técnicas de avaliação que permitam potenciar os seus resultados. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

73 Deste modo, devem ser desenvolvidas ações que salientem a importância da avaliação das políticas públicas e, em particular, das financiadas pelos Fundos Estruturais. Essas ações visam o aparecimento de novos atores e avaliadores, permitindo-se, deste modo, alargar um mercado que tem, em Portugal e na Região do Norte, uma oferta extremamente exígua e que, por essa razão, é determinado por ela. Essas ações podem e devem ser dinamizadas em articulação com outros agentes envolvidos na gestão dos Fundos Estruturais à escala nacional, em especial a AD&C. Na prática, estas ações podem concretizar-se através do apoio à realização de trabalhos académicos e seminários sobre as questões de avaliação e à participação de agentes regionais e nacionais em redes europeias e mundiais associadas a este mesmo tema. Dada a especificidade do PDR e do PO MAR, que incluem nos próprios programas as avaliações a realizar, a lista seguinte não inclui as suas avaliações. Assim, estes programas surgem nesta lista apenas nas avaliações transversais a outros programas do PT2020. No quadro seguinte são apresentados apenas os exercícios de avaliação em que o PO Norte possa ser abrangido e não a totalidade das avaliações constantes dos quadros anteriores. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

74 Quadro 11 - Lista das avaliações previstas no PGA PT2020 que abrangem o NORTE 2020 Tipo de Avaliação Calendarização de realização Programas Temáticas Global Programa Competitividade e Internacionalização Inclusão Social e Emprego Capital Humano Lista de avaliações PT º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1. Avaliação do contributo do Portugal 2020 para a realização da estratégia UE 2020 / PNR I (meta-análise) ABT 2. Avaliação do contributo do Portugal 2020 para o emprego e a empregabilidade em Portugal I (meta-análise) ABT 3. Avaliação do Impacto macroeconómico do Portugal 2020 I ABT I (meta-análise) ABT 4. Avaliação do contributo do Portugal 2020 na concretização das medidas do compromisso para o crescimento verde 5. Avaliação do contributo do Portugal 2020 para a Estratégia Nacional para o Mar I (meta-análise) ABT 6. Meta-avaliação do Plano Global de Avaliação do Portugal 2020 Meta-avaliação 11. Avaliação do contributo dos FEEI para os objetivos do PO por eixo prioritário (avaliação Intercalar) - PO NORTE I (meta-análise) ACF e ABT 18. Avaliação do impacto dos FEEI no desempenho das empresas portuguesas I (QREN) ACF 19. Avaliação da implementação dos Sistemas de Incentivos P 20. Avaliação do impacto do Sistema de Incentivos à Inovação Empresarial na concorrência I ACF e ABT 21. Avaliação do contributo dos FEEI para as dinâmicas de transferência de conhecimento e de cooperação e clusterização I (QREN) / P (PT2020) ABT 22. Avaliação do contributo dos FEEI para a capacitação da administração pública I (QREN) / P (PT2020) ABT 23. Avaliação do processo de constituição das estratégias RIS 3: rede e primeiros resultados P 24. Avaliação do contributo do Portugal 2020 para a concretização das Estratégias RIS 3 I ABT 25. Avaliação do contributo do Portugal 2020 para a internacionalização I ABT 26. Avaliação ex ante dos Instrumentos Financeiros de Programas do Portugal 2020: IF para o apoio direto às empresas (Lote 1) (**) Ex ante IF 30. Avaliação das políticas públicas de estímulo ao empreendedorismo I ABT 31. Avaliação ex ante dos Instrumentos Financeiros de Programas do Portugal 2020: IF para a inovação e empreendedorismo social, para o microempreendedorismo e criação do próprio emprego e para os empréstimos a estudantes do ensino superior (Lote 2) 32. Avaliação do contributo do Portugal 2020 para a formação avançada (bolsas de doutoramento, pós-doc e programas doutorais) Ex ante IF I (QREN e PT2020) ABT 33. Avaliação das medidas de promoção da qualidade do ensino/formação P 34. Avaliação do contributo do Portugal 2020 para o aumento da qualificação e empregabilidade dos adultos I ACF e ABT 35. Avaliação do contributo do Portugal 2020 para a promoção do sucesso educativo, a redução do abandono escolar precoce e a empregabilidade dos jovens Processo (P) Impacto (I) ABT (Avaliação Baseada na Teoria) ACF (Avaliação Contrafactual) I ACF e ABT 36. Avaliação do contributo do Portugal 2020 para o aumento dos diplomados do ensino superior I ABT Semestres PO CI PO CH PO ISE PO SEUR PO NORTE PO CENTRO PO ALENTEJO PO LISBOA PO ALGARVE PO AÇORES PO MADEIRA PDR CONTINENTE PDR AÇORES PDR MADEIRA PO MAR 2020 Plano de Avaliação do Programa Operacional Regional do Norte /182 -

75 Quadro 11 - Lista das avaliações a realizar previstos no PGA PT2020 (continuação) Temáticas Tipo de Avaliação 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 1º 2º 37. Avaliação da implementação das intervenções no âmbito da eficiência energética (OT4) P I ABT 38. Avaliação da implementação das medidas de reforço da transição para uma economia com baixas emissões de carbono 40. Avaliação ex ante dos Instrumentos Financeiros de Programas do Portugal 2020: IF para a eficiência energética e gestão eficiente da água e dos resíduos (Lote 3) Ex ante IF Outras 41. Avaliação da aplicação dos custos simplificados P P Territorial Sustentabilidade Lista de avaliações PT Avaliação dos processos de convergência e coesão territorial e efeito de medidas de discriminação territorial (p.e. Baixa densidade) 43. Avaliação dos Pactos para o Desenvolvimento e Coesão Territorial: operacionalização e primeiras realizações P 45. Avaliação do impacto das políticas públicas (cofinanciadas) de regeneração e revitalização urbanas I (QREN) / P (PT2020) ABT P 47. Avaliação da implementação das estratégias de Desenvlvimento Local de Base Comunitária (DLBC): operacionalização e primeiras realizações 48. Avaliação ex ante dos Instrumentos Financeiros de Programas do Portugal 2020: IF para a regeneração e revitalização física, económica e social em zonas urbanas (Lote 4) Nota: Esta lista não inclui avaliações específicas definidas nos PDR (cf. Anexo 1) e PO MAR. Processo (P) Impacto (I) ABT (Avaliação Baseada na Teoria) ACF (Avaliação Contrafactual) Ex ante IF Calendarização de realização Data de realização da avaliação (desde a assinatura do contrato até à aprovação do Relatório Final) A realizar (*) a ponderar incluir na avaliação intercalar A ponderar (atualização da avaliação) A ponderar em função da oportunidade de realização e da abrangência da avaliação (**) A ponderar a potencial necessidade de realizar a avaliação do impato dos Instrumentos Financeiros de apoio às empresas na concorrência Possibilidade de antecipar ou adiar o período da avaliação Semestres PO CI PO CH PO ISE PO SEUR PO NORTE PO CENTRO Programas PO ALENTEJO PO LISBOA PO ALGARVE PO AÇORES PO MADEIRA PDR CONTINENTE PDR AÇORES PDR MADEIRA PO MAR 2020 Nas avaliações a realizar até final 2017 necessário especificar conteúdo Plano de Avaliação do Programa Operacional Regional do Norte /182 -

76 3.2. Articulação das avaliações previstas com os objetivos específicos dos programas operacionais O PGA PT2020 apresenta matrizes que relacionam as avaliações previstas com as prioridades de investimento ou com os objetivos específicos que estruturam cada um dos Programas Operacionais (Anexo 1). Nessas matrizes estão representadas apenas as avaliações temáticas e territoriais inscritas no PGA PT2020 (no caso destas últimas somente nas situações em que é possível estabelecer uma relação direta com os objetivos específicos). Atendendo a que os objetivos específicos são diferenciados entre os vários programas e de modo a permitir uma leitura articulada do seu conteúdo, procedemos à organização das matrizes por tipologias de intervenção. Em regra, um objetivo específico corresponde a uma tipologia de intervenção, mas existem situações em que um objetivo específico inclui mais do que uma tipologia de intervenção. Desta forma, a representação gráfica permite visualizar os objetivos específicos, apresentados sob a forma de tipologias de intervenção, que serão alvo de avaliações temáticas ou territoriais. Os objetivos específicos não abrangidos por estas avaliações serão analisados nas avaliações de Programa e/ou globais, que não são consideradas nestas matrizes. Apenas é representada a abrangência principal das avaliações (principais tipologias de intervenção/objetivos específicos), por uma questão de simplificação gráfica Especificação das avaliações a realizar Conforme referido anteriormente, os estudos de avaliação que constam do PGA PT2020 são classificados em avaliações globais, de programas, temáticas e territoriais. As avaliações que abrangem o NORTE 2020, distribuídas por todas estas classificações, são apresentadas neste ponto. No âmbito da preparação do PGA PT2020 foi elaborada uma ficha modelo (Anexo 2) para caraterizar, desde já, os aspetos essenciais de cada um dos exercícios previstos. Plano de Avaliação do Programa Operacional Regional do Norte /182 -

77 Globais 1. Avaliação do contributo do Portugal 2020 para a realização da estratégia UE 2020 / PNR 2. Avaliação do contributo do Portugal 2020 para o emprego e a empregabilidade em Portugal 3. Avaliação do Impacto macroeconómico do Portugal Avaliação do contributo do Portugal 2020 na concretização das medidas do compromisso para o crescimento verde 5. Avaliação do contributo do Portugal 2020 para a Estratégia Nacional para o Mar 6. Meta-avaliação do Plano Global de Avaliação do Portugal 2020 Programa 11. Avaliação do contributo dos FEEI para os objetivos do PO por eixo prioritário (avaliação Intercalar) - PO NORTE Temáticas Competitividade e Internacionalização 18. Avaliação do impacto dos FEEI no desempenho das empresas portuguesas 19. Avaliação da implementação dos Sistemas de Incentivos 20. Avaliação do impacto do Sistema de Incentivos à Inovação Empresarial na concorrência 21. Avaliação do contributo dos FEEI para as dinâmicas de transferência de conhecimento e de cooperação e clusterização 22. Avaliação do contributo dos FEEI para a capacitação da administração pública 23. Avaliação do processo de constituição das estratégias RIS 3: rede e primeiros resultados 24. Avaliação do contributo do Portugal 2020 para a concretização das Estratégias RIS Avaliação do contributo do Portugal 2020 para a internacionalização 26. Avaliação ex ante dos Instrumentos Financeiros de Programas do Portugal 2020: IF para o apoio direto às empresas (Lote 1) Inclusão Social e Emprego 30. Avaliação das políticas públicas de estímulo ao empreendedorismo 31. Avaliação ex ante dos Instrumentos Financeiros de Programas do Portugal 2020: IF para a inovação e empreendedorismo social, para o microempreendedorismo e criação do próprio emprego e para os empréstimos a estudantes do ensino superior (Lote 2) Capital Humano 32. Avaliação do contributo do Portugal 2020 para a formação avançada (bolsas de doutoramento, pós-doc e programas doutorais) 33. Avaliação das medidas de promoção da qualidade do ensino/formação 34. Avaliação do contributo do Portugal 2020 para o aumento da qualificação e empregabilidade dos adultos 35. Avaliação do contributo do Portugal 2020 para a promoção do sucesso educativo, a redução do abandono escolar precoce e a empregabilidade dos jovens 36. Avaliação do contributo do Portugal 2020 para o aumento dos diplomados do ensino superior Plano de Avaliação do Programa Operacional Regional do Norte /182 -

78 Sustentabilidade e eficiência no uso dos recursos 37. Avaliação da implementação das intervenções no âmbito da eficiência energética (OT4) 38. Avaliação da implementação das medidas de reforço da transição para uma economia com baixas emissões de carbono 40. Avaliação ex ante dos Instrumentos Financeiros de Programas do Portugal 2020: IF para a eficiência energética e gestão eficiente da água e dos resíduos (Lote 3) 41. Avaliação da aplicação dos custos simplificados Outras Territoriais 42. Avaliação dos processos de convergência e coesão territorial e efeito de medidas de discriminação territorial 43. Avaliação dos Pactos para o Desenvolvimento e Coesão Territorial: operacionalização e primeiras realizações 45. Avaliação do impacto das políticas públicas (cofinanciadas) de regeneração e revitalização urbanas 47. Avaliação da implementação das estratégias de Desenvolvimento Local de Base Comunitária (DLBC): operacionalização e primeiras realizações 48. Avaliação ex ante dos Instrumentos Financeiros de Programas do Portugal 2020: IF para a regeneração e revitalização física, económica e social em zonas urbanas (Lote 4) Inclui-se neste documento, para consulta, as fichas de caracterização de todos estes estudos. Assim, as fichas de caraterização dos exercícios de avaliação globais são apresentadas no Anexo 3, enquanto a ficha da Avaliação Intercalar do PO Norte constitui o Anexo 4; as avaliações temáticas são organizadas do seguinte modo: o domínio temático da Competitividade e Internacionalização no Anexo 5, o domínio temático Inclusão Social e Emprego no Anexo 6, o domínio temático Capital Humano no Anexo 7, o domínio temático Sustentabilidade e eficiência no uso dos recursos no Anexo 8 e o tema Outros no Anexo 9; finalmente, as fichas relativas às avaliações territoriais são apresentadas no Anexo 10. De referir que, dos 48 exercícios avaliativos previstos no PGA PT2020, o NORTE 2020 será objeto de análise em 32. Os restantes 17 estudos de avaliação incluem as outras 11 avaliações intercalares, ou seja, uma por cada programa operacional do PT2020, com exceção dos Programas do PDR e do PO MAR 2020, bem como quatro estudos temáticos e dois territoriais. Indica-se a seguir os estudos de avaliação temáticos e territoriais que não abrangem o NORTE 2020 (para conhecer as fichas de caracterização deste conjunto de exercícios deve ser consultado o PGA PT2020). Plano de Avaliação do Programa Operacional Regional do Norte /182 -

79 Temáticas Inclusão Social e Emprego 27. Avaliação da implementação, eficácia e eficiência da Iniciativa Emprego Jovem (IEJ) 28. Avaliação do impacto da Iniciativa Emprego Jovem (IEJ) 29. Avaliação das medidas de promoção de Inovação social Sustentabilidade e eficiência no uso dos recursos 39. Avaliação da implementação das medidas de adaptação às alterações climáticas Territoriais 44. Avaliação da Plataforma de Concertação Estratégica da Região do Algarve: operacionalização e primeiras realizações 46. Avaliação do impacto dos Contratos Locais de Desenvolvimento Social (CLDS) Plano de Avaliação do Programa Operacional Regional do Norte /182 -

80 Bibliografia Comissão Europeia, Direção-Geral da Política Regional e Urbana, Direção-Geral do Emprego, Assuntos Sociais e Inclusão (2015), Guidance Document on Evaluation Plans, February. Disponível na internet: <URL: e_en.pdf Comissão Europeia, Direção-Geral da Política Regional e Urbana (2014), Guidance Document on Monitoring and Evaluation European Cohesion Fund European Regional Development Fund Concepts and Recommendations, March. Disponível na internet: <URL: Barca, Fabrizio; McCann, Philip (2011), Outcome Indicators and targets Towards a Performance oriented EU Cohesion Policy, June. Disponível na internet: <URL: _indicators_en.pdf Comissão Europeia, Direção-Geral da Política Regional e Urbana (2013), Guidance Document on Monitoring and Evaluation European Cohesion Fund European Regional Development Fund Policy Guidance for the Terms of Reference for Impact evaluations, October. Disponível na internet: <URL: evaluation_ pdf Comissão Europeia (2013), EVALSED: The resource for the evaluation of Socio-Economic Development Evaluation guide, September. Disponível na internet: <URL: Comissão Europeia (2013), EVALSED Sourcebook: Method and Technics, September. Disponível na internet: <URL: ok.pdf Comissão Europeia, Direção-Geral do Emprego, Assuntos Sociais e Inclusão (2014), Monitoring and Evaluation of European Cohesion Policy European Social Fund Guidance document, September. Disponível na internet: <URL: Comissão Europeia, Direção-Geral do Emprego, Assuntos Sociais e Inclusão (2014), Guidance on Evaluation of the Youth Employment Initiative, July. Disponível na internet: <URL: Plano de Avaliação do Programa Operacional Regional do Norte /182 -

81 014+%282015%29&mode=advancedSubmit&langId=en&policyArea=&type=0&country=0&yea r=0 Comissão Europeia, Direção-Geral do Emprego, Assuntos Sociais e Inclusão (2014), Guidance Document on Indicators of Public Administration Capacity Building, June. Disponível na internet: <URL: E%B3%CE%B7%CF%83%CE%B7/%CE%A3%CE%95%CE%A3/Guidance%20Indicators%20on%20P ublic%20administration%20capacity%20building_final.pdf Comissão Europeia, Direção-Geral da Política Regional e Urbana, Guidance on theory-based evaluation. Disponível na internet: <URL: ce.pdf Comissão Europeia, Direção-Geral do Emprego, Assuntos Sociais e Inclusão (2012), Design and Commissioning of Counterfactual Impact Evaluations - A Practical Guidance for ESF Managing Authorities, October. Disponível na internet: <URL: =yes Governo de Portugal (2014), Portugal 2020 Acordo de Parceria , julho. Disponível na internet: <URL: 8julho.pdf Governo de Portugal (2014), Programas Operacionais Portugal Disponível na internet: <URL: Regulamento (UE) N.º 1303/2013 do Parlamento Europeu e do Conselho de 17 de dezembro (disposições comuns relativas aos FEEI Fundos Europeus Estruturais e de Investimento). Jornal Oficial da União Europeia de 20 de dezembro de Disponível na internet: <URL: Regulamento (UE) N.º 1304/2013 do Parlamento Europeu e do Conselho de 17 de dezembro (relativo ao Fundo Social Europeu). Jornal Oficial da União Europeia de 20 de dezembro de Plano de Avaliação do Programa Operacional Regional do Norte /182 -

82 Disponível na internet: <URL: Regulamento (UE) N.º 1305/2013 do Parlamento Europeu e do Conselho de 17 de dezembro (relativo ao apoio ao desenvolvimento rural pelo Fundo Europeu Agrícola de Desenvolvimento Rural (FEADER)). Jornal Oficial da União Europeia de 20 de dezembro de Disponível na internet: <URL: Regulamento (UE) N.º 508/2014 do Parlamento Europeu e do Conselho de 15 de maio (relativo ao Fundo Europeu dos Assuntos Marítimos e das Pescas (FEAMP)). Jornal Oficial da União Europeia de 20 de maio de Disponível na internet: <URL: Decreto-Lei n.º137/2014 de 12 de setembro (Modelo de Governação do Acordo de Parceria e dos Programas Operacionais ). Diário da República nº 176, 1.ª Série. Presidência do Conselho de Ministros. Disponível na internet: <URL: Portaria n.º 351/2013 de 4 de dezembro. Diário da República nº 235-1º Série (estatutos da Agência para o Desenvolvimento e Coesão, I.P.) Presidência do Conselho de Ministros e Ministério das Finanças. Disponível na internet: <URL: Plano de Avaliação do Programa Operacional Regional do Norte /182 -

83 Anexo 1 Matrizes de representação das avaliações a realizar Plano de Avaliação do Programa Operacional Regional do Norte /182 -

84 PI Fundo DOMÍNIO COMPETITIVIDADE E INTERNACIONALIZAÇÃO OT1 - Reforço da investigação, do desenvolvimento tecnológico e da inovação ( : 26,6% do DT; 11,3% do AP) 1.1. Reforço Investigação científica e da tecnológica infraestrutura de I&I FEDER POCI Norte/Centro/Alentejo Lisboa Algarve Açores Madeira Investigação científica e tecnológica EP. Reforço da investigação, do desenvolvimento tecnológico e da inovação Objetivos Específicos (tipologias de intervenção e dotação indicativa) Investigação científica e tecnológica Investigação científica e tecnológica Investigação científica e tecnológica Investigação científica e tecnológica 1.2. Valorização económica e investimento transferência do das empresas conhecimento científico e tecnológico em I&I Valorização económica e transferência do conhecimento científico e tecnológico Valorização económica e transferência do conhecimento científico e tecnológico Valorização económica e transferência do conhecimento científico e tecnológico Valorização económica e transferência do conhecimento científico e tecnológico Valorização económica e transferência do conhecimento científico e tecnológico FEDER 21. Clusters (ABT) Atividades de I&D empresarial Atividades de I&D empresarial Atividades de I&D empresarial Atividades de I&D empresarial Atividades de I&D empresarial Atividades de I&D empresarial 19. Implementação SI (P) Clusters e redes de inovação Clusters e redes de inovação Clusters e redes de inovação Clusters e redes de inovação Clusters e redes de inovação Clusters e redes de inovação 21. Clusters (ABT) Investimento empresarial em inovação de não PME Investimento empresarial em inovação de não PME Investimento empresarial em inovação de não PME Investimento empresarial em inovação de não PME Investimento empresarial em inovação de não PME Investimento empresarial em inovação de não PME 18. Desempenho empresas (ACF) 19. Implementação SI (P) 20. Inovação Empresarial (ACF e ABT) 23. e 24. RIS3 (P e ABT) PI Fundo 2.3. TIC na administração FEDER OT2 - Melhoria do acesso às TIC, bem como a sua utilização e qualidade ( : 3,4% do DT; 1,5% do AP) POCI Norte/Centro/Alentejo Lisboa Algarve Açores Madeira EP. Competitividade das PME e redução de custos públicos de contexto (OT2 e OT3) Promoção das TIC na administração e serviços públicos Promoção das TIC na administração e serviços públicos EP. Capacitação Institucional/Capacitar a Administração/Acesso às TIC Utilização e Qualidade Objetivos Específicos (tipologias de intervenção e dotação indicativa) Promoção das TIC na administração e serviços públicos Promoção das TIC na administração e serviços públicos Promoção das TIC na administração e serviços públicos 22. Administração Pública (ABT) Plano de Avaliação do Programa Operacional Regional do Norte /182 -

85 OT7 - Promoção de transportes sustentáveis e eliminação dos estrangulamentos nas principais infraestruturas das redes ( : 9,8% do DT; 4,2% do AP) PI Fundo 7.1. Rede transeuropeia de transportes (RTE-T) FC 7.2. Mobilidade regional, nós secundários e terciários à RTE-T FEDER 7.3. Transportes ecológicos e baixo teor de carbono, vias navegáveis interiores, transp. marítimo, portos e ligações multimodais POCI Norte/Centro/Alentejo Lisboa Algarve Açores Madeira Ferrovia, Portos, plataformas logísticas e plataformas multimodais (RTE-T) Portos, plataformas logísticas e ligações multimodais (não RTE-T) EP. Transportes sustentáveis e eliminação dos estrangulamentos nas redes de infraestruturas Objetivos Específicos (tipologias de intervenção e dotação indicativa) Mobilidade rodoviária nas RUP Portos, plataformas logísticas e ligações multimodais (não RTE-T) 25. Internacionalização (ABT) Mobilidade rodoviária nas RUP FC PO CI FEDER - POR 7.4. Desenvolvimento e Sistema ferroviário (não reabilitação de sistemas RTE-T) ferroviários FEDER 25. Internacionalização (ABT) Plano de Avaliação do Programa Operacional Regional do Norte /182 -

86 PI Fundo 8.5. Adaptação dos trabalhadores, das empresas e dos empresários à mudança FSE OT8 - Promover a sustentabilidade e a qualidade do emprego e apoiar a mobilidade dos trabalhadores ( : 6,3% do DT; 2,7% do AP) POCI Norte/Centro/Alentejo Lisboa Algarve Açores Madeira Formação de empresários e trabalhadores das empresas Emprego altamente qualificado nas empresas Formação de empresários e trabalhadores das empresas EP. Promoção da sustentabilidade e da qualidade do emprego Objetivos Específicos (tipologias de intervenção e dotação indicativa) Emprego altamente qualificado nas empresas Formação de empresários e trabalhadores das empresas Emprego altamente qualificado nas empresas 19. Implementação SI (P) Formação de empresários e trabalhadores das empresas 34. Formação adultos (ACF e ABT) Formação de empresários e trabalhadores das empresas A dotação financeira do OT 8/PI 8.5 está alocada ao DT ISE. Formação de empresários e trabalhadores das empresas A dotação financeira do OT 8/PI 8.5 está alocada ao DT ISE. OT11 - Reforço da capacidade institucional das autoridades públicas e das partes interessadas e da eficiência da administração públicas ( : 2,8% do DT; 1,2% do AP) PI Fundo Capacidades institucionais e eficiência das administrações e dos serviços públicos POCI Norte/Centro/Alentejo Lisboa Algarve Açores Madeira EP. Reforço da capacidade institucional das autoridades públicas e das partes interessadas e da eficiência da administração pública Objetivos Específicos (tipologias de intervenção e dotação indicativa) Sistema de Requalificação trabalhadores da AP Capacitação e modernização das administrações e dos serviços públicos Capacitação e modernização das administrações e dos serviços públicos Capacitação e modernização das administrações e dos serviços públicos Sistema de Requalificação trabalhadores da AP Capacitação e modernização das administrações e dos serviços públicos FSE Formação dos trabalhadores da AP Formação dos trabalhadores da AP Formação dos trabalhadores da AP Formação dos trabalhadores da AP Formação dos trabalhadores da AP 34. Formação adultos (ACF e ABT) Capacidades dos agentes da educação, formação, emprego e políticas sociais, através de pactos setoriais e territoriais FSE Capacitação institucional nas parcerias territoriais Capacitação institucional nas parcerias territoriais 22. Administração Pública (ABT) Capacitação institucional nas parcerias territoriais Plano de Avaliação do Programa Operacional Regional do Norte /182 -

87 PI Fundo 8.1. Acesso ao emprego de inativos e desempregados; apoio à mobilidade dos trabalhadores DOMÍNIO INCLUSÃO SOCIAL E EMPREGO OT8 - Promover a sustentabilidade e a qualidade do emprego e apoiar a mobilidade dos trabalhadores ( : 40,2% do DT; 7,1% do AP) POISE Norte/Centro/Alentejo Lisboa Algarve Açores Madeira Integração dos adultos no mercado laboral Integração dos adultos no mercado laboral EP - Promover a sustentabilidade e a qualidade do emprego Objetivos Específicos (tipologias de intervenção e dotação indicativa) Integração dos adultos no mercado laboral Integração dos adultos no mercado laboral Integração dos adultos no mercado laboral Integração dos adultos no mercado laboral Integração dos jovens no mercado laboral FSE 8.2. Integração jovens no mercado de trabalho, em especial dos NEET, inclusive através da Garantia Jovem FSE 8.2. Integração sustentável dos jovens no mercado de trabalho, em especial dos NEET Integração dos jovens no mercado laboral EP2 Iniciativa Emprego Jovem Iniciativa Emprego Jovem Integração dos jovens no mercado laboral 34. Formação adultos (ACF e ABT) YEI 8.3. Criação de emprego por conta própria, empreendedorismo e criação de empresas, incluindo micro e PME inovadoras FSE 27. e 28. IEJ (P e ACF/ABT) Criação de emprego por conta própria e apoio à criação de empresas Criação de emprego por conta própria e apoio à criação de empresas Criação de emprego por conta própria e apoio à criação de empresas Criação de emprego por conta própria e apoio à criação de empresas Criação de emprego por conta própria e apoio à criação de empresas 30. Empreendedorismo (ACF e ABT) 31. IF (P) OT8 - Promover a sustentabilidade e a qualidade do emprego e apoiar a mobilidade dos trabalhadores (continuação) PI Fundo 8.4. Igualdade entre homens e mulheres em todos os domínios POISE Norte/Centro/Alentejo Lisboa Algarve Açores Madeira Igualdade de género e da conciliação da vida profissional e privada EP - Promover a sustentabilidade e a qualidade do emprego (continuação) Objetivos Específicos (tipologias de intervenção e dotação indicativa) Igualdade de género e da conciliação da vida profissional e privada Igualdade de género e da conciliação da vida profissional e privada Igualdade de género e da conciliação da vida profissional e privada FSE Empreendedorismo feminino Empreendedorismo feminino Empreendedorismo feminino Empreendedorismo feminino 8.5. Adaptação dos Formação de ativos para a trabalhadores, das empresas empregabilidade e dos empresários à mudança (incluindo o financiamento da componente FSE de projetos apoiados no âmbito dos OT1 e 3) FSE 8.7. Criação de serviços de emprego públicos e privados e da melhoria da adequação às necessidades do mercado de trabalho; aumentar a mobilidade transnacional dos trabalhadores FSE 8.8. Viveiros de empresas; atividade por conta própria, microempresas, criação de empresas e microempresas FEDER 8.9. Crescimento através do desenvolvimento do potencial endógeno FEDER Modernização das instituições do mercado de trabalho Capacitação das entidades do CPCS Formação de ativos para a empregabilidade 31. IF (P) Promoção de microempreendedorismo Valorização dos recursos endógenos em territórios específicos Formação de ativos para a empregabilidade Formação de ativos para a empregabilidade Formação de empresários e trabalhadores das empresas Fomento da mobilidade laboral em espaço europeu Promoção de microempreendedorismo 30. Empreendedorismo (ABT) Valorização dos recursos endógenos em territórios específicos Formação de ativos para a empregabilidade Formação de empresários e trabalhadores das empresas 34. Formação adultos (ACF e ABT) Modernização das instituições do mercado de trabalho Plano de Avaliação do Programa Operacional Regional do Norte /182 -

88 OT9 - Promover a inclusão social e combater a pobreza e a discriminação ( : 59,8% do DT; 10,5% do AP) PI Fundo 9.1. Inclusão ativa; promoção da igualdade de oportunidades; participação ativa e a melhoria da empregabilidade FSE PO ISE Inclusão ativa de população com deficiência/incapacidade Integração de desempregados de longa duração no mercado laboral Inclusão ativa de grupos vulneráveis Intervenções integradas em territórios vulneráveis Norte/Centro/Alentejo Lisboa Algarve Açores Madeira Inclusão ativa de grupos vulneráveis Projetos Inov./experimentais na área social EP. Promover a inclusão social e combater a pobreza e a discriminação Objetivos Específicos (tipologias de intervenção e dotação indicativa) Inclusão ativa de população com deficiência/incapacidade Integração de desempregados de longa duração no mercado laboral Inclusão ativa de grupos vulneráveis Projetos Inov./experimentais na área social Intervenções integradas em territórios vulneráveis Inclusão ativa de população com deficiência/incapacidade Integração de desempregados de longa duração no mercado laboral Inclusão ativa de grupos vulneráveis Projetos Inov./experimentais na área social Intervenções integradas em territórios vulneráveis Inclusão ativa de população com deficiência/incapacidade Integração de desempregados de longa duração no mercado laboral Inclusão ativa de grupos vulneráveis Inclusão ativa de população com deficiência/incapacidade Integração de desempregados de longa duração no mercado laboral Inclusão ativa de grupos vulneráveis Inclusão ativa de população com deficiência/incapacidade Integração de desempregados de longa duração no mercado laboral Inclusão ativa de grupos vulneráveis Inclusão ativa de imigrantes e minorias étnicas 46. CLDS (ABT) Promoção do voluntariado Plano de Avaliação do Programa Operacional Regional do Norte /182 -