AVALIAÇÃO. Robert Stussi. Perform Energia. Website. Logo

Transcrição

1 AVALIAÇÃO Robert Stussi Perform Energia Website Logo 0

2 CIVITAS PLUS ( ) 25 cidades participantes 5 projectos de demonstração visando: Promover e implementar medidas de transporte urbano sustentável, limpo e (energeticamente) eficiente Implementar pacotes integrados de technology and policy measures no domínio da energia e transporte em 8 categorias Criar massa crítica e mercados para a inovação Elemento-chave: As cidades como Laboratórios vivos para aprender e avaliar 1

3 Deepening, broadening and scaling up Deepening: aprender a partir de uma medida específica no seu contexto específico Broadening: associar a medida a outro contexto. Transpôr fronteiras em termos de medidas, cidades, temáticas, projectos, e / ou stakeholders Scaling up: incorporar a (combinação de) medida(s) no sistema urbano de transporte & mobilidade à ecala da cidade e da UE 2

4 Evaluation Framework CIVITAS Evaluation Objectives CIVITAS Measures Impact Evaluation Guidelines for defining evaluation scenarios Common core indicators Guidelines for measurement Guidelines for up-scaling Guidelines for reporting Evaluation at Project and City Levels Reporting Evaluation Results Process Evaluation Collecting information on all stages of the measure Feedback and support Factors of success and unexpected barriers Input for policy recommendations Cross-site Evaluation Comparing results across sites Assessing transferability Conclusions and recommendations 3

5 Impact Evaluation Framework Detailed Measure Descriptions Effects/Impacts Indicators P O I N T E R Evaluation Plans Measure or Grouped Measure level Evaluations Baseline Business-as-Usual After Project & City understandings Cross-site Evaluation and Transferability Support for Recommendations to other EUROPEAN CITIES 4

6 Impact Evaluation - Scenarios Before Business-as-Usual After Baseline surveys of relevant conditions and factors Estimate of situation if measure not applied Final surveys of new situation to allow interpretations 5

7 Impact Evaluation plan Identificar os impactes da medida Identicar os indicadores adequados à quantificação de impactes, detalhando os dados a ser recolhidos (i.e. definir o quê, quando, onde, como e por quem) Dados de custos a recolher para avaliação económica Calendário de implementação, recolha de dados e avaliação Metodologia de construção do cenário business-as-usual Metodologia de up-scaling Metodologia para avaliar as condições de transferibilidade 6

8 Key Evaluation Questions Que alterações podem resultar da medida? Como seriam medidos? Foram ponderados todos os indicadores potenciais? Os métodos de avaliação foram devidamente detalhados? Com que fiabilidade poderiam ser medidos? Será necessário desenvolver processos de modelação? Como garantir que os pressupostos são razoáveis? Os recursos disponíveis são suficientes? O período de avaliação é adequado? 7

9 Impact Evaluation - Indicators Indicadores focados nas seguintes áreas-chave: Economy Energy Environment Society Transport Forte enfoque na recolha de dados de Custo/Benefício 8

10 Data collection and Surveys Recolha de dados Antes, Depois e possivelmente durante a execução Recolha de dados através de: Observação de eventos (e.g. contagens de tráfego, peões) Medição de eventos (e.g. Gases de escape de veículos) Recolha de informação dos indivíduos através de: o Inquéritos de opinião e hábitos de deslocação (e.g. Viagens por modo; nível de consciência ou aceitação da medida) o Inquéritos de preferência declarada o Entrevistas o Focus Groups 9

11 Avoiding BIAS Enviesamento durante a selecção Processos de selecção produzindo amostras não representativas da população Enviesamento devido à não-resposta Há padrões específicos nos indivíduos / objectos omissos das observações Enviesamento das respostas Medições imprecisas ou indivíduos dando respostas estratégicas 10

12 Responsibility flow chart Data Quality Assurance Data Collection Data Quality Control Data Storage Data Quality Approval Data Elaboration Measure Leaders Measure Leaders Measure Leaders Measure Leaders Site Coordinators Local Evaluation Manager 11

13 Coimbra Measures M01.03 Alternative fuels in Coimbra M01.08 Production of renewable energies for trolleybus lines in Coimbra M02.05 New ticketing system in Coimbra M04.02 Infomobility centre and mobility marketing in Coimbra M04.05 Mobility management actions in Coimbra M05.07 Safety oriented driving training in Coimbra M06.03 Feasibility study of new mobility services M08.03 Infomobility tools for traffic data management in Coimbra 12

14 Coimbra: New Ticketing System in Coimbra (M02.05) 13

15 Coimbra: New Ticketing System in Coimbra (M02.05) 14

16 Suggested improvements for Evaluation in CIVITAS Plus Análise Custo Benefício Forte enfoque em Análises Custo Benefício Recolha de dados de Custo Benefício Cost Benefit numa parte significativa de medidas Selecção baseada na distribuição de medidas por tipo/cidade/impactes potenciais/prazos/etc Dados base 1. Custos de capital 2. Variações nos custos de exploração e manutenção 3. Variações na procura (passageiros / passageiro kms, tonladas/ tonelada kms) e oferta (veículo kms) 4. Variações de tempo e custo de deslocação (tarifas e custos de utilização dos veículos, custos de estacionamento etc) 5. Variações nas emissões referentes ao transporte 6. Variações na sinistralidade 7. No mínimo, é necessária informação para 1, 2 e 3 e (dependendo das medidas) e pelo menos outro impacte entre 4, 5 e 6. 15

17 Process Evaluation Framework Os principais objectivos do PE são: Identificar barreiras e factores-chave de sucesso na preparação, implementação e funcionamento de cada medida Avaliar o papel da informação, comunicação e participação na preparação, implementação e funcionamento de cada medida Compreender as histórias por trás dos números e aprender com elas 16

18 Setting up the Learning Histories approach Definição da sequência de acontecimentos marcantes Inventário das percepções sobre as barreiras ao processo Inventário das percepções sobre os factoreschave de sucesso do processo Inventário e reflecção sobre as medidas tomadas no processo Inventário e reflecção sobre as lições aprendidas 17