O VALOR ESTRATÉGICO DOS EVENTOS

O VALOR ESTRATÉGICO DOS EVENTOS Como e por que medir roi REPRESENTANTE EXCLUSIVO DO ROI INSTITUTE E DA METODOLOGIA PHILLIPS ROI TM NO BRASIL

Copyright ROI Institute and Meeting Professionals International, 2007 Copyright Editora Aleph, 2008 (edição em língua portuguesa para o Brasil) Introdução: MPI e ROI: uma breve história Fusion Productions Capítulos 1 10 Texto ROI Institute TÍTULO ORIGINAL: Proving the value of meetings and events CAPA: Thiago Ventura e Luiza Franco REVISÃO TÉCNICA: Valéria Blanco, André Meira e Elizabeth Wada REVISÃO: Ana Cristina Teixeira PROJETO GRÁFICO: Neide Siqueira EDITORAÇÃO: Join Bureau COORDENAÇÃO EDITORIAL: Débora Dutra Vieira EDITOR RESPONSÁVEL: Adriano Fromer Piazzi Todos os direitos reservados. Proibida a reprodução, no todo ou em parte, através de quaisquer meios. EDITORA ALEPH Rua Dr. Luiz Migliano, 1110 Cj. 301 05711-900 São Paulo SP Brasil Tel.: [55 11] 3743-3202 Fax: [55 11] 3743-3263 www.editoraaleph.com.br Dados Internacionais de Catalogação na Publicação (CIP) (Câmara Brasileira do Livro, SP, Brasil) Phillips, Jack J. O valor estratégico dos eventos : como e por que medir ROI / Jack J. Phillips, Monica Myhill & James B. McDonough ; tradução Ana Paula Garcia Spolon. São Paulo : Aleph, 2008. Título original : Proving the value of meetings and events. ISBN 978-85-7657-043-1 1. Administração de projetos Avaliação 2. Eventos especiais Administração 3. Pesssoal Treina - mento Análise custo-benefício 4. Retorno sobre patrimônio líquido I. Myhill, Monica. II. McDonough, James B.. III. Título. 08-00143 CDD-658.456 Índices para catálogo sistemático: 1. Custos : Gestão : Eventos : Organização : Administração de empresas 658.456 2. Gestão de custos : Eventos : Organização : Administração de empresas 658.456

Sumário Prefácio... 13 Agradecimentos... 15 Mensagem do CEO... 17 Prefácio à edição brasileira... 19 Reflexão de dois aprendizes de realidade... 21 Preâmbulo, por John Caparella... 29 Introdução MPI e ROI uma breve história... 31 CAPÍTULO 1 O processo ROI: resultados e tendências... 43 Resultados-chave do ROI... 43 O ROI não vai desaparecer... 43 O último nível de avaliação: ROI... 44 Uma abordagem prática para calcular o ROI... 49 Planejamento da avaliação... 49 Coletando dados... 51 Isolando os efeitos do evento... 51 Convertendo dados em valores monetários... 51 Identificando benefícios intangíveis... 52 Tabulando custos de conferências e eventos... 52 Calculando o ROI... 53 Padrões... 54 Adotando uma abordagem sensível... 55 Considerações finais... 55

8 O VALOR ESTRATÉGICO DOS EVENTOS: COMO E POR QUE MEDIR ROI CAPÍTULO 2 Definindo necessidades e objetivos... 57 Níveis de necessidades... 57 Necessidades de ganhos... 59 Necessidades do negócio... 61 Necessidades de desempenho... 65 Necessidades de aprendizado... 65 Necessidades de preferência... 66 Níveis de objetivos para conferências e eventos... 67 Objetivos de reação... 68 Objetivos de aprendizado... 69 Objetivos de aplicação e implementação... 69 Objetivos de impacto... 70 Objetivos ROI... 71 A importância de objetivos específicos... 72 Considerações finais... 72 Estudo de caso: Avaliação de necessidades para um programa de incentivo bem-sucedido Congular Wireless... 73 CAPÍTULO 3 Mensurando dados de entrada e indicadores... 79 A importância de mensurar dados de entrada e indicadores... 79 Categorias de dados de entrada... 80 Acompanhando conferências e eventos tópicos e temas... 80 Acompanhando pessoas... 81 Acompanhando a duração do evento... 81 Acompanhando o escopo de participação... 81 Acompanhando solicitações... 82 Acompanhando o uso da tecnologia... 82 Acompanhando custos... 83 Acompanhando a eficiência... 84 Acompanhando a terceirização das tarefas (outsourcing)... 84 Questões-chave... 84 Considerações finais... 85 Estudo de caso: Uma auditoria de evento LinuxWorld Conference & Expo 2006... 86 CAPÍTULO 4 Mensurando reação e valor percebido... 99 A importância de mensurar reação e valor percebido... 99 Questões relacionadas à coleta de dados... 100 Fontes de dados... 100

SUMÁRIO 9 Conteúdo versus não-conteúdo... 101 O ciclo de feedback enganoso... 102 Áreas chave para feedback... 103 Escolha do momento para a coleta dos dados... 106 Fazendo uso de questionários e pesquisas... 107 Elaborando questionários e pesquisas... 109 Garantindo taxas elevadas de resposta... 109 Fazendo uso de entrevistas e de grupos focais... 110 Usos de dados de reação... 110 Considerações finais... 111 Estudo de caso: Mensurando percepções e ações de segurança General Mills Foodservice... 112 Estudo de caso: Mensurando o desempemho da exposição NetWorld+ Interop Las Vegas... 119 CAPÍTULO 5 Mensurando aprendizado e confiança... 133 A importância de mensurar aprendizado... 133 Aprendizagem versus entretenimento... 133 A organização que aprende... 134 A questão do cumprimento das normas... 134 Os desafios da mensuração do aprendizado... 135 Medidas típicas... 136 Métodos de coleta de dados... 137 Questionários e pesquisas... 137 Jogo de papéis e práticas de habilidade... 137 Exercícios/atividades... 138 Questões administrativas... 138 Usando dados de aprendizado... 139 Considerações finais... 139 Estudo de caso: Avaliando um encontro nacional de vendas American Transport Company... 141 Estudo de caso: Mensurando o sucesso de uma conferência de lançamento de vendas Sun Microsystems... 156 Estudo de caso: Avaliando uma conferência interna de vendas National Telecom... 168 Estudo de caso: Mensurando o sucesso de uma Conferência geral de vendas e informações Gaylord Palms Resort and Convention Center... 178

10 O VALOR ESTRATÉGICO DOS EVENTOS: COMO E POR QUE MEDIR ROI CAPÍTULO 6 Mensurando aplicação e implementação... 199 A importância de mensurar aplicação... 199 O valor da informação... 199 Um período-chave de transição... 200 Um foco-chave de muitos eventos... 200 Barreiras e facilitadores... 200 Desafios da mensuração de aplicação e de implementação... 201 Vinculando-se ao aprendizado... 201 Aplicando sérios esforços ao nível 3 de avaliação... 201 Questões fundamentais... 201 Métodos... 202 Objetivos... 202 Tópicos para explorar... 202 Definindo as fontes e o momento de avaliação... 203 Responsabilidades... 204 Questionários e pesquisas... 204 Conteúdo... 205 Melhorando as taxas de resposta... 209 Entrevistas, grupos focais e observação... 211 Coleta de dados por entrevistas... 211 Coleta de dados por grupos focais... 212 Observação on the job... 212 Planos de ação... 212 Desenvolvendo o plano de ação... 214 Uso bem-sucedido de planos de ação... 215 Vantagens e desvantagens do plano de ação... 215 Uso de dados... 216 Considerações finais... 216 Estudo de caso: Mensurando o sucesso de um evento de comunicação estratégica Great Property Real Estate Company... 217 Estudo de caso: Mensurando o sucesso de uma conferência de liderança Express Personnel Services... 238 CAPÍTULO 7 Mensurando e isolando o impacto de conferências e eventos 255 A importância de mensurar o impacto nos negócios... 255 Um direcionamento de negócios para eventos... 255 Dados monetários... 256 Facilidade de mensurar... 256

SUMÁRIO 11 Tipos de medidas de impacto... 256 Dados hard versus dados soft... 257 Tangíveis versus intangíveis... 257 Medidas específicas relacionadas a eventos... 258 Monitorando dados de desempenho do negócio... 260 O uso de planos de ação para desenvolver dados de impacto no negócio... 261 Estabelecer metas e alvos... 261 Completar o plano de ação... 262 Vantagens dos planos de ação... 262 O uso de questionários para coletar dados de impacto... 262 Quando não se tem a mínima idéia... 264 Quando a medida é um conjunto definido de dados... 267 Quando a medida é conhecida... 267 Taxas de resposta... 269 Isolando os efeitos do evento... 269 Usando grupos de controle... 269 Análise da linha de tendência... 271 Estimativas... 273 Considerações finais... 275 CAPÍTULO 8 Benefícios monetários, custos e ROI... 277 A importância dos benefícios monetários e do ROI... 277 Valor significa dinheiro... 278 Dinheiro é necessário para o ROI... 278 Passos fundamentais para converter dados em dinheiro... 279 Valores monetários padrão... 281 Convertendo dados de produção em dinheiro... 281 Convertendo qualidade em dinheiro... 284 Convertendo o tempo dos empregados em dinheiro... 284 Encontrando valores-padrão... 285 Conversão de dados quando os valores-padrão não estão disponíveis... 285 Usando custos históricos a partir dos registros... 286 Usando informação fornecida por especialistas para converter dados soft... 286 Usando valores a partir de bases de dados externas... 287 Estabelecendo relações com outras medidas... 287 Usando estimativas dadas pelos participantes... 288 Usando estimativas dadas pela equipe administrativa... 288 Escolhendo o método... 289

12 O VALOR ESTRATÉGICO DOS EVENTOS: COMO E POR QUE MEDIR ROI Monitorando os custos do evento... 290 Questões fundamentais relacionadas a custos... 290 Calculando o ROI... 292 Relação benefício/custo... 292 Fórmula do ROI... 293 ROI a partir de diferentes perspectivas... 294 Os objetivos do ROI... 295 O ROI não deve ser calculado em qualquer evento... 296 Considerações finais... 297 Estudo de caso: Medindo o ROI no National Summer Institute Compreendendo o Sistema de Avaliação do Estudante Adulto (Comprehessive Adult Student Assessment System CASAS)... 298 Estudo de caso: Medindo o ROI em um simpósio Uma abordagem do ROI no capital humano KnowledgeAdvisors... 309 Estudo de caso: Medindo o ROI no Torneio Pro-AM de Golfe COMCO... 330 Estudo de caso: Medindo o ROI em uma conferência anual de agentes Neighborhood Insurance Company NIC... 340 Estudo de caso: Medindo o ROI na Conferência Anual de Franquia International Franchise Company IFC... 365 CAPÍTULO 9 Beneficios intangíveis... 399 Mensurando o intangível... 401 Convertendo em dinheiro... 403 Identificando intangíveis... 404 Analisando o intangível... 405 Considerações finais... 406 CAPÍTULO 10 Comunicando resultados... 407 Questões-chave sobre a comunicação dos resultados... 407 As razões para a comunicação... 408 Planejando as comunicações... 409 O público para as comunicações... 411 O desenvolvimento da informação... 412 Seleção do meio de comunicação dos resultados... 414 Apresentação dos resultados à administração... 416 Reações à comunicação... 419 Considerações finais... 419

1 O processo ROI 1 : resultados e tendências O debate sobre o tema mensuração do Retorno sobre Investimento (ROI) em conferências e eventos é bastante singular. É raro um tópico instigar emoções tal como o faz a questão do ROI. Enquanto algumas pessoas caracterizam qualquer medida de ROI como inadequada ou inapropriada para essa indústria, outras classificam o ROI, de forma um tanto apaixonada, como a resposta para suas preocupações com responsabilidade. A verdade está provavelmente em algum ponto intermediário entre essas visões extremas. O mais importante é entender as razões para se adotar o ROI e as vantagens e desvantagens inerentes a ele. Desta forma, será possível tratar a questão a partir de uma abordagem racional e implementar um conjunto adequado de estratégias de avaliação, incluindo o ROI. Este capítulo apresenta os resultados básicos relativos ao ROI e sua utilização no setor de conferências e eventos. RESULTADOS-CHAVE DO ROI O ROI não vai desaparecer Uma coisa é certa: ROI não é uma moda passageira. Veio para ficar. Sempre que houver necessidade de se prestar contas de despesas com conferências, eventos e exposições e o conceito de rendimento for almejado, o ROI será medido para avaliar os principais investimentos nessa indústria. Diferentemente de um modismo, que pode 1. Sigla derivada do original em inglês Return on Investment, equivalente a Retorno sobre Investimento. [N. do T.]

44 O VALOR ESTRATÉGICO DOS EVENTOS: COMO E POR QUE MEDIR ROI ser caracterizado como uma nova idéia, abordagem ou visão sobre um ponto de vista antigo, o conceito de ROI vem sendo utilizado há séculos. A edição do 75 o aniversário da Harvard Business Review (HBR) 2 apresentou as ferramentas para medição de resultados em organizações (Sibbet, 1997). Segundo edições anteriores da HBR, durante a década de 1920, o ROI era uma ferramenta emergente para determinar um valor para o rendimento dos investimentos. Nos anos mais recentes, a aplicação do conceito tem-se expandido para todos os tipos de investimento, incluindo treinamento, iniciativas de mudança, tecnologia, qualidade e eventos. Com sua crescente adoção e utilização, torna-se visível que o ROI não sairá de cena, que veio para ficar. Atualmente, centenas de empresas desenvolvem constantemente cálculos de ROI para seus programas de educação, treinamento, comunicação, desenvolvimento de lideranças e recursos humanos. Nos últimos três anos, essa metodologia tem sido utilizada para demonstrar o valor gerado por conferências e eventos. O último nível de avaliação: ROI A Metodologia ROI coleta e processa até cinco níveis de resultados avaliados, além de um nível adicional de entrada de dados. O conceito de diferentes níveis de avaliação não só auxilia como também esclarece o entendimento sobre como se calcula o retorno sobre investimento. A Tabela 1-1 mostra a estrutura de seis níveis usada neste livro, o status atual e as metas estabelecidas para essa indústria. Tabela 1-1. Medida no setor de conferências e eventos 3 Nível Categoria de medida Status atual Cobertura (Hoje) Meta em 5 anos Cobertura (Meta) Comentários sobre o status 0 Dados de entrada/indicadores Mede dados de entrada em conferências e eventos, incluindo número de sessões, participantes, público, custos e eficiência 3 100% 100% Meta já atingida atualmente (continua) 2. Importante revista editada pela Escola de Administração da Universidade de Harvard, nos Estados Unidos. No Brasil, é distribuída em formato impresso e eletrônico pela HBR Brasil. [N. do T.] 3. Entende-se por eficiência o melhor rendimento com o mínimo de erros e/ou de dispêndio de energia, tempo, dinheiro ou meios. [N. do T.]

O PROCESSO ROI: RESULTADOS E TENDÊNCIAS 45 (continuação) Nível Categoria de medida Status atual Cobertura (Hoje) Meta em 5 anos Cobertura (Meta) Comentários sobre o status 1 Reação e Valor Percebido Mede a reação e a satisfação com a experiência, ambiente, conteúdo e valor (relevância, importância) do evento 2 Aprendizado Mede o que os participantes aprenderam no evento informação, conhecimento, habilidades e contatos estabelecidos (benefícios advindos do evento) 3 Aplicação e Implementação Mede o progresso depois do evento (em um momento posterior) uso da informação, conhecimento, habilidades e contatos 4 Impacto e Conseqüências Mede mudanças nas variáveis que causam impacto nos negócios, tais como produção, qualidade, tempo e custo relacionados ao evento 5 ROI Compara os benefícios monetários das medidas de impacto nos negócios com os custos do evento 100% 100% É necessário dar mais foco no conteúdo e no valor percebido 10 20% 80 90% Devem-se usar medidas simples de aprendizado 5% 15 25% É preciso mais acompanhamento < 2% 10% Esta é a conexão com o impacto do negócio < 1% 5% A última avaliação No Nível 0, Dados de Entrada e Indicadores, os vários dados de entrada sobre a conferência ou evento já são normalmente coletados em todos os eventos (100%). Estes dados incluem custos, eficiência, duração (em horas ou dias), perfil dos parti cipantes, locais e programas. São apenas dados de entrada e nada dizem sobre os resultados.

46 O VALOR ESTRATÉGICO DOS EVENTOS: COMO E POR QUE MEDIR ROI No Nível 1, Reação e Valor Percebido, a reação dos participantes do evento é medida conjuntamente ao valor percebido. Quase todas as empresas realizam as avaliações do Nível 1 a partir de um questinário genérico, aplicado ao final do evento. Embora este nível de avaliação seja importante como uma medida da satisfação do cliente, uma reação favorável ao evento não garante, entretanto, que todos os participantes tenham aprendido novas habilidades ou adquirido novos conhecimentos. No Nível 2, Aprendizado, as medidas estão focadas no que os participantes aprenderam durante o evento, a partir da aplicação de ferramentas de avaliação como questionários de auto-avaliação, listas de verificação, dinâmicas, simulações e avaliações em grupo. Uma verificação de aprendizado ajuda a garantir que os participantes tenham absorvido o conteúdo e as mensagens do evento, e que saibam como usá-los ou aplicá-los da maneira adequada. Além disso, este nível mede o número de novos contatos profissionais estabelecidos e o quanto contatos já existentes foram fortalecidos. Neste nível, os interesses setoriais estão por trás do objetivo. No entanto, uma medida positiva de aprendizado não garante que o que foi aprendido ou que os contatos estabelecidos serão efetivamente utilizados. No Nível 3, Aplicação e Implementação, são usados vários métodos de acompanhamento para determinar se os participantes aplicaram o que aprenderam ou tiraram proveito dos contatos estabelecidos. A concretização de itens de ação, o uso das habilidades e a manutenção dos contatos são medidas importantes no Nível 3. Embora as avaliações do Nível 3 sejam relevantes para medir o sucesso da aplicação após o evento, elas ainda não garantem que o encontro terá um impacto positivo sobre o indivíduo ou a empresa. No Nível 4, Impactos e Conseqüências, a mensuração concentra-se nos resultados reais conseguidos pelos participantes do evento, na medida em que conseguem fazer uso, com sucesso, do material, mensagens ou contatos. As medidas típicas do Nível 4 são produção, vendas, qualidade, custos, tempo e satisfação do cliente. Embora o evento possa gerar um impacto positivo no negócio, continua a existir uma preocupação sobre o custo do evento ser muito elevado. No Nível 5, Retorno sobre Investimento (o último nível de avaliação), os benefícios monetários do evento são comparados com os custos para promovê-lo. Embora o ROI possa ser expresso de várias formas, geralmente é apresentado como um percentual ou como uma relação entre benefícios e custos. A cadeia de avaliação não está completa até que se apliquem as medidas de avaliação do Nível 5. A Metodologia ROI tem recebido muita atenção na mídia dedicada a conferências e eventos. Dezenas de artigos têm sido escritos e muitas entrevistas conduzidas. Os trechos apresentados na publicação destacada a seguir mostram resultados, preocupações e oportunidades para o uso do ROI.

O PROCESSO ROI: RESULTADOS E TENDÊNCIAS 47 FALANDO O IDIOMA O ROI não é um conceito novo na indústria de eventos, mas é um conceito esclarecedor. Durante anos, o termo tem sido usado de forma um tanto dispersa e em tantos contextos que se pensa que ele diz respeito a tudo, desde a ergonomia de cadeiras até a importância do caderno de anotações. E, embora o ROI seja influenciado por muitos fatores, nenhum deles, sozinho, é capaz de defini-lo; ou, melhor dizendo, as medidas de retorno sobre investimento devem incluir todos os aspectos de um evento a fim de que se chegue a um valor explícito e definitivo. A boa notícia é que, depois de anos de procura em vão por um método confiável com o qual fosse possível calcular o ROI, a indústria de eventos enfim parece convencida a adotar uma metodologia efetiva capaz de, finalmente, revelar o valor do profissional de eventos como um membro estratégico de qualquer time de executivos de uma empresa. Há anos o termo ROI tem sido indistintamente mencionado e mal-compreendido pela indústria, diz Doug McPhee, gerente nacional de conta da Conferon em San Diego. Embora o conceito de ROI sempre carregue consigo um sentido de significado e urgência, ele ainda permanece amplamente mal-definido. Como resultado disso, a simples menção do assunto frustra alguns promotores. Estou tão cansada de ouvir ROI, ROI, ROI!, lamenta Lorertta Lowe, uma profissional independente de São Francisco que atua na área de planejamento. Muitos profissionais do setor de eventos dizem concordar que o conceito é importante, mas na prática não fazem uso de nenhum modelo tangível por meio do qual possam reportá-lo, diz Lowe. A maioria das declarações que ouvi a respeito do assunto foi vaga, concorda Neil Schwartz, que lida com planejamento de eventos para o California Credit Union League, em Rancho Cucamonga, Califórnia. Na verdade, a maior parte das pessoas não sabe como lidar com o tema. De fato, muitos esforços para medir o ROI no setor de eventos têm tido de lidar com o que se costuma chamar fatores intangíveis como a opinião de participantes e organizadores sobre o sucesso do evento ou sobre se ele melhora o moral, a comunicação ou a satisfação dos funcionários. E ao mesmo tempo em que esses benefícios, longe de ser considerados medidas exatas, são parte do retorno sobre investimento em um evento tanto em termos de tempo quanto de dinheiro, são apenas parte de um todo muito maior.

48 O VALOR ESTRATÉGICO DOS EVENTOS: COMO E POR QUE MEDIR ROI A fim de promover um conhecimento mais completo desse todo, a Meeting Professionals International (MPI) 4 estabeleceu recentemente uma parceria com o ROI Institute, uma organização sediada em Birmingham, Alabama, que nos últimos 25 anos tem se dedicado a refinar os métodos de mensuração do ROI em vários setores. Inicialmente, nós desenvolvemos nossa Metodologia ROI para as áreas de desenvolvimento e treinamento, mas ela rapidamente passou a ser aplicada à área de recursos humanos, diz Jack Phillips, chairman do ROI Institute. Desde então, a metodologia migrou para as áreas de controle de qualidade, tecnologia, desenvolvimento organizacional e consultoria. O setor de eventos é uma nova área de aplicação. E uma vez que muitas empresas comumente oferecem serviços para ajudar promotores a medir o ROI, a Metodologia Phillips parece ter atingido o ponto máximo de significação na indústria de eventos, na qual ele diz ter particular relevância. A indústria de eventos perdeu esse nível de controle há muito tempo, como temos percebido pelos orçamentos que vão e voltam com as mudanças econômicas. Em períodos favoráveis, há muitos eventos; em tempos difíceis, são cortados, pois os executivos não têm certeza se eles trazem valor para a empresa, observa Phillips. Há uma desconexão entre as áreas de planejamento logístico e de desenvolvimento de conteúdo e estratégia. Como estabelecer uma ponte entre elas? Pelo ROI. Em outras palavras, quando os profissionais de planejamento usam uma abordagem metodológica para medir o ROI, eles inevitavelmente se envolvem na tarefa de planejamento, não apenas no que se refere à logística do evento, mas também ao seu conteúdo. A Metodologia Phillips apresenta uma abordagem concreta e sistemática de medida do ROI no lugar daquela que tem sido tradicionalmente usada na indústria de eventos, que poder ser considerada uma proposição baseada em percepções. Isto nos leva a um nível completamente diferente do qual estamos acostumados, diz McPhee. De fato, a Metodologia Phillips confere aos profissionais da área de planejamento a capacidade de calcular a exata quantia de dinheiro necessária para investir em um evento para que ele dê resultados. Um dos meus ditados favoritos é o que diz que os contadores de feijão precisam de feijões para contar, diz Julia Rutherford Silvers, autora e especialista em organização e promoção de eventos, residente em Las Vegas. Desta forma, quando os profissionais de planejamento falam sobre ter dificuldades de comunicação com seus departamentos de compras, a resposta que dou é que precisamos mostrar a eles os 4. Associação internacional que reúne profissionais do setor de eventos, baseada em Dallas, Texas. [N. do T.]

O PROCESSO ROI: RESULTADOS E TENDÊNCIAS 49 grãos de feijão. E é exatamente para isso que a Metodologia Phillips é projetada. A idéia é desenvolver a análise até o resultado final, que é, na verdade, o cálculo do ROI; e isso nos permite falar a linguagem dos diretores financeiros. Extraído de The Fifh Element, de Susie Amer, em Successful Meetings, abril/2005. UMA ABORDAGEM PRÁTICA PARA CALCULAR O ROI O cálculo do retorno sobre investimento em conferências, eventos, exposições e patrocínios começa com o modelo básico mostrado na Figura 1-1, em que um processo potencialmente complicado pode ser simplificado com passos seqüenciais. O modelo do processo ROI estabelece uma abordagem sistemática para os níveis de avaliação do ROI (Phillips & Phillips, 2005). Uma abordagem passo-a-passo ajuda a manter o controle sobre o processo para que os usuários possam lidar com uma questão por vez. O modelo ainda enfatiza que a metodologia é um processo lógico e sistemático, que flui de etapa a etapa. A aplicação do modelo provê consistência à transição de cada nível de avaliação de ROI para o próximo. Cada passo é brevemente descrito nesta seção. Planejamento da avaliação Várias etapas do processo de avaliação devem ser explicadas quando se desenvolve o plano de avaliação para cálculo do ROI. O propósito da avaliação deve ser considerado antes do desenvolvimento do plano de avaliação, pois o propósito irá freqüentemente determinar o escopo da avaliação, os tipos de instrumentos a serem usados e o tipo de dados coletados. Inúmeras ferramentas são utilizadas para a coleta de dados e devem ser consideradas no plano, bem como a definição do momento para realização da coleta de dados. Para a maioria das conferências e eventos, normalmente um acompanhamento é feito entre um e seis meses depois de sua realização. Deve-se preestabelecer a análise específica que se deseja realizar. Os produtos desta fase são um plano de coleta de dados e um plano de análise do ROI.

50 O VALOR ESTRATÉGICO DOS EVENTOS: COMO E POR QUE MEDIR ROI Figura 1-1. O modelo do Processo ROI O MODELO ROI Capturar custos da conferência ou evento Planejamento Coleta de dados Análise de dados Relatório Desenvolver planos de avaliação e dados de linha de base 0. Dados de entrada/ Indicadores Coletar dados durante o evento Coletar dados após o evento Isolar os efeitos do evento 1. Reação/Valor percebido 2. Aprendizado 3. Aplicação e Implementação 4. Impacto e conseqüências no negócio Converter dados em valores monetários Calcular o Retorno sobre Investimento 5. ROI Identificar medidas intangíveis Concluir o processo e elaborar relatório Comunicar resultados e informações ao grupos-alvo Benefícios intangíveis

O PROCESSO ROI: RESULTADOS E TENDÊNCIAS 51 Coletando dados A coleta de dados é fundamental para a avaliação do evento. Para a análise do ROI, são coletados tanto dados objetivos hard (representando vendas, produtividade, qualidade, custo e tempo) quanto dados subjetivos soft (incluindo hábitos profissionais, satisfação com o trabalho e satisfação do cliente). Os dados são coletados a partir de uma variedade de métodos, incluindo pesquisas, questionários, entrevistas, grupos focais e monitoramento de dados de impacto dentro da organização. Estas técnicas são descritas neste livro. O importante desafio nesta etapa é a escolha de um método ou de métodos de coleta de dados mais apropriados ao cenário e ao evento em questão, considerando as restrições de prazo e de orçamento do evento e do organizador. Isolando os efeitos do evento Um assunto freqüentemente negligenciado na maioria das avaliações é o processo de isolamento dos efeitos da conferência ou do evento. Este passo é essencial porque muitos fatores podem, após a realização do evento, influenciar dados de desempenho. Nesta etapa, técnicas específicas são exploradas com o propósito de determinar a dimensão do impacto diretamente relacionado ao evento. O resultado é o aumento na precisão e na credibilidade do cálculo do ROI. Inúmeras estratégias têm sido utilizadas para lidar com esta questão, desde análise comparativa de grupos até o uso de estimativas. Juntas, as estratégicas apresentadas neste livro fornecem um conjunto abrangente de ferramentas para tratar o isolamento dos efeitos. Convertendo dados em valores monetários Para calcular o retorno sobre investimento, os dados de impacto coletados são convertidos em valores monetários e então comparados aos custos do evento. Este procedimento requer que um valor seja atribuído a cada unidade de dados relacionada ao evento. Há várias técnicas disponíveis para converter dados em valores monetários, incluindo a experiência de especialistas, registros, base de dados externas e estimativas. A técnica específica selecionada normalmente depende do tipo de dados e da situação. Felizmente, boa parte das organizações já desenvolve e utiliza medidas de valor-padrão. O processo de conversão é um desafio, particularmente no que diz respeito a dados subjetivos, mas pode ser metodicamente conduzido, utilizando-se uma ou mais das técnicas apresentadas neste livro.

52 O VALOR ESTRATÉGICO DOS EVENTOS: COMO E POR QUE MEDIR ROI Identificando benefícios intangíveis Além dos benefícios tangíveis e monetários, a maioria das conferências e eventos costuma compreender benefícios intangíveis, não-monetários. O cálculo do ROI baseia-se na conversão em valores monetários tanto dos dados objetivos quanto dos subjetivos. Entretanto, quando se identificar que as medidas não podem ser convertidas para valores monetários de forma confiável e com o mínimo de recursos, então estas medidas são consideradas benefícios intangíveis, como aumento da satisfação do cliente, aumento do nível de comprometimento do funcionário, melhoria do espírito de equipe, melhoria da imagem, diminuição das reclamações e redução de conflitos. Durante a análise de dados, busca-se o que for possível para converter todos os dados em valores monetários. Todos os dados objetivos como produção, qualidade e tempo são transformados em valores monetários. Busca-se também essa conversão para todos os itens de dados subjetivos. No entanto, se o processo empregado para a conversão for subjetivo demais (ou demandar muito tempo) e se os valores resultantes perderem credibilidade quando convertidos, os dados serão apresentados como benefícios intangíveis, acompanhados de uma explicação adequada. Para alguns eventos, os benefícios intangíveis e não-monetários são extremamente valiosos, pois normalmente exercem tanta influência quanto os itens de dados objetivos. Tabulando custos de conferências e eventos A outra parte da equação na análise de benefícios/custos são os custos do evento. A tarefa de tabulação dos custos envolve o monitoramento e o desenvolvimento de todos os custos do evento apontados para o cálculo do ROI. Os componentes de custo que podem ser inseridos na análise, de acordo com a perspectiva adotada para o ROI, são os seguintes: custos de análise da necessidade do evento, se aplicável; custos de planejamento e organização do evento; custos de marketing ou promoção; custos de todos os materiais do evento como o material distribuído aos participantes, sinalização e material de decoração; custos com os palestrantes e/ou facilitadores, incluindo viagens e tempo de deslocamento; custos de preparativos e dispositivos para o evento; custos de viagem, hospedagem e alimentação para os participantes e outros;

O PROCESSO ROI: RESULTADOS E TENDÊNCIAS 53 outros custos que digam respeito a deslocamento, como serviços de traslado, pacotes turísticos e operadoras de viagens e turismo; salários e benefícios dos participantes e da equipe de apoio relativos ao tempo em que estes estiverem dedicados ao evento (proporcional ao tempo dedicado); custos de administração e de overhead relacionados à promoção do evento, alocados de maneira adequada ao perfil da conferência ou de qualquer outro tipo de evento; custos de avaliação do evento. Além disso, devem também ser incluídos quaisquer outros custos diretos e indiretos relacionados à conferência ou evento. A abordagem conservadora recomenda que se incluam todos esses gastos, de forma que o custo total do evento seja completamente coberto. Calculando o ROI O retorno sobre investimento é calculado usando-se os benefícios do evento em valores monetários e os respectivos custos. A relação benefícios/custos (RBC) é obtida dividindo-se os benefícios do evento pelos custos do evento, pela seguinte fórmula: RBC = Benefícios do evento Custos do evento O retorno sobre investimento usa o valor líquido dos benefícios dividido pelos custos do evento. Os benefícios líquidos do evento são os resultados monetários do evento menos os seus custos. A fórmula do ROI é: ROI (%) = Benefícios líquidos do evento x 100 Custos do evento Trata-se da mesma fórmula básica usada para avaliar outros investimentos em que o ROI é tradicionalmente apresentado como o resultado da divisão da receita pelo investimento.

54 O VALOR ESTRATÉGICO DOS EVENTOS: COMO E POR QUE MEDIR ROI Padrões Todo processo necessita de padrões, e a Metodologia ROI não é exceção. Os padrões mostrados na Tabela 1-2 representam os ajustes e refinamentos da Metodologia ROI no transcorrer de sua aplicação em uma variedade de setores e indústrias. Esses Princípio-guias estão ajustados para essa indústria em particular e representam os padrões necessários para uma abordagem confiável e conservadora do processo de avaliação em seus diferentes níveis. Tabela 1-2. Padrões ROI Princípios-guias 1 Quando for realizada uma avaliação em um nível mais elevado, os dados deverão ser coletados em todos os níveis anteriores. 2 Quando for planejada uma avaliação em um nível superior, as avaliações dos níveis anteriores não necessitarão ser tão abrangentes. 3 Para a coleta e análise dos dados use apenas as fontes de credibilidade assegurada. 4 Para a análise dos dados, opte pela alternativa mais conservadora para o cálculo dos resultados. 5 Deve ser utilizado, no mínimo, um método de isolamento dos efeitos do evento. 6 Se dados de melhoramento relativos a uma população ou a uma fonte específica não estiverem disponíveis, assume-se que pouca ou nenhuma melhoria tenha ocorrido (se não há dados, não há melhoramento). 7 Estimativas de melhoramento devem ser ajustadas para possíveis erros. 8 Itens de dados extremados e afirmações sem respaldo não devem ser usados nos cálculos do ROI. 9 Apenas o primeiro ano de benefícios (anual) deve ser usado na análise do ROI para eventos de curta duração. 10 Os custos do evento devem ser considerados de forma plena para a análise do ROI. 11 Medidas intangíveis são definidas como propositadamente não convertidas em valores monetários. 12 Os resultados obtidos a partir da Metodologia ROI devem ser comunicados a todos os principais envolvidos.