BIBLIOGRAFIA MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING

Documentos relacionados
BIBLIOGRAFIA MÓDULO II UTILIZAÇÃO DE SISTEMAS DE GESTÃO DA FORMAÇÃO ONLINE

BIBLIOGRAFIA MÓDULO I SENSIBILIZAÇÃO PARA O ELEARNING NA ORGANIZAÇÃO

MÓDULO IV O ROI NUM SISTEMA DE ELEARNING

EXERCÍCIOS DE APLICAÇÃO MÓDULO II UTILIZAÇÃO DE SISTEMAS DE GESTÃO DA FORMAÇÃO ONLINE

MÓDULO III HELP DESK PARA FORMAÇÃO ONLINE

Website disponível em: Nome de Utilizador: Palavra-chave: *aluno*

UNIVERSIDADE LUSÍADA DE LISBOA. Programa da Unidade Curricular DESENHO DE SISTEMAS DE E-LEARNING Ano Lectivo 2012/2013

Comportamento Humano: Liderança, Motivação e Gestão do Desempenho

O contexto na Administração Pública

MÓDULO II UTILIZAÇÃO DE SISTEMAS DE GESTÃO DA FORMAÇÃO ONLINE

Dias, Paulo (2004). Comunidades de aprendizagem e formação on-line. Nov@ Formação, Ano 3, nº3, pp.14-17

Gestão da Formação na Cloud. Raul Denominato Manager elearning & Novabase raul.denominato@novabase.pt

Público Alvo: Investimento: Disciplinas:

PROGRAMAÇÃO METODOLÓGICA DO DO CURSO

Do ensino modular ao ensino por elearning uma evolução natural para o Ensino Profissional

NanowareCyber: Nosso negócio é sua formação.

Abordagem Formativa Web-Based. Success does not happen by accident. It happens by Design.

Público Alvo: Investimento: Disciplinas:

Público Alvo: Investimento: Disciplinas: Graduados em nível superior que atuam ou pretendem atuar na docência em instituições de ensino superior.

MANUAL TÉCNICO DO FORMADOR MÓDULO IV O ROI NUM SISTEMA DE ELEARNING

Público Alvo: Investimento. Disciplinas: Profissionais graduados, que lidam ou estejam interessados em atuar com gestão e marketing de serviços.

BIBLIOGRAFIA MÓDULO III - HELP DESK PARA FORMAÇÃO ONLINE

Apresentação de Solução

F I C H A D A D I S C I P L I N A

Estratégia Nacional de Educação para o Desenvolvimento. ( ) ENED Plano de Acção

Público Alvo: Investimento: Disciplinas:

A plataforma. Sistemas de Gestão de Aprendizagem. Carlos Nunes

Os Nossos Serviços. Learning is Changing! Project Management PMI

Newsletter #2 Março 2015

F I C H A D A D I S C I P L I N A

Introdução ao e-learning

20000 Lead Implementer

Público Alvo: Investimento: Disciplinas:

O Recurso a Meios Digitais no Contexto do Ensino Superior. Um Estudo de Uso da Plataforma.

BOOTCAMP CONSULTORES DIGITAIS LISBOA, JULHO 2015

MAIS PRÓXIMO DA COMUNIDADE

e - Learning > Introdução ao e-learning para Formadores 70 > Diagnóstico de Necessidades de Formação 71 > Coordenação da Formação 72

FICHA DE UNIDADE CURRICULAR 2011/2012. Designação Didática da Informática IV

UNIVERSIDADE CATÓLICA PORTUGUESA

Guia de Aprendizagem Combinada K4Health Perguntas de Acompanhamento

A Parceria UNIVIR / UNIGLOBO- Um Case Focado no Capital Intelectual da Maior Rede de TV da América Latina

Público Alvo: Investimento: Disciplinas:

BPM Business Process Management. Associação Portuguesa dos Profissionais de

AMA ajuda a promover Ensino à Distância

FORMAÇÃO BPM BUSINESS PROCESS MANAGMENT (CERTIFIED BUSINESS PROCESS PROFESSIONAL) UMA PARCERIA ENTRE A ABPMP E A AEP. V5 Mai 13

E-learning: O Ontem, o Hoje e o Amanhã Fábio Fernandes

Gestão do conhecimento

PROJETO UCA: FORMAÇÃO BRASIL. Proposta de operacionalização. Formação dos professores na escola

UNIVERSIDADE DO PORTO GLOSSÁRIO DA ÁREA DA EDUCAÇÃO CONTÍNUA

Público Alvo: Investimento: Disciplinas: Curso RESTRITO a graduados com formação em Direito.

UNIVERSIDADE LUSÍADA DE LISBOA. Programa da Unidade Curricular GESTÃO DO CONHECIMENTO Ano Lectivo 2012/2013

Objetivo do curso: Formar profissionais qualificados na gestão comercial, possibilitando assim o crscimento individual e corporativo.

Espiral de Conhecimento

Symantec University para Parceiros Perguntas freqüentes

20000 Lead Auditor. Certified. ANSI Accredited Program. Bringing value to you! FORMAÇÃO EM GESTÃO DE SERVIÇOS

CONTRIBUTO DOS SISTEMAS DE GESTÃO DE IDI PARA O SUCESSO DAS ORGANIZAÇÕES 7 de Outubro de 2013

PLANO DE ACÇÃO E ORÇAMENTO PARA 2008

Kit de Auto-Diagnóstico de Necessidades, Auto-Formação e Auto-Avaliação da Formação em Gestão

Online Learning communities Baseado no Seminário de Joan Thormann Creating Online Learning communities

FICHA TÉCNICA DO CURSO ESPECIALIZAÇÃO EM GESTÃO DE PROJECTOS NÍVEL 1 EDIÇÃO Nº 01/2013

fundamentos teóricos e práticos necessários ao processo de inclusão do aluno com Deficiência Visual.

FIB - FACULDADES INTEGRADAS DE BAURU CURSO DE PÓS - GRADUAÇÃO LATO SENSU

TECHONOLOGY FOR SECOND LANGUAGE LEARNING

22301 Lead Auditor. Certified. Bringing value to you! ANSI Accredited Program FORMAÇÃO EM CONTINUIDADE DE NEGÓCIO

Passe Jovem no SVE KIT INFORMATIVO PARTE 2 PASSE JOVEM NO SVE. Programa Juventude em Acção

1. DESIGNAÇÃO DA ACÇÃO DE FORMAÇÃO Oficina de Formação de Professores em Empreendedorismo

UNIVERSIDADE LUSÍADA DE LISBOA. Programa da Unidade Curricular DESIGN DIGITAL Ano Lectivo 2012/2013

PMO (Project Management Office) - Implantação de Escritório de Projetos

CONSELHO CIENTÍFICO PEDAGÓGICO DA FORMAÇÃO CONTÍNUA APRESENTAÇÃO DE ACÇÃO DE FORMAÇÃO NAS MODALIDADES DE CURSO, MÓDULO E SEMINÁRIO

5. Ler cuidadosamente as mensagens de correio electrónico;

Digital Account & Project Management

A EFICÁCIA DE CURSOS A DISTÂNCIA PARA A FORMAÇÃO DE AGENTES DE METROLOGIA LEGAL E FISCAIS DA QUALIDADE

F I C H A D A D I S C I P L I N A

UNIVERSIDADE VIRTUAL BRASILEIRA. w w w. u v b. b r

DESENVOLVIMENTO DE COMPETÊNCIAS EM GESTÃO NA SAÚDE POR MEIO DA MODALIDADE DE EDUCAÇÃO A DISTÂNCIA: EXPERIÊNCIA DA ESCOLA DE SAÚDE PÚBLICA DO CEARÁ

SPEEXX Empowering Communication

REDE TEMÁTICA DE ACTIVIDADE FÍSICA ADAPTADA

UNIVERSIDADE LUSÍADA DE LISBOA. Programa da Unidade Curricular PLANIFICAÇÃO ESTRATÉGICA DOS MEDIA Ano Lectivo 2010/2011

elearning na Universidade de Aveiro: presente e futuro Fernando Ramos Universidade de Aveiro

CURSOS DE EXTENSÃO NA MODALIDADE EAD NA EMC/UFG*

LIDERANÇA PARA A MUDANÇA

FrontWave Engenharia e Consultadoria, S.A.

Certified ISO Risk Manager

Cinco principais qualidades dos melhores professores de Escolas de Negócios

OFICINA DE FORMAÇÃO DE PROFESSORES EM EMPREENDEDORISMO

Gestão e Certificação de Serviços de TI

Introdução a EaD: Um guia de estudos

DESENVOLVER E GERIR COMPETÊNCIAS EM CONTEXTO DE MUDANÇA (Publicado na Revista Hotéis de Portugal Julho/Agosto 2004)

OCPLP Organização Cooperativista dos Povos de Língua Portuguesa. Proposta de Plano de Atividades e Orçamento

Curso Piloto O Atendimento nas Lojas do Cidadão

Estudo do Caso PT-SI: Dois passos em frente nos ambientes colaborativos. Carlos Pinhão Lisboa, 2 de Abril 2008

Curso de. Formação Executiva em Estratégia, Governança e Processos de TI

PERSPECTIVAS DO PROJETO DE ENSINO FÁBRICA DE SOFTWARE *

Curso de Capacitação para Tutoria de Cursos a Distância (3ª Edição)

APRESENTAÇÃO INSTITUCIONAL

Master in Management for Human Resources Professionals

Programa do Curso. Designação do curso: Formação Pedagógica Inicial de Formadores

Transcrição:

BIBLIOGRAFIA MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING

MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING Projecto: Kit elearning, SAF/ Novabase, S.A. Equipa de Coordenação Mário Figueira, SAF/Novabase Coordenação Técnico-Pedagógica Teresa Santos, SAF/Novabase Suporte didáctico: Bibliografia O ROI num Sistema de elearning Autores Patrícia Valinho Teresa Santos, SAF/ Novabase, S.A. Design Gráfico Rui Lourenço SAF/ Novabase, S.A Avaliação Técnica Carina Américo Produção apoiada pelo Programa Operacional Emprego, Formação e Desenvolvimento Social (POEFDS) do Ministério das Actividades Económicas e do Trabalho, co-financiado pelo Estado Português e pela União Europeia, através do Fundo Social Europeu. SAF/Novabase, Portugal, Lisboa Edição: Maio, 2007. 2

BIBLIOGRAFIA ÍNDICE INTRODUÇÃO...5 MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING...7 1. ALLEN, M.... 7 2. BRANDON, B... 7 3. EDVINSSON, L..... 7 4. EDVINSSON, L..... 7 5. E-LEARNING GURU... 7 6. E-LEARNING GURU... 8 7. E-LEARNING GURU... 8 8. FITZ-ENZ, J..... 8 9. GOLEK, J. H. e Bartley, S. J... 8 10. KIRKPATRICK, D. L... 9 11. LEARNATIVITY... 9 12. LEARNING CIRCUITS..... 9 13. LEARNING CIRCUITS.... 9 14. LEARNING CIRCUITS..... 9 15. PHILLIPS, J. J... 10 16. PHILLIPS, P. P. & PHILLIPS, J. J.... 10 17. SCHOOL FOR CHAMPIONS... 10 18. SCHOOL FOR CHAMPIONS... 10 19. SCHOOL FOR CHAMPIONS... 10 20. VAN ADELSBERG, D. & TROLLEY, E. A.... 11 PÁGINAS WEB QUE DEVE CONSULTAR COM REGULARIDADE...13 1. Associação Brasileira de Educação a Distância... 13 2. Biblioteca Virtual de Educação a Distância... 13 3. Chief Learning Officer... 13 4. elearn Magazine... 13 5. elearn Frame... 13 6. elearning Brasil... 13 7. elearning Centre... 14 8. elearning Europa... 14 9. elearning Guru... 14 10. elearning Post... 14 11. EPSS Central... 14 12. Escola Virtual... 14 13. Interactive Educational Multimedia... 15 14. International Review of Research in Open and Distance Learning... 15 15. Learnativity... 15 16. Learning Circuits... 15 3

MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING 17. Learning Wiki... 15 18. Masie Center... 15 19. OTIS Case Studies... 16 20. OTIS Site... 16 21. Portal do Conhecimento... 16 22. Publication Share... 16 23. ROInet - Measuring HRD/HR programs & activities... 16 24. WebAula... 16 25. Web-Based Training Information Centre... 17 4

BIBLIOGRAFIA INTRODUÇÃO Neste recurso didáctico Bibliografia apresentamos uma série de referências bibliográficas, nomeadamente: artigos, páginas Web, livros e teses. Este documento pretende constituir um conjunto de leituras complementares aos conteúdos desenvolvidos no Módulo IV - O ROI num Sistema de elearning. 5

6 MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING

BIBLIOGRAFIA MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING Neste documento pode encontrar um conjunto de referências bibliográficas e páginas Web que o(a) ajudarão a aprofundar este tema. 1. ALLEN, M. The Lessons of e-learning, 2003. Disponível em: <http://www.optimizemag.com/issue/026/roi.htm>. Artigo escrito por Michael Allen, Chairman e CEO da Allen Interactions, que aborda alguns aspectos da implementação do elearning. 2. BRANDON, B., Doing the Numbers: Return on Investment dor e-learning. The elearning Developers Journal. Canada: 2004. Um guia completo sobre os assuntos, modelos e processos passo-a-passo para conduzir e apresentar uma análise do ROI. 3. EDVINSSON, L., Corporate Longitude. Suécia: 2003. Leif Edvinsson apresenta novas perspectivas e estratégias para a consecução de uma economia competitiva, baseada no conhecimento. 4. EDVINSSON, L., Measuring Intelectual Capital. Suécia: 1998. Livro de Leif Edvinsson, o primeiro Director de Intelectual (Skandia), sobre a Gestão do Capital Intelectual. 5. E-LEARNING GURU. Beyond Kirkpatrick: Measuring the Financial Returns of e- Learning. E.U.A., s/d. Disponível em: <http://www.e-learningguru.com/articles/art5_1.htm>. 7

MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING Os factores-chave a ter em conta numa análise custo-benefício. Artigo escrito por Kevin Kruse, presidente da AXIOM Professional Health Learning. 6. E-LEARNING GURU. How Much Will It Cost? Estimating e-learning Budgets. E.U.A., s/d. Disponível em: <http://www.e-learningguru.com/articles/art6_1.htm>. Kevin Kruse, presidente da AXIOM Professional Health Learning, descreve os factores que devem ser considerados quando se contabiliza os custos dum curso em elearning. 7. E-LEARNING GURU. Measuring the Total Cost of e-learning. E.U.A., s/d. Disponível em: <http://www.e-learningguru.com/articles/art5_2.htm>. Os principais passos para contabilizar os custos de qualquer curso em elearning. Artigo escrito por Kevin Kruse, presidente da AXIOM Professional Health Learning. 8. FITZ-ENZ, J., The ROI of Human Capital: Measuring the Economic Value of Employee Performance. American Management Association, Maio de 2000. Jac Fitz-enz apresenta nesta obra os resultados de anos de pesquisa em torno das metodologias de avaliação das consequências da formação na performance dos trabalhadores. 9. GOLEK, J. H. e Bartley, S. J. Evaluating the Cost Effectiveness of Online and Face-to-Face Instruction. E.U.A., 2004. Disponível em: <http://www.ifets.info/journals/7_4/16.pdf>. Língua: Inglês. Acesso em Dez de 2007. Os autores apresentam uma matriz de custo, segundo qual os custos da educação e formação online podem ser calculados e comparados com os custos da educação e formação tradicional. 8

BIBLIOGRAFIA 10. KIRKPATRICK, D. L., Evaluating Training Programs: The Four Levels. Berrett-Koehler, Fevereiro de 1996. Nesta obra, Kirkpatrick apresenta os quatro níveis de avaliação da formação: reacção, aprendizagem, comportamento e resultados. 11. LEARNATIVITY. How do I measure return on investment (ROI) for my learning program? E.U.A., 05 de Março de 2002. Disponível em: <http://www.learnativity.com/roi-learning.html>. Marcia L. Conner disponibiliza ferramentas para calcular o ROI de programas de formação, incluindo a fórmula e a explicação de cada uma das variáveis. Dispõe ainda de muitíssimos recursos, nomeadamente outros websites e discussões sobre temas, artigos, bibliografia, calculadores, etc. 12. LEARNING CIRCUITS. A Fresh Look at ROI. E.U.A., Janeiro de 2001. Disponível em: <http://www.learningcircuits.org/2001/jan2001/cross.html>. Artigo escrito por Jay Cross, CEO da Internet Time Group, que descreve a abordagem e utilização do ROI para a formação segundo as diferentes perspectivas dos intervenientes na empresa. 13. LEARNING CIRCUITS. Many Happy Returns: Calculating E-Learning ROI. E.U.A., Junho de 2001. Disponível em: <http://www.learningcircuits.org/2001/jun2001/elearn.htm>. John Setaro apresenta um modelo para efeitos de cálculo do ROI em elearning. 14. LEARNING CIRCUITS. ROI of e-learning. E.U.A., Fevereiro de 2002. Disponível em: <http://www.learningcircuits.org/2002/feb2002/moran.html>. John V. Moran estabelece as principais diferenças entre a formação presencial e a formação em elearning, no que diz respeito aos diferentes tipos de custos. 9

MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING 15. PHILLIPS, J. J., Return on Investment in Training and Performance Improvement Programs. 2ª Ed.. Butterworth-Heinemann, Abril de 2003. Phillips apresenta diversas abordagens para calcular o retorno do investimento na formação. 16. PHILLIPS, P. P. & PHILLIPS, J. J., The Bottom Line on ROI: Basics, Benefits, & Barriers to Measuring Training & Performance Improvement. CEP Press, Janeiro de 2002. Os autores abordam as novas questões que devem ser consideradas na preparação do cálculo do ROI, nomeadamente a necessidade de investir nas diversas etapas do cálculo, e não apenas na análise de dados. 17. SCHOOL FOR CHAMPIONS. Determining Training Return-on-Investment (ROI). E.U.A., 16 de Maio de 2001. Disponível em: <http://www.school-for-champions.com/training/roi.htm>. Ron Kurtus estabelece uma metodologia para auxiliar a determinação do ROI em formação profissional. 18. SCHOOL FOR CHAMPIONS. Return-on-Investment (ROI) from elearning, CBT and WBT. E.U.A., 12 de Out de 2002. Disponível em: <http://www.school-for-champions.com/elearning/roi.htm>. O autor disponibiliza ferramentas que auxiliam a compreensão da determinação de alguns dos custos e poupanças gerados pelo elearning para efeitos de cálculo do ROI. 19. SCHOOL FOR CHAMPIONS. Return-on-Investment (ROI) in Training Workers. E.U.A., 24 de Maio de 2001. Disponível em: <http://www.school-for-champions.com/training/roiworkers.htm>. Aplicação do ROI à formação profissional nas empresas, medindo parâmetros pré e pós formação. Artigo escrito por Ron Kurtus. 10

BIBLIOGRAFIA 20. VAN ADELSBERG, D. & TROLLEY, E. A., Running Training Like a Business. Berrett- Koehler Publishers, Maio de 1999. As novas perspectivas no desenvolvimento e implementação de standards para a avaliação da performance. 11

12 MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING

BIBLIOGRAFIA PÁGINAS WEB QUE DEVE CONSULTAR COM REGULARIDADE 1. Associação Brasileira de Educação a Distância <http://www2.abed.org.br/ > Página Web da Associação Brasileira de Educação a distância. 2. Biblioteca Virtual de Educação a Distância <http://www.prossiga.br/edistancia/> A Biblioteca Virtual de Educação a Distância apresenta informações sobre esta temática num sentido amplo (novas tecnologias: televisão, vídeos, computadores, World Wide Web). 3. Chief Learning Officer <http://www.clomedia.com> Página de Web da revista Chief Learning Officer, especializada para responsáveis da formação. Apresenta diversos estudos de caso e recursos sobre produtividade e medição do sucesso do elearning. 4. elearn Magazine <http://www.elearnmag.org/> Esta revista de elearning serve quem trabalha, ensina e aprende na vasta área do campo da informática. 5. elearn Frame < http://www.elearningbrasil.com.br/> Esta página de Web contém artigos sobre as noções base de elearning. 6. elearning Brasil <http://www.e-learningcentre.co.uk> > Portal brasileiro especializado em elearning. 13

MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING 7. elearning Centre <http://www.e-learningcentre.co.uk> > Site direccionado para quem trabalha em elearning. Inclui inúmeros artigos sobre esta área de conhecimento, nomeadamente relatórios de investigação e indicações de conferências, seminários e workshops sobre elearning. 8. elearning Europa <http://www.elearningeuropa.info/> Página Web da Iniciativa elearning da Comissão Europeia. 9. elearning Guru <http://www.elearningguru.com> Site com informação prática sobre elearning, resumos de livros e outros recursos necessários para quem lida frequentemente com o elearning. Inclui muita informação sobre os custos em elearning. 10. elearning Post <http://www.elearningpost.com> Site com actualização diária de artigos e notícias sobre Aprendizagem Colaborativa, Comunidades Virtuais, Instructional Design, Gestão do Conhecimento e outros. 11. EPSS Central <http://www.pcd-innovations.com/calculating_roi.htm> Site com uma grande quantidade de recursos dedicados ao cálculo do ROI aplicado à formação presencial e online, incluindo artigos, publicações e acessos a outros sites, bibliografia, fóruns de discussão, calculadores e folhas de cálculo. 12. Escola Virtual <http://www.escolavirtual.org.br/> 35 cursos gratuitos que podem ser realizados em regime de auto-estudo. 14

BIBLIOGRAFIA 13. Interactive Educational Multimedia <http://www.ub.es/multimedia/iem/> Este jornal é um espaço para o diálogo e reflexão sobre a integração das novas tecnologias na educação. 14. International Review of Research in Open and Distance Learning <http://www.irrodl.org/index.html> Um e-jornal de referência para a pesquisa de teoria e prática para o ensino aberto e a distância. 15. Learnativity <http://www.learnativity.com> Site com indicações úteis sobre as aplicações práticas do elearning, vocacionado para a perspectiva comercial do elearning. Inclui muita informação sobre orçamentação e ROI. 16. Learning Circuits <http://www.learningcircuits.org> Site desenvolvido pela ASTD (American Society for Training & Development), com vários artigos de referência sobre elearning. 17. Learning Wiki < http://www.learningwiki.com/> Um projecto do The Masie Centre, sobre Conteúdo, Contexto, Comunidade e Colaboração sobre a Aprendizagem. 18. Masie Center <http://www.masie.com/masie/default.cfm?page=default> Centro de investigação norte-americano que explora a intersecção da aprendizagem com a tecnologia. 15

MÓDULO IV - O ROI NUM SISTEMA DE ELEARNING 19. OTIS Case Studies <http://otis.scotcit.ac.uk/casestudy/> Oferece acesso a 65 estudos de caso do projecto OTIS (The Online Tutoring Skills). 20. OTIS Site <http://otis.scotcit.ac.uk/> Esta página Web contém indicações de como se pode criar materiais e meios de suporte para a tutoria online. Contém informações e detalhes de projectos, calendarização de eventos, materiais e outras hiperligações. 21. Portal do Conhecimento < http://www.kmol.online.pt/> Um conjunto de páginas que, no espaço virtual, pretendem constituir uma publicação periódica dedicada à Gestão de Conhecimento e à Aprendizagem Organizacional da comunidade lusófona. 22. Publication Share <http://www.publicationshare.com> Este site contém artigos sobre elearning e baseia-se na oportunidade de partilhar publicações. 23. ROInet - Measuring HRD/HR programs & activities <http://finance.groups.yahoo.com/group/roinet/> Grupo criado pela James Madison University dedicado a cálculo do ROI na formação que inclui os mais variados recursos de informação a membros, nomeadamente um fórum, um chat, uma agenda, hiperligações para sites relacionados, uma base de dados, etc. 24. WebAula <http://portal.webaula.com.br> Portal elearning da empresa WebAula Educação sem fronteiras. 16

BIBLIOGRAFIA 25. Web-Based Training Information Centre <http://www.wbtic.com/default.aspx> Este site oferece informação sobre o desenvolvimento de aprendizagem online, contendo diversos artigos. 17