manual para avaliação de atividade fisica, Manuais, Projetos, Pesquisas de Enfermagem

Baixe manual para avaliação de atividade fisica e outras Manuais, Projetos, Pesquisas em PDF para Enfermagem, somente na Docsity! Manual para Avaliação de Atividade Física Departamento de saúde e serviços humanos dos EUA Centros para o controle e a prevenção de doenças  Prefácio A atividade física reduz o risco de várias doenças crônicas não-transmissíveis, pode ser associada com baixa morbidade e baixa mortalidade, além de melhorar as condições funcionais e a qualidade de vida. A ratificação da Estratégia Global da Organização Mundial de Saúde para Alimentação, Atividade Física e Saúde pela Assembléia de Saúde Mundial em Maio de 2004, enfatiza o fato de que a inatividade física é um grande problema de saúde pública, tanto nos países desenvolvidos, quanto nos países em desenvolvimento. Muitos países da América Latina já reconheceram que o aumento do nível de atividade física em suas populações deve ser um tema prioritário em saúde pública. No entanto, poucos países desenvolveram programas nacionais para a promoção da atividade física. Vários programas comunitários inovadores vêm surgindo na região. Entretanto, poucos foram devida e cuidadosamente avaliados e, um número ainda menor de programas, foi documentado em literatura científica Existe uma grande necessidade de compartilhamento de informações sobre os aspectos práticos da implementação de programas e sobre o desenho/desenvolvimento e avaliação de intervenções em comunidades. A avaliação de programas atuais, assim como de iniciativas futuras são importante fonte de informações para profissionais da saúde (secretários de saúde, administradores públicos, médicos, enfermeiras, agentes de saúde, etc…) sobre quais são as melhores formas de desenvolver e implementar programas de atividade física. Em Novembro de 2003 um painel internacional de especialistas no desenvolvimento e avaliação de programas de atividade física, tanto em comunidades locais como nacionais, se reuniu no Rio de Janeiro - Brasil, a convite do Centro de Colaboração para Promoção da Atividade Física e Saúde da OMS (Organização Mundial de Saúde) e do CDC (Centros para Controle e Prevenção de Doenças dos Estados Unidos). Outros patrocinadores do workshop foram: CELAFISCS (Centro de Estudos do Laboratório de Aptidão Física de São Caetano do Sul), Organização Panamericana de Saúde (OPAS), Colégio Americano de Medicina Esportiva e o Agita Mundo. O workshop teve quatro objetivos principais: 1. Estabelecer as bases para a produção de um manual para avaliação de programas de atividade física. 2. Revisar e adaptar o Manual do CDC para Avaliação de Atividade Física para ser utilizado na América Latina. 3. Chamar a atenção e direcionar esforços da comunidade internacional em saúde pública, para avaliação de intervenções em atividade física. 4. Desenvolver diretrizes para avaliação de programas, assim como outros produtos que sejam claramente orientados para aplicações nas Américas.  Manual para Avaliação de Atividade Física Este Manual – Manual para Avaliação de Atividade Física – foi revisado e atualizado com o objetivo de abordar os primeiros dois objetivos. O arquivo Recomendações para Avaliação de Intervenções em Atividade Física – Rio de Janeiro (incluido como apêndice 3 ) visa abordar os objetivos 3 e 4. Durante o workshop, foram apresentados quatro estudos de caso sobre programas de promoção da atividade física considerados bem elaborados em comunidades da Argentina, Brasil, Colômbia e México. Cada um deles apresenta uma descrição prática de como os investigadores seguiram os 6 passos sugeridos pelo guia de avaliação. Devido a limitações de espaço, somente os estudos de caso do Brasil e da Colômbia puderam ser incluídos nesta edição do manual. Conforme aprendemos nos estudos de caso e durante o workshop, as 6 etapas (passo- a-passo) do guia podem auxiliar no planejamento, monitoramento e avaliação, mas não precisam necessariamente ser aplicadas nesta ordem. Do ponto de vista prático, os passos podem ser seguidos em uma ordem diferente ou até mesmo simultaneamente. O Manual para Avaliação de Atividade Física descreve as experiências do programa de avaliação, as reflexões feitas pelos participantes do workshop, além de lições específicas aprendidas através dos estudos de caso do Agita Galera e do Muévete Bogotá. Este processo de avaliação parece ser uma ótima ferramenta a ser usada como guia no planejamento e avaliação de programas no contexto da América Latina, e nos proporciona uma planilha básica que pode ser usada por investigadores para facilitar o compartilhamento de suas experiências. Esperamos que a publicação do Manual para Avaliação de Atividade Física em Português e Espanhol e a adição de novos estudos de casos na América Latina, facilitem a disseminação do seu uso e aplicação. Em nome dos membros do workshop, gostariamos de desejar-lhes muita sorte nos seus esforços para promoção da atividade física e espero que este manual possa contribuir para um planejamento eficaz de suas intervenções, um melhor entendimento dos processos e resultados de um programa e uma boa avaliação prática. Agradecimentos especiais aos participantes do workshop pela sua valiosa contribuição para este manual. Uma lista dos participantes e de suas instituições e afiliações pode ser encontrada no Apêndice A - Recomendações para Avaliação de Intervenções em Atividade Física – Rio de Janeiro. Thomas Schmid Michael Pratt  Agradecimentos Muitas pessoas contribuíram para a elaboração deste Manual para Avaliação de Atividade Física nas versões em Espanhol e Português. Agradecimentos especiais à equipe do Muévete Bogotá e sua coordenadora Rocio Gámez, do Instituto Distrital para Recreação e Esporte da Prefeitura de Bogotá, e à Diana Parra Perez, do CDC, que editaram e desenvolveram o estudo de caso Muévete Bogotá. Ao Victor e Sandra Matsudo, Douglas Andrade, Erinaldo Andrade, John Librett e Mario Bracco que contribuiram e desenvolveram o estudo de caso Agita Galera. Agradecimentos à Jennifer Grubb, Sara Martin, Michael Pratt, Tom Schmid, Andrea Neiman e Gregory Heath pela contribuição na revisão e preparação do estudo de caso Muévete Bogotá. À Maria de Fátima, Markus Nahas, Sandra Matsudo e Jesus Soares, os quais proporcionaram valiosa ajuda editorial na publicação em português. Um agradecimento especial à Erika Ruiz por sua minuciosa revisão da edição em espanhol e à Clemencia Mejia e Juan Manuel Sarmiento pela assistência editorial. Agradecimentos ao os membros do Rio Workshop, que contribuíram na Avaliação da Resolução-Rio e deram valiosa orientação no desenvolvimento dos estudos de caso. Os membros participantes do Rio Workshop estão listados abaixo: Participantes do Encontro Douglas Andrade, MPH CELAFISCS São Paulo, Brasil Erinaldo Andrade, MPH CELAFISCS São Paulo, Brasil Timóteo Araújo, MS CELAFISCS São Paulo, Brasil Hamadi Benaziza, MPH OMS Genebra, Suiça David Buchner, MD CDC Atlanta,USA Lucimar Coser Cannon, MD, Ph.D. OPS/OMS Washington, USA Rocío Gámez, RD IDRD/ Muévete Bogotá Bogotá, Colômbia Igor Glasunov, MD Univ. de Moscou Moscou, Rússia Mary Hall, MPH CDC Atlanta, USA Enrique Jacoby, MD, MPH OPS/OMS Washington, USA Mustafa Khogali, MD Univ America Beirute, Líbano de Beirute John Librett, Ph.D. CDC Atlanta, USA Jay Maddock, Ph.D. Univ. de Havai Honolulu, USA Sandra Matsudo, MD, Ph.D. CELAFISCS São Paulo, Brasil Victor Matsudo, MD, Ph.D. CELAFISCS São Paulo, Brasil David McQueen, Ph.D. CDC Atlanta, USA Markus Nahas, Ph.D. Univ. de Florianópolis Florianópolis, Brasil  Manual para Avaliação de Atividade Física Introdução O reconhecimento da importância da atividade física atingiu um novo patamar nos EUA. De fato, a atividade física foi recentemente mencionada como um dos 10 principais indicadores de saúde em Healthy People 20101. Consequentemente, a necessidade de avaliação dos programas de atividade física é mais premente do que nunca. Por quê? É necessário avaliarmos os programas de atividade física para sabermos qual foi o progresso obtido, ver para onde estamos caminhando e de onde partimos, comunicar o que aprendemos aos nossos colegas, não duplicar desnecessariamente o uso dos recursos financeiros para um mesmo fim, e melhorar nossos programas, pois, em última instância, somos responsáveis por prestar contas. A avaliação do programa pode ser utilizada para: • Exercer influência nos formuladores de políticas e patrocinadores dos programas. • Capacitar a comunidade e obter sua participação. • Comunicar a outras comunidades o que funciona e o que não funciona. • Garantir os recursos financeiros e a sustentabilidade. A avaliação do programa pode ser levada a cabo seguindo estas seis etapas principais: • Obter a participação das principais pessoas interessadas. • Descrever ou elaborar o programa • Focalizar a avaliação. • Coletar provas fidedignas. • Fundamentar as conclusões. • Assegurar a aplicação e compartilhar as lições aprendidas. O que é uma avaliação? Uma avaliação consiste em um “exame e a avaliação sistemáticos das características de uma iniciativa e de seus efeitos, a fim de obter informação que possa ser utilizada por quem tem interesse em melhorá-la ou torná-la mais eficaz”.2 1 US Department of Health and Human Services. Healthy People 2010. 2nd edition. With Understanding and Improving Health and Objectives for Improving Health. 2 vols. Washington, DC: Government Printing Office; 2000. 2 WHO European Working Group on Health Promotion Evaluation. Health Promotion Evaluation: Recommendations to Policymakers. Copenhagen: World Health Organization; 1998.  A diferença principal entre a avaliação de um programa e uma pesquisa básica é que o objetivo principal da avaliação não é acrescentar novas informações a um conjunto de conhecimentos já existente, mas, sim, descobrir como melhorar o programa. Outras diferenças são: • A avaliação é controlada pelas partes interessadas (stakeholders) em vez de ser elaborada estritamente pelo pesquisador. • As etapas de uma avaliação são muito distintas das etapas de uma pesquisa básica. • Os padrões da avaliação incluem: utilidade, viabilidade, exatidão e imparcialidade, com prioridade na validade interna e externa. • A avaliação pondera o mérito, o valor e a importância, em vez de enfatizar associações. • Pela própria forma em que é elaborada, a avaliação é holística e flexível, adaptando- se à mudanças e circunstâncias inesperadas; não é rigidamente controlada. • Os métodos usados em uma avaliação são tanto quantitativos quanto qualitativos. • A avaliação é contínua; não se restringe a um cronograma específico. • O escopo da avaliação é amplo, de modo a possibilitar a integração; não há centralização rígida. • As conclusões de uma avaliação dependem de valores definidos por acordo mútuo ou especificamente declarados pelas partes interessadas; os valores não são ignorados. • A aplicação dos dados é indispensável, não apenas para aumentar o conhecimento e contribuir para a melhoria de programas semelhantes através de sua publicação, mas, também, para aumentar a efetividade do programa ou melhorá-lo. Como? Em 1999 o CDC publicou Framework for Program Evaluation in Public Health, disponível na Internet, no site http:///www.cdc.gov/epo/mmwr/preview/mmwrhtml/ rr4811a1.htm)3. Esta publicação descreve seis etapas para a avaliação de programas: obter a participação das partes interessadas, descrever o programa, focalizar o projeto de avaliação, recolher evidências confiáveis, justificar as conclusões e asssegurar o uso e compartilhar as lições aprendidas. Este manual utiliza o Framework for Program Evaluation in Public Health, seu suplemento: An Evaluation Framework for Community Health Programs,4 e Promoting Physical Activity: A Guide for Community Action 5como fontes principais para descrever estas seis etapas e a forma pela qual se relacionam à avaliação de programas de atividade física. 3 Centers for Disease Control and Prevention. Framework for Program Evaluation in Public Health. MMWR 1999; 48(No RR-11). 4 The Center for the Advancement of Community Based Public Health. An Evaluation Framework for Community Health Programs. Durham, NC: The Center for the Advancement of Community Based Public Health; 2000. 5 US Department of Health and Human Services. Promoting Physical Activity: A Guide for Community Action. Atlanta, GA: US Department of Health and Human Services. Centers for Disease Control and Prevention; 1999. Introdução 10 Manual para Avaliação de Atividade Física Algumas características únicas deste manual: Incentivamos nossos leitores a não se restringirem ao modo de pensar convencional na elaboração de seus planos de avaliação. Apresentamos alguns exemplos do programa “KidsWalk-to- School” (programa para incentivar crianças a caminharem até a escola como atividade física) para ilustrar os principais pontos. O “KidsWalk-to-School” do CDC é um programa comunitário que tem como objetivo aumentar as oportunidades diárias de atividade física, incentivando as crianças a irem e voltarem a pé da escola, em grupos ou acompanhadas por adultos. Fornecemos uma folha de exercícios que pode ser fotocopiada e utilizada para ajudar o leitor a realizar cada etapa do programa de atividade física. Também estão incluídos anexos que contêm mais detalhes sobre aspectos específicos da avaliação de programas, relacionados à programação de atividades físicas, incluindo indicadores de avaliação e estudos de casos (consulte os Apêndices 1 a 6). Para ver outros links e recursos relacionados a avaliação, visite o site da “American Evaluation Association” em http://www.eval.org/EvaluationLinks/links.htm. Padrões Trinta padrões compõem os princípios orientadores de uma avaliação (consulte o Apêndice 1) 6. Esses padrões são baseados em quatro perguntas-chave que devem ser respondidas durante as seis etapas de avaliação do programa. A avaliação A quantidade e o tipo de dados a serem coletados atenderão às é útil? necessidades de quem vai usar os resultados da avaliação? É viável? A avaliação será possível em termos práticos; ela é viável e realista? É exata? As conclusões da avaliação serão corretas? É justa? A avaliação será realizada levando-se em conta os direitos das pessoas envolvidas no programa? Não é possível cumprir todos os padrões em todas as situações. Contudo, determinados padrões sempre devem ser observados. Embora a mensuração exata de atividade física nem sempre seja viável, devido ao custo ou à complexidade, ela deve ser sempre efetuada imparcialmente. Além disso, não vale a pena realizar uma avaliação se não se pretende usar os resultados. 6 The Joint Committee on Standards for Educational Evaluation. The Program Evaluation Standards: How to Assess Evaluations of Educational Programs. 2nd Ed. Thousand Oaks, CA: Sage Publications; 1994. 1 Setor de transporte e desenvolvimento ambiental • EPA (Environmental Protection Agency – Órgão de proteção ao meio ambiente, EUA). • Representantes públicos de segurança e trânsito rodoviário, em nível federal e estadual. • Associações profissionais e grupos de proteção ao meio ambiente. Setor comercial • Câmara do comércio. • Equipes esportivas profissionais. • Comércio e indústrias de pequeno e de grande porte. Setor de comunicações e mídia • Emissoras de televisão • Gerentes de estações de rádio. • Editoras de publicações profissionais. • Editoras de publicações sobre condicionamento físico e saúde. Setor de recreação • Parques nacionais, estaduais e municipais. • Clubes de caminhada, excursionismo e atletismo. • Associações estaduais de esportes (ex.: competições esportivas para terceira idade, competições entre empresas). • Comissões esportivas e associações atléticas estaduais. Setor religioso • Associações ou conselhos clericais e ministeriais. • Grupos juvenis. • Espaços recreativos pertencentes a igrejas, acampamentos, etc. Setor de organizações voluntárias e de serviço • Associações e fundações nacionais. • Associações de pais e professores. • Estudantes de pós-graduação de programas pertinentes. • Fundações especiais do setor público ou privado. • Órgãos de desenvolvimento econômico. Partes interessadas do programa “KidsWalk-to- School” Implementadores: • Pais. • Professores e funcionários de escolas. • Associações de pais e mestres. • Secretaria local da saúde. Parceiros • Clubes 4-H. • Boys and Girls Clubs. • CDC. Participantes • Pais. • Crianças. • Vizinhos. Tomadores de decisões • Diretores. • Conselhos diretores de escolas. • Representantes públicos. Seis etapas para avaliação de programas de atividade física– Etapa 1 1 Folha de exercícios: Etapa 1: Obter a participação das partes interessadas As folhas de exercícios podem ser fotocopiadas e utilizadas em cada programa. Nome do programa _____________________________________________________________ 1. Determinar quais são as partes interessadas. • Quem participa ativamente das operações do programa? • Quais são os parceiros? • Quem é atendido ou afetado pelo programa? • Quais são os tomadores de decisões relacionadas ao programa? 2. Descrever como será feita a avaliação e o levantamento dos interesses, necessidades, recursos e contribuições das partes interessadas durante todo o processo de planejamento. 3. Determinar quem utilizará os resultados da avaliação e participará da maioria das decisões da avaliação (isto é, quais são os stakeholders ou partes interessadas da avaliação). 1 Etapa 2: Descrever ou elaborar o plano do programa O planejamento do programa e da avaliação devem ser elaborados de forma coordenada e baseados em contribuições das partes interessadas identificadas. A descrição do programa deve conter uma definição do problema a ser tratado, além de descrever as atividades, os recursos, os efeitos previstos e o contexto do programa. A Etapa 2 deve ser realizada mesmo no caso da avaliação de um programa já existente, pois as diversas partes interessadas podem ter percepções distintas do programa e do objetivo a ser alcançado. A própria tarefa de elaborar uma descrição minuciosa do programa assegura que todos entendam claramente seus aspectos fundamentais (para obter informações sobre as intervenções recomendadas pelo Guide to Community Preventive Services para programas de atividade física, consulte o Apêndice 2). Uma descrição completa de programa contém três componentes principais. O primeiro componente consiste em determinar a fase de desenvolvimento do programa. O segundo consiste em enunciar o problema a ser tratado pelo programa. Após esclarecer e justificar a necessidade do programa, o terceiro componente, que consiste em um modelo lógico, deve apresentar um quadro de referência prático para descrição ou planejamento do restante do programa. Fase de desenvolvimento As três fases gerais do programa são: planejamento, implementação e manutenção. A fase de desenvolvimento do programa afeta todo o processo de planejamento da avaliação, a começar pela descrição do programa. Se o programa estiver na fase de planejamento, recomendamos realizar um levantamento das necessidades para determinar o escopo do problema que se deseja tratar, ou a necessidade que o programa pode ter condições de satisfazer. No caso de um programa já implantado ou existente, o processo de planejamento da avaliação deverá se concentrar em medir a implementação das atividades do programa, e determinar os resultados esperados pelos participantes e os fatores contextuais que afetam o processo ou os resultados do programa. Todas as etapas do planejamento da avaliação serão adaptadas à fase de desenvolvimento do programa. Enunciado do problema As perguntas a seguir ajudam a definir o problema e justificar a necessidade do programa. Cada pergunta é seguida de uma resposta hipotética. • Qual é a natureza do problema? A atividade física é um dos 10 principais indicadores de saúde de uma nação (Healthy People 2010). • Qual é a dimensão do problema (incluindo as subpopulações)? De acordo com o YRBSS (Youth Risk Behavior Surveillance System – Sistema de vigilância de comportamento de risco juvenil), apenas 45% dos alunos de segundo grau apresentam o nível de atividade física semanal recomendada. Seis etapas para avaliação de programas de atividade física – Etapa 2 Três componentes da descrição de um programa • Fase de desenvolvimento. • Enunciado do problema. • Modelo lógico. 1 Manual para Avaliação de Atividade Física Exemplo: Que resultado se deseja Que os jovens incorporem em seu estilo de vida a quantidade obter a longo prazo? diária recomendada de atividade física. Como? Que resultado se deseja Que os jovens adquiram mais habilidades e incorporem mais obter a médio prazo? atividades físicas na escola. Como? Que resultado se deseja Que os planos de cursos de Educação Física sejam modificados. obter a curto prazo? Como? Que atividades são necessárias Treinamento dos professores de Educação Física e modificação para obter estes resultados? nos planos de cursos de modo a incluir mais atividades físicas que se tornem hábitos permanentes, coordenadamente com outros cursos. Como? Que insumos são necessários Treinadores, modelos de planos de cursos, instalações, para obter estes resultados? recursos financeiros. Modelo lógico da esquerda para a direita Esta abordagem, também conhecida como lógica prospectiva, pode ser usada para avaliar um programa que ainda não tem um modelo lógico, na fase de implementação ou manutenção. Inicia-se com a explicitação dos insumos e atividades do programa. Prossegue-se à direita, fazendo-se a perguntar “Por quê?”. Também se pode pensar nesta abordagem como uma progressão do tipo “Se..., então...”. Exemplo: Quais são os Pessoal, incentivos, materiais. insumos existentes? Por quê? Quais são as O desafio do bem-estar no local de trabalho. atividades existentes? Por quê? Que resultado se deseja Que os funcionários melhorem em atitude e adquiram obter a curto prazo? mais conhecimento sobre a quantidade diária recomendada de atividade física. Por quê? Que resultado se deseja Aumento da atividade física dos funcionários. obter a médio prazo? Por quê? Que resultado se deseja Melhores normas referentes a atividade física no local de trabalho. obter a longo prazo? Pense de modo não-convencional Os modelos lógicos podem ser de vários tipos. No final deste capítulo, apresentamos um modelo lógico genérico com uma variedade de atividades para programas de atividade física. Este modelo pode ser usado como ponto de partida, mas não se sinta constrangido: modifique o design e incorpore a sua própria perspectiva. Não existe uma forma padronizada de elaborar ou apresentar um modelo lógico. 1 Levantamento dos recursos da comunidade • Identificar as necessidades e interesses • Avaliar a viabilidade de ir a pé até a escola Planejamento do Programa • Recrutar voluntários • Desenvolver parcerias Exemplos de modelos lógicos O seu modelo lógico pode ilustrar os detalhes de uma atividade que faça parte de um programa mais amplo, ou pode conter um diagrama das correlações entre todos os programas da comunidade (ou programas estaduais) relacionados à atividade física. Os vários modelos lógicos podem representar os diversos níveis de um mesmo programa. O modelo lógico é sempre uma obra em andamento. Além disso, é provável que durante o planejamento e refinamento do programa e da avaliação, seja necessário revisar o modelo lógico. Use o modelo para determinar as atividades e os resultados que deverão ser avaliados para manter o programa no rumo certo. Seis etapas para avaliação de programas de atividade física – Etapa 2 Enunciado do problema: As crianças em idade escolar têm poucas oportunidades de atividade física diária. Modelo lógico do programa “KidsWalk-to-School”* RESULTADOS INTERMEDIÁRIOS Aumentar o grau de coesão da comunidade Melhorar as condições para andar pelos bairros Aumentar o nível de conscientização das crianças quanto ao trânsito RESULTADOS A LONGO PRAZO RESULTADOS INICIAIS Aumentar o nível de participação da comunidade Aumentar a conscientização sobre a importância de caminhar Aumentar a atividade de caminhar até a escola INSUMOS • Membros da comunidade. • Represen- tantes locais • Voluntários • Crianças • Escolas Oferecer oportunidades de atividade física para as crianças através da caminhada até a escola * Além do modelo lógico, também poderá ser necessário definir objetivos SMART (Specific, Measurable, Achievable, Relevant, Time-bound) – ou INTELIGENTES (específicos, mensuráveis, alcançáveis, relevantes, com prazo determinado) – tanto para o processo quanto para as avaliações quantitativas dos resultados (ex.: “No primeiro semestre, serão feitas caminhadas semanais a partir de cinco lugares diferentes”). Consulte o Apêndice 4. Propugnar pela segurança no percurso até a escola Organizar caminhadas regulares Realizar eventos iniciais ATIVIDADES OBJETIVO Crianças mais sadias em bairros mais saudáveis 20 Manual para Avaliação de Atividade Física Enunciado do problema: 85% dos adultos e 45% dos jovens não exercem a quantidade de atividade física recomendada. ATIVIDADES PRODUTOS RESULTADOS INICIAIS RESULTADOS INTERMEDIÁRIOS FACTORES INFLUENCIADORES RESULTADOS A LONGO PRAZO Modelo lógico genérico de atividade física “O b je ti vo : at in g ir a s m et as d es cr it as e m H ea lt h y P eo p le 2 01 0 (v ej a o a p ên d ic e 4) ” Núm. de pacientes orientados Progresso dos pacientes nas fases de preparação para atividade física Recursos humanos • Pessoal remunerado • Consultores • Voluntários Cursos de desenvolvimento profissional para professores de Educação Física Campanha de mídia dirigida aos jovens Recursos financeiros • Governo • Fundações • Empresas Outros • Materiais • Equipamentos • Instalações • Sócios Núm. de artigos publicados Núm. de espectadores Núm. de empregadores participantes. Núm. de funcionários participantes. Núm. de mudanças nas políticas e no ambiente de trabalho visando a propiciar a atividade física. Núm. de professores treinados Implementação de um desafio no local de trabalho Aumento na relação número/ porcentagem de pessoas que andam ou usam bicicleta como meio de transporte INSUMOS Orientação do paciente na atividade física Feriados principais, interesses concorrente das populações-alvo, histórico de empenho insuficiente de coalizão, falta de apoio à atividades físicas pelos quadros administrativos escolares, apoio a aconselhamento médico pela American Medical Association (Associação Médica dos EUA) Núm. de integrantes da coalização Elaboração de um plano de trabalho para a coalização Mais alternativas de recreação ou transporte (ex.: novos caminhos, aulas, tempo para exercícios) Modificação dos planos de cursos de Educação Física Aumento do conhecimento dos jovens e melhor disposição com respeito à atividade física Propugnar por mudanças nas políticas e no ambiente Mais acesso a atividades físicas Mais atividade física regular dos adultos Mudança nas normas sociais relacionadas a atividade física Mais atividade física regular dos alunos Incorporação da quantidade diária recomendada de atividade física no estilo de vida Desenvolvi- mento de uma coalização comunitária 2 Perguntas da avaliação nas várias etapas de desenvolvimento do programa A fase de desenvolvimento do programa (planejamento, implementação ou manutenção) afeta o tipo de avaliação a ser realizada e os tipos de perguntas a serem formuladas. Avaliação do processo A avaliação do processo documenta todos os aspectos da implementação do programa, para que seja possível, quando necessário, adaptar e fazer ajustes para manter o programa no rumo certo. Este é o tipo principal de avaliação usado com programas em fase de implementação. Na fase de manutenção, alguns programas também fazem um levantamento e uma avaliação das perguntas relacionadas ao processo. As perguntas sobre o processo dizem respeito aos insumos e atividades que constam do modelo lógico aplicado (ex.: as partes interessadas podem fazer perguntas relacionadas à quantidade ou qualidade dos insumos ou atividades). Além disso, perguntas sobre o contexto do programa (ex.: outras iniciativas, rotatividade de pessoal, condições e normas sociais, histórico do programa, política) que possa afetar os insumos ou as atividades podem ser importantes, dependendo de como se pretende usar os resultados da avaliação. Exemplos de perguntas • O que vamos fazer? Quando? Onde? Em que medida? • Estamos realizando o programa da forma como foi planejado? Se não estivermos, por que está ocorrendo esta diferença? • Fatores externos afetaram os insumos ou as atividades do programa? • Estamos no rumo certo no que diz respeito ao tempo ou cronograma planejado e aos recursos? • As parcerias estão funcionando eficazmente? Por quê? Ou por que não? • O que parece estar funcionando bem e por quê? • O que não está funcionando e por quê? • Estamos alcançando o público desejado? • Devemos fazer alguma coisa de forma diferente daqui em diante? Em caso positivo, será necessário revisar nosso modelo lógico? Avaliação dos resultados A avaliação de resultados (também chamada de avaliação cumulativa ou de impacto) mede os efeitos do programa quanto aos resultados de curto, médio e longo prazo, em relação ao modelo lógico. As avaliações de resultados apenas devem ser realizadas quando o programa está em nível de maturidade suficiente para produzir, potencialmente, os resultados desejados. Geralmente, os programas que se encontram na fase de manutenção são os únicos que podem esperar resultados realisticamente. Contudo, é possível formular perguntas relacionadas aos resultados de curto prazo de um programa em fase de implementação. Exemplos de perguntas • O que conseguimos? Alcançamos os resultados desejados? Por quê? Ou por que não? • O que está diferente como conseqüência das nossas ações? • O que podemos aprender dos participantes que abandonaram o programa? • Qual foi o custo do programa em comparação a outras intervenções de atividade física? • O programa foi tão eficaz ou mais eficaz que outros programas semelhantes? • O que funcionou bem? O que não funcionou? • O que podemos fazer de modo diferente na próxima vez para obter melhores resultados? • O programa teve algum efeito não intencional? • Houve algum fator externo que poderia ter melhorado ou dificultado a obtenção dos resultados esperados? Programa “KidsWalk-to- School” Os pais queriam saber se seria seguro para seus filhos irem a pé até a escola. O diretor da escola queria saber se a caminhada em si afetaria de alguma forma a aprendizagem e o comportamento dos alunos. Embora as perguntas dos pais pudessem ser respondidas por meio de medições do processo, as perguntas do diretor necessitariam de medições dos resultados (pré ou pós-testes). Os pais poderiam usar a avaliação para se tranquilizarem e resolverem se os seus filhos iriam a pé até a escola, e como isso ocorreria. O diretor poderia usar a avaliação para justificar os recursos designados ao programa KidsWalk-to- School. Seis etapas para avaliação de programas de atividade física – Etapa 3 2 Folha de exercícios: Etapa 3 – Focalizar a avaliação As folhas de exercícios podem ser fotocopiadas e utilizadas em cada programa. Nome do programa ______________________________________________________ 1. Qual é o finalidade principal da sua avaliação? 2. Enumere todas as possíveis aplicações dos resultados da avaliação (da forma mais específica possível). 3. Determine se o mais adequado, levando em conta a fase de desenvolvimento do seu programa, seria uma avaliação de processo ou de resultados (ou uma combinação). Em seguida, enumere todas as possíveis perguntas da avaliação. Várias perguntas da avaliação surgirão a partir do modelo lógico do programa. 4. Nas perguntas 2 e 3, indique com um asterisco as aplicações e perguntas da avaliação que você considera as mais importantes e aceitáveis para as partes interessadas. 2 Etapa 4: Coletar provas fidedignas Neste ponto, já foi elaborada uma descrição do programa, inclusive um modelo lógico detalhado. Também já foram determinadas as perguntas principais que a avaliação deverá responder. A participação das partes interessadas nestas etapas assegura que os dados coletados sejam considerados confiáveis e relevantes, da mesma forma que as etapas seguintes relacionadas ao desenvolvimento de um plano sólido para a obtenção de dados. Em todos os aspectos da coleta de dados, deve-se levar em conta como obter o máximo de qualidade e conseguir um equilíbrio entre a qualidade e a quantidade das atividades da avaliação. Além disso, o trabalho de avaliação deve corresponder aos recursos de que se dispõe. Por exemplo, no caso de um programa com poucos recursos financeiros, uma avaliação adequada poderá incluir apenas a monitoração das atividades do programa. Que dados são necessários? Ao desenvolver um modelo lógico e estabelecer uma ordem de prioridade para as perguntas da avaliação, a maior parte do trabalho necessário para responder essa pergunta já foi realizado. Agora é necessário definir indicadores específicos para responder cada pergunta da avaliação (consulte o Apêndice 5). Por exemplo, a mudança no intervalo de tempo que os participantes levam para correr uma distância de 1,5 quilômetro pode indicar que o preparo físico em atividades aeróbicas melhorou desde o início do programa. A porcentagem de adultos que estão seguindo as recomendações de atividade física poderia indicar se o programa aumentou o nível de atividade física na comunidade. A medição destes dois resultados através destes indicadores poderia ser uma forma de responder uma pergunta mais geral da avaliação: que efeito o programa está tendo nos participantes? Onde os dados podem ser obtidos? As fontes de dados para as avaliações de programas consistem em pessoas, documentos, observações ou outras fontes de dados já existentes. Para aumentar a credibilidade das provas, sempre que possível obtenha dados de mais de uma fonte e use fontes que as partes interessadas do programa considerem fidedignas. Pessoas • Participantes do programa. • Quadro de pessoal. • Público em geral. • Líderes da comunidade. • Representantes dos patrocinadores. • Críticos ou indivíduos céticos em relação ao programa. • Especialistas em áreas específicas. Seis etapas para avaliação de programas de atividade física – Etapa 4 Fatores a serem considerados com relação aos indicadores Qualidade Indicadores de qualidade: • Bem definidos. • Mensuráveis. • Medidas aceitáveis correspondentes à pergunta a ser respondida. Quantidade • Não tente medir todos os indicadores. • Escolha diversos indicadores para cada pergunta da avaliação; os indicadores devem corresponder a diferentes aspectos da pergunta. • Especifique uma aplicação para cada indicador medido. Modos de obtenção de dados através das pessoas • Enquetes escritas ou por telefone. • Entrevistas individuais. • Registros de atividades. • Grupos de foco. • Medidas físicas (ex.: peso, pressão arterial, índice de massa corporal). • Consulte o Apêndice 5 para obter mais informações sobre fontes de ferramentas para coleta de dados. Documentos • Propostas para subsídios, boletins informativos, press releases. • Materiais publicitários ou educativos. • Relatórios trimestrais. • Registros médicos. • Registros administrativos. • Listas de presença do programa. • Levantamento das necessidades e relações de bens. • Relatórios governamentais em nível federal, estadual e municipal. 2 Manual para Avaliação de Atividade Física Elaboração do projeto (design) Após formular e estabelecer uma ordem de prioridade para as perguntas, os indicadores, as fontes de dados e os indicadores de desempenho da avaliação, será necessário elaborar o projeto do programa de avaliação. Um estudo aleatório é o tipo mais rigoroso de projeto, mas provavelmente não é um tipo viável ou adequado para um programa de atividade física comunitário. Os tipos de projetos menos rigorosos têm aspectos positivos e negativos, e devem ser combinados para maximizar a eficácia da avaliação; também são comumente usados para avaliar programas de atividade física. Escolha o tipo de projeto de avaliação levando em conta a experiência, os recursos e o prazo disponíveis. Projetos comuns para avaliação de programas de atividade física Pré-testes e pós-testes (1 amostra): pesquisar quantas pessoas usam determinado caminho para pedestres antes de fazer a campanha, e quantas depois da campanha. Pré-testes e pós-testes (2 amostras; quase-experimental): pesquisar quantas pessoas caminham, antes e depois de uma campanha na comunidade, e quantas em uma comunidade semelhante em outro lugar. Projeto em séries temporais: pesquisar o uso dos caminhos para pedestres antes de uma campanha e a cada dois meses, durante 1 ano. O projeto em séries temporais é mais viável com 1 amostra (a comunidade de interesse), mas é mais exato quando inclui uma comunidade para comparação, a fim de excluir a possibilidade do efeito do tempo como fator influenciador de comportamento na comunidade. Projeto de cortes transversais: pesquisar quantas pessoas usam um caminho existente para pedestres, como parte de uma avaliação para determinar se é necessária uma campanha para promover o uso do caminho/trilha. Alternativamente, e exclusivamente em um projeto pós-teste, examinar apenas a comunidade onde a intervenção ocorreu e descrever o que ocorreu. Ou ainda, comparar duas comunidades semelhantes após ser feita uma intervenção em uma delas. Não usar projeto de corte transversal para avaliar os resultados, pois não é possível determinar causas e efeitos quando os dados são coletados apenas uma vez. Logística Os métodos, o cronograma e a infra-estrutura da coleta de dados e gerenciamento das provas devem levar em consideração as Etapas 1 a 3. A logística da coleta de dados deve considerar, especialmente, o contexto cultural do programa, e proteger a privacidade das fontes de dados e o sigilo da informação. Por exemplo, pode ser necessário associar os dados correspondentes a sexo, raça ou etnicidade da pessoa que está efetuando as medições de índice de massa corporal com os dados correspondentes a sexo, raça ou etnicidade do participante. As pessoas que respondem as perguntas das pesquisas devem ser informadas que suas respostas individuais não serão jamais identificadas com seus nomes. 2 É possível responder estas perguntas? • Seu método é culturalmente aceito pelos participantes? • Quando e com que freqüência serão coletados os dados? • Quem será considerado participante da avaliação? • Os dados serão coletados usando uma amostra ou usando todos os participantes? • Qual será o seguimento de uma pesquisa para se obter um índice satisfatório de resposta? • Quem coletará os dados? Como essas pessoas serão treinadas? • Como se assegurará a uniformidade na coleta de dados? • Onde e como será feita a codificação e a entrada de dados? • Quem analisará os resultados? • Como será incorporada a verificação rotineira de erros (ou seja, a garantia de qualidade) nos processos de coleta e entrada de dados? • Como os dados serão protegidos para manter o sigilo? • É necessário obter consentimento informado? É necessário obter aprovação de um conselho revisor institucional de universidade ou órgão público para poder coletar os dados? Acordos Os acordos especificam as funções e as responsabilidades para a realização efetiva e eficiente da avaliação. Os elementos de um acordo incluem: finalidade, usuários, aplicações, perguntas e métodos, produtos finais, cronograma e orçamento. Como parte do processo de acordo, é necessário discutir todos os aspectos éticos de todo o processo de avaliação (consulte o Apêndice 1). O grau de formalidade dos acordos depende das necessidades e características das partes interessadas (stakeholders), mas são recomendados documentos escritos, mesmo para acordos menos formais. Seis etapas para avaliação de programas de atividade física – Etapa 4 0 Folha de exercícios: Etapa 4: Coletar provas fidedignas As folhas de exercícios podem ser fotocopiadas e utilizadas em cada programa. Nome do programa________________________________________________ Perguntas da avaliação Indicadores Fontes de dados Indicadores de desempenho  Folha de exercícios: Etapa 5- Fundamentar as conclusões As folhas de exercícios podem ser fotocopiadas e utilizadas em cada programa. Nome do programa ____________________________________________________________ 1. Quem analisará os dados (e quem coordenará esta tarefa)? 2. Os resultados são semelhantes aos esperados? Caso contrário, qual é a razão da diferença, na sua opinião? • Há outras explicações para os resultados? • Como os resultados se comparam aos de outros programas semelhantes? • Quais são as limitações das suas avaliações (ex.: possíveis distorções, possibilidade de generalização dos resultados, confiabilidade, validade)? Em que medida a avaliação reflete o programa como um todo? • Se foram usados vários indicadores para responder uma mesma pergunta da avaliação, responda: os resultados foram semelhantes? • As outras pessoas terão condições de interpretar adequadamente os resultados? 3. Em relação a que “padrões” serão comparadas as suas interpretações para formar juízos de valor?  Manual para Avaliação de Atividade Física Etapa 6: Assegurar a aplicação e compartilhar as lições aprendidas As possíveis aplicações dos resultados da avaliação serviram como guia durante todo o seu processo. Nesta etapa, serão preparados os produtos tangíveis da avaliação (recomendações e relatórios), será feita a comunicação às partes interessadas, e será feito um seguimento para promover a aplicação plena dos resultados. Recomendações As recomendações referentes à continuidade, expansão, reformulação ou término de programas de atividade física podem se originar diretamente dos juízos de valor; no entanto, também se devem considerar as demais prioridades ou alternativas. Sugestões • Leve em consideração os valores das partes interessadas e procure uma relação harmoniosa destes com as recomendações. • Comunique as recomendações preliminares às partes interessadas e peça que lhe dêem suas opiniões. • Estabeleça uma relação entre as recomendações e as finalidades originais e aplicações da avaliação. • Direcione as recomendações especificamente para cada público-alvo. Possível público-alvo das recomendações • Escolas. • Proprietários de locais de trabalho. • Pais. • Órgãos e organizações nacionais. • Empresas/órgãos de seguro médico. • Grupos de ativismo. • Planejadores e policiais de trânsito e segurança. • Legisladores estaduais. • Conselhos municipais. • Organizações e programas comunitários. • Representantes públicos da área de saúde. • Delegacias. • ONGs na área de saúde e serviços. As recomendações devem ser: • Direcionadas à ação • Relevantes • Úteis  Comunicação Neste ponto, já foi decidido o que recomendar e quem deve receber as recomendações, mas qual será a melhor forma de comunicá-las? Sua estratégia deverá levar em conta o formato e os canais de comunicação. Formato Os relatórios dos resultados da avaliação devem ter um formato claro e simples, e devem ser adequados para o público-alvo. Dependendo do tipo de público, poderá ser necessário elaborar mais de um relatório. A seguir apresentamos algumas sugestões: • Faça um resumo do plano e dos procedimentos da avaliação. • Faça uma lista dos pontos fracos e dos pontos fortes da avaliação. • Apresente os prós e os contras de cada recomendação. • Apresente os resultados de forma clara e concisa, usando tabelas e gráficos. • Faça um resumo das funções desempenhadas pelas partes interessadas e a participação das mesmas no projeto e nos planos de seguimento. Canais Decida como as informações serão comunicadas ao público-alvo. Sugestões: • Por correspondência. • Sites na Internet. • Espaços comunitários. • Mídia (televisão, rádio, jornais). • Contatos pessoais. • Listas de distribuição de correio eletrônico. • Boletins informativos organizacionais. Seguimento Devido ao trabalho necessário, chegar a conclusões fundamentadas e formular recomendações sensatas pode parecer, por si só, um fim. Contudo, é necessário que haja um seguimento ativo para: • Lembrar as partes interessadas e o público sobre as aplicações pretendidas dos resultados da avaliação. • Evitar que as lições aprendidas se percam ou sejam ignoradas na hora de desenvolver um programa complexo ou de tomar decisões sobre políticas. • Evitar a aplicação inadequada dos resultados e garantir que as provas obtidas sejam aplicadas às questões centrais da avaliação; e para evitar que os resultados sejam interpretados fora de contexto. Pense de modo não-convencional Os resultados da avaliação podem ser comunicados de várias maneiras, além da forma escrita tradicional. Alguns exemplos: • Apresentações orais. • Diagramas e gráficos. • Ilustrações. • Casos de sucesso. • Artigos em jornais. • Programas de rádio. • Matéria no noticiário local. • Boletins de dados.  Padrões para avaliação do programa e como aplicá-los nas seis etapas de avaliação de programas* Padrões para avaliação de programa Etapas da avaliação de programa Padrões referentes à utilidade Os padrões referentes à utilidade têm como objetivo garantir que a avaliação atenda às necessidades de informação de seus usuários. • Identificação das partes interessadas: Devem ser identificadas as pessoas envolvidas na avaliação ou afetadas por ela, para que suas necessidades possam ser satisfeitas. • Credibilidade do avaliador: As pessoas que realizam a avaliação devem ser pessoas que merecem confiança e que têm a competência necessária para realizá-la, de modo que as conclusões da avaliação tenham o grau máximo de credibilidade e aceitação. • Determinação do escopo das informações: As informações coletadas devem ser selecionadas com amplitude para que possam ser feitas perguntas pertinentes sobre o programa e atender às necessidades e interesses dos clientes e de outras partes interessadas específicas. • Definição dos valores: As perspectivas, os procedimentos e a lógica usada para interpretar os resultados devem ser cuidadosamente descritos, de modo que os elementos que fundamentam os juízos de valores fiquem claros. • Clareza nos relatórios: Os relatórios da avaliação devem descrever com clareza o programa que está sendo avaliado, inclusive seu contexto, bem como as finalidades, os procedimentos e os resultados da avaliação, de modo a fornecer informações essenciais claras. • Rapidez na elaboração e distribuição dos relatórios: Os resultados intermediários significativos e relatórios de resultados devem ser divulgados aos usuários-alvo para que os dados possam ser usados sem demora. • Impacto da avaliação: As avaliações devem ser planejadas, realizadas e comunicadas de maneira a incentivar as partes interessadas a aplicar os resultados na prática. Etapa 1: Obter a participação das partes interessadas. Etapa 1: Obter a participação das partes interessadas. Etapa 4: Coletar provas fidedignas. Etapa 5: Fundamentar as conclusões. Etapa 6: Assegurar a aplicação e compartilhar as lições aprendidas. Etapa 6: Assegurar a aplicação e compartilhar as lições aprendidas. Etapa 6: Assegurar a aplicação e compartilhar as lições aprendidas. Padrões referentes à viabilidade Os padrões referentes à viabilidade têm como objetivo garantir que a avaliação seja realista, prudente, diplomática e econômica. • Procedimentos práticos: Os procedimentos da avaliação devem ser práticos, para reduzir a um mínimo as interrupções durante a obtenção dos dados necessários. • Viabilidade política: A avaliação deve ser planejada e realizada antecipando-se às diversas posições a serem tomadas pelos diversos grupos de interesse envolvidos, para que se possa obter sua cooperação e impedir qualquer tentativa destes de interferir nas operações da avaliação ou distorcer ou aplicar inadequadamente os resultados. • Relação custo-benefício: A avaliação deve ser eficaz e produzir informação de valor suficiente para justificar o dispêndio dos recursos. Etapa 3: Focalizar a avaliação. Etapa 3: Focalizar a avaliação. Etapa 3: Concentrar-se na avaliação. Apêndice 1 * The Joint Committee on Standards for Educational Evaluation. The Program Evaluation Standards: How to Assess Evaluations of Educational Programs. 2nd ed. Thousand Oaks, CA: Sage Publications; 1994.  Padrões para avaliação de programa Etapas da avaliação de programa Padrões referentes à ética Os padrões éticos têm como objetivo garantir que a avaliação seja realizada com ética e legalmente, com o devido respeito ao bem-estar das pessoas que dela participam e das pessoas que serão afetadas pelos resultados. • Orientação em termos de serviço: As avaliações devem ser projetadas de modo a tratar e atender eficazmente às necessidades de toda a gama de seus participantes-alvo. • Acordos formais: Devem ser firmados acordos escritos para a realização da avaliação (especificando o que será feito, como, por quem e quando). Assim, as partes ficam obrigadas a cumprir todas as condições do acordo ou entrar formalmente em renegociação. • Direitos humanos dos participantes: As avaliações devem ser projetadas e realizadas de modo a respeitar e proteger os direitos e bem-estar das pessoas que dela participam. • Interações humanas: Os avaliadores devem respeitar a dignidade e o valor humano nas suas interações com as outras pessoas associadas à avaliação, para assegurar que os participantes não sejam ameaçados nem prejudicados. • Avaliação completa e imparcial: A avaliação deve ser completa e imparcial na análise e registro dos pontos fortes e dos pontos fracos do programa em questão, para que os pontos fortes possam ser aprimorados ainda mais e os pontos problemáticos possam ser resolvidos. • Revelação das conclusões: As partes formais da avaliação devem assegurar que o todo o conjunto de resultados da avaliação, bem como as limitações pertinentes, sejam acessíveis às pessoas afetadas pela avaliação e a qualquer outra pessoa que tenha direitos legais expressos de receber os resultados. • Conflito de interesses: Os conflitos de interesses devem ser tratados aberta e francamente, para que não prejudiquem o processo nem os resultados da avaliação. • Responsabilidade tributária: A distribuição e dispêndio dos recursos por parte do avaliador deve incorporar procedimentos contábeis sólidos e ser, em todos os aspectos, prudente e eticamente responsável, com prestação de contas adequada de todos os gastos. Etapa 3: Focalizar a avaliação. Etapa 1: Obter a participação das partes interessadas. Etapa 1: Obter a participação das partes interessadas. Etapa 1: Obter a participação das partes interessadas. Etapa 3: Focalizar a avaliação. Etapa 6: Assegurar a aplicação e compartilhar as lições aprendidas. Etapa 1: Obter a participação das partes interessadas. Etapa 3: Focalizar a avaliação. Apêndice 1 0 Manual para Avaliação de Atividade Física Padrões para avaliação de programa Etapas da avaliação de programa Os padrões referentes à exatidão têm como objetivo assegurar que a avaliação examine e comunique informações tecnicamente adequadas sobre as características que estabelecem o valor ou o mérito do programa sob avaliação. • Documentação do programa. O programa que está sendo avaliado deve ser descrito e documentado claramente e com precisão para que possa ser bem identificado. • Análise do contexto: O contexto no qual o programa se encontra deve ser analisado em detalhe, para verificar todas as suas possíveis influências no programa. • Finalidades e procedimentos descritos: As finalidades e os procedimentos da avaliação devem ser monitorados e descritos minuciosamente para que possam ser identificados e avaliados. • Fontes de informação defensíveis: As fontes de informação usadas na avaliação de um programa devem ser descritas minuciosamente, para que se possa avaliar se são adequadas. • Informação válida: Os procedimentos de coleta de dados devem ser escolhidos ou desenvolvidos e, em seguida, implementados de modo a assegurar a interpretação correta da informação para o uso pretendido. • Informação confiável: Os procedimentos de coleta de informação devem ser escolhidos ou desenvolvidos e, em seguida, implementados de modo a garantir que a informação obtida seja suficientemente válida para o uso pretendido. • Informação sistemática: A informação coletada, processada e comunicada durante a avaliação deve ser examinada sistematicamente e todos os erros devem ser corrigidos. • Análise de dados quantitativos: Os dados quantitativos da avaliação devem ser adequados e sistematicamente analisados para que as perguntas da avaliação sejam efetivamente respondidas. • Análise de dados qualitativos: Os dados qualitativos da avaliação devem ser corretos e sistematicamente analisados, para que as perguntas da avaliação sejam efetivamente respondidas. • Conclusões fundamentadas: As conclusões da avaliação devem ser fundamentadas de forma explícita, para que as partes interessadas possam analisá-las. • Relatórios imparciais: Os procedimentos de comunicação de resultados devem incorporar salvaguardas contra distorção causada por sentimentos pessoais ou preconceitos por parte de qualquer pessoa envolvida na avaliação, de modo que os relatórios elaborados representem imparcialmente os resultados da avaliação. • Meta-avaliação: A avaliação propriamente dita deve ser avaliada formativa e sumativamente em relação a estes e outros padrões, para que sua realização seja direcionada adequadamente e, quando chegar ao final, as partes interessadas possam examinar minuciosamente seus pontos fortes e fracos. Etapa 2: Descrever ou elaborar o plano do programa. Etapa 2: Descrever ou elaborar o plano do programa. Etapa 3: Focalizar a avaliação. Etapa 4: Coletar provas fidedignas. Etapa 4: Coletar provas fidedignas. Etapa 4: Coletar provas fidedignas. Etapa 4: Coletar provas fidedignas. Etapa 5: Fundamentar as conclusões. Etapa 5: Fundamentar as conclusões. Etapa 5: Fundamentar as conclusões. Etapa 6: Assegurar a aplicação e compartilhar as lições aprendidas. Etapa 1-6: Avaliar continuamente os pontos fortes e os pontos fracos da avaliação.  Teorias e modelos usados na promoção de atividade física A medida que planejar ou descrever seu programa, às vezes é útil consultar teorias individuais, interpessoais ou teorias comunitárias sobre o comportamento relacionado à saúde. Por exemplo, estas teorias poderiam apoiar as “pontes de setas” (referidas anteriormente) do seu modelo lógico ou ajudar a identificar pontos potenciais de intervenção. Como as teorias e os modelos apresentados neste manual são apoiados por diferentes níveis de pesquisa, use-os como uma peça do quebra-cabeça que você está planejando. Teoria/Modelo Resumo Conceitos-chave Nível individual Modelo de confiança na saúde Para que as pessoas adotem os comportamentos recomendados de atividade física, a ameaça percebida de uma doença (e sua gravidade) e os benefícios da ação devem ser maiores do que as barreiras percebidas para agir. Suscetibilidade percebida Gravidade percebida Benefícios percebidos da ação Barreiras percebidas para agir Sinal para agir Auto-eficácia Etapas de mudança (modelo transteórico) Ao adotar comportamentos saudáveis (por ex., atividade física regular) ou ao eliminar os comportamentos que não são saudáveis (ex.: ver televisão), as pessoas podem progredir através dos cinco níveis relacionados com sua disposição para mudar: consideração prévia, consideração, preparação, ação e manutenção. Em cada etapa, as diferentes estratégias de intervenção ajudarão as pessoas a passar para a etapa seguinte. Consideração prévia Consideração Preparação Ação Manutenção Prevenção de recaídas As pessoas que estão começando programas de atividade física regular podem ser ajudadas através de intervenções que lhes auxiliem a antecipar barreiras ou fatores que possam levar a recaídas. Capacidades de treinamento Reformulação cognitiva Novo equilíbrio do estilo de vida Paradigma do processamento de informação A influência de uma comunicação persuasiva, que pode ser parte de uma campanha de marketing social para aumentar a atividade física, está dividida em três fases de processamento de mensagens: atenção à mensagem, compreensão do conteúdo e aceitação desse conteúdo. Exposição Atenção Gostos/Interesse Compreensão Aquisição de habilidades Produção Armazenamento de memória Busca de informação e recuperação Decisão Comportamento Reforço Consolidação pós- comportamento Apêndice   Manual para Avaliação de Atividade Física Teoria/Modelo Resumo Conceitos-chave Nível interpessoal Teoria de aprendizagem social/cognitiva social A mudança do comportamento de saúde é o resultado das relações recíprocas entre o ambiente, os fatores pessoais e os atributos do próprio comportamento. A auto-eficácia é uma das características mais importantes na determinação da mudança de comportamento. Auto-eficácia Determinismo recíproco Capacidade comportamental Expectativas de resultados Aprendizagem por observação Teoria de ação racional Para comportamentos sob controle de uma pessoa, as intenções comportamentais predizem o comportamento real. As intenções são determinadas por dois fatores: atitude em relação ao comportamento e crenças sobre o apoio ao comportamento por parte de outras pessoas. Atitude em relação ao comportamento • Expectativas de resultados • Valor das expectativas de resultados Normas subjetivas • Crenças dos outros • Desejo de manter conformidade com outras pessoas Teoria de comportamento planejado O controle percebido das pessoas sobre as oportunidades, os recursos e as habilidades necessárias para desempenhar um comportamento afetam as intenções comportamentais, assim como os dois fatores na teoria de ação racional. Atitude em relação ao comportamento • Expectativas de resultados • Valor das expectativas de resultados • Normas subjetivas • Crenças dos outros • Desejo de manter conformidade com outras pessoas Controle comportamental percebido Apoio social Freqüentemente incorporado a intervenções para promover a atividade física, o apoio social pode ser instrumental, informativo, emocional ou avaliador (fornecendo “feedback” e reforçando novos comportamentos). Apoio instrumental Apoio informativo Apoio emocional Apoio avaliador  Teoria/Modelo Resumo Conceitos-chave Nível da comunidade Modelo de organização da comunidade Os trabalhadores da saúde ajudam as comunidades a identificar problemas sociais e de saúde e planejam e implementam estratégias para tratar desses problemas. A participação ativa da comunidade é essencial. Planejamento social Desenvolvimento da localidade Ação social Enfoques ecológicos As intervenções efetivas devem influir em muitos níveis porque a saúde está conformada por muitos subsistemas ambientais, que incluem a família, a comunidade, o local de trabalho, as crenças e tradições, as finanças e os ambientes físico e social. Níveis múltiplos de influência • Intrapessoal • Interpessoal • Institucional • Comunidade • Política pública Teoria da mudança organizacional Certos processos e estratégias podem aumentar a possibilidade de que as políticas e os programas de saúde sejam adotados e mantidos em organizações formais. Definição do problema (etapa de tomada de consciência) Início da ação (etapa de adoção) Implementação da mudança Institucionalização da mudança Divulgação da teoria da inovação As pessoas, as organizações ou as sociedades adotam novas idéias, produtos e comportamentos em diferentes níveis, e o índice de adoção é afetado por alguns fatores previsíveis. Vantagem relativa Compatibilidade Complexidade Experimentabilidade Observabilidade Apêndice 3 Fontes 1. Alcalay R, Bell RA. Promoting Nutrition and Physical Activity Through Social Marketing: Current Practices and Recommendations. Davis, CA: Center for Advanced Studies in Nutrition and Social Marketing, University of California, Davis; 2000. 2. National Institutes of Health. Theory at a Glance: A Guide for Health Promotion Practice.. Bethesda, MD: National Institutes of Health, National Cancer Institute; 1995 3. UN Department of Health and Human Services. Physical Activity and Health: A Report of the Surgeon General.. Atlanta, GA: US Department of Health and Human Services, Centers for Disease Control and Prevention, National Center for Chronic Disease Prevention and Health Promotion.  Indicadores e recursos de medição Indicadores comuns em nível individual de atividade física Estes indicadores podem ser utilizados para medir resultados de seu programa de atividade física em nível individual. Esta lista não é uma lista completa. Escolha apenas indicadores realistas para seu programa e certifique-se de que podem ser medidos utilizando recursos disponíveis. Medida Fonte de dados Comentários Medidas diretas Níveis de intensidade metabólica equivalentes (MET*) (minutos MET por dia ou semana) Baixa: <3 METs Moderada: 3-6 METs Vigorosa: >6 METs Questionário The Compendium of Physical Activities* lista 605 atividades específicas às quais é atribuído um nível de intensidade baseado no índice de gasto de energia (EE, energy expenditure), expresso em METs. Um MET corresponde ao índice metabólico de repouso, quando a pessoa está sentada e tranqüila. Quando se expressam minutos num auto-relatório, cria-se uma medida padronizada de atividade física que pode ser comparada com outros minutos MET de atividade. Faça um cálculo com dados de um relatório de atividade física da semana anterior, da seguinte maneira: Min. MET/dia = (freqüência x tempo x intensidade) / 7 dias Minutos de atividade física por dia ou por semana Questionário Por minutos ou minutos MET, pode ser útil separar os seguintes tipos de atividade física, de acordo com os respondentes: relacionado ao trabalho; transporte; trabalho de casa, manutenção da casa e cuidados da família; e recreação, esportes e tempo de lazer.† Note que os minutos brutos de atividade física não incluem a intensidade da atividade. Faça um cálculo com dados de um relatório de atividade física da semana anterior, da seguinte maneira: Minutos/dia = (freqüência x tempo) / 7 dias Passos caminhados por dia ou semana Pedômetro Dispositivo simples e relativamente econômico para avaliar a mobilidade. Gasto de energia (EE) por dia ou semana Acelerômetro O acelerômetro mede duas ou três dimensões de movimento. O software pode calcular o EE baseado na idade, no sexo, na altura e no peso de uma pessoa. Apêndice   Medida Fonte de dados Comentários Medidas indiretas Circunferência da cintura Medida com fita métrica Razão cintura-quadril Medida com fita métrica Equivale à circunferência da cintura dividido pela circunferência dos quadris. Índice de massa corporal (BMI - Body Mass Index) Balança Painel para medir altura Auto-relatório BMI = peso (kg) / altura (m)2 Preparo físico aeróbico (VO 2 máx.) Esteira Testes de bicicleta Testes com step O “American College of Sports Medicine” estabeleceu e publicou protocolos válidos para todos esses testes para medir o preparo aeróbico. O VO 2 máximo pode ser estimado pelo ritmo cardíaco ou medido diretamente. Preparo físico aeróbico (medido no campo) Tempo de caminhada/corrida de 1 milha (1.6 km) O tempo para completar a distância de uma milha medida é uma medida indireta do preparo físico. Escores do preparo físico de jovens Tempo de corrida de ½ milha ou 1 milha FitnessGram§ oferece um protocolo completo para o teste de aptidão física de jovens. Medidas de intervenção Conhecimento Questionário Os respondentes conhecem os níveis e a freqüência recomendados de atividade física? Conhecem as diferentes recomendações para uma atividade física moderada versus uma atividade física vigorosa? Atitudes Questionário O que os respondentes acham sobre ser ativo fisicamente? O que acham que acontecerá com eles se aumentarem seus níveis de atividade física? Qual é o grau de confiança sobre sua capacidade de fazer atividades físicas? Etapa de mudança (modelo transteórico) Questionário Os entrevistados podem estar em diferentes etapas na mudança de comportamento. Diferentes intervenções são adequadas para diferentes etapas da mudança, e o progresso pode ser medido avaliando a progressão através das etapas. Apêndice 5 * Ainsworth BE, Haskell WL, Whitt MC, et al. Compendium of Physical Activities: An Update of Activity Codes and MET Intensities. Med Sci Sports Exerc 2000; 32 (supl. 9): S498-S516. † Questionário Internacional de Atividade Física. Disponível on-line em http://www.ipaq.ki.se. § FitnessGram. Disponível on-line em http://www.cooperinst.org/ftgmain.asp. . . 0 Manual para Avaliação de Atividade Física Indicadores emergentes de atividade física em nível comunitário* Na comunidade da saúde pública, vem crescendo o consenso de que as intervenções de saúde pública devem concentrar- se nas mudanças, em nível da população, dos fatores de risco (ou seja, uma estratégia de intervenção primária em vez de uma abordagem baseada no indivíduo, que se concentra em pessoas de alto risco). Os indicadores em nível da comunidade (CLI, community-level indicators) são baseados em observações de comunidades e não de indivíduos. Os CLIs são úteis para avaliar intervenções baseadas em comunidades por duas razões. Primeiro, a coleta de dados pode ser mais econômica (por exemplo, visitar 10 grandes locais de trabalho ou utilizar Sistemas de Informação Geográfica para mapear grandes distâncias, desde as casas até os locais de recreação, em vez de entrevistar 1.000 pessoas). Por exemplo, um estudo informou que as medidas do espaço reservado para cada produto em um supermercado poderiam detectar mudanças no âmbito da comunidade nos indicadores alimentares (por exemplo a porcentagem de pessoas que bebem leite desnatado), com quase o mesmo poder relativo de entrevistas no âmbito individual, a menos de um décimo do custo. Segundo, os CLIs são especialmente úteis para medir as mudanças das políticas e no ambiente, porque ajudam a enfocar as condições distais de toda a comunidade que influenciam o comportamento. Os CLIs listados a seguir devem ser utilizados para gerar idéias para sua avaliação. Não foram validados empiricamente. Assegure-se de que as medidas selecionadas sejam adaptadas para seus objetivos de intervenção em particular e possam ser obtidas a um custo e esforço razoáveis. Para obter mais informações sobre os indicadores, consulte Health Promotion Indicators and Actions (Kar, Snehendu. New York: Springer Publishing Co; 1989). Normas e regulamentos A existência de normas locais no sentido de incluir educação física (EF) no currículo da escola pública desde o jardim de infância à 3ª série do segundo grau. A quantidade/ porcentagem do orçamento local por pessoa destinada à atividade física/recreação. A existência de normas que promovem a inclusão de instalações de recreação em construções novas. Informação Porcentagem de profissionais da saúde que habitualmente aconselham os pacientes a fazer mais exercícios. Disponibilidade de materiais nos locais de trabalho que vinculam a atividade física com a doença cardiovascular. Porcentagem de escolas que oferecem currículos desde o jardim de infância até a 3ª série do segundo grau. Número de notícias nos meios de comunicação que falam sobre atividade física. Materiais de educação em “pontos de venda”. Ambiental Quilômetros de pistas para andar, por pessoa, nas escolas. Número de instalações destinadas à atividade física por pessoa nas escolas. Disponibilidade de instalações para os membros da comunidade (por exemplo, quantas instalações e horas de funcionamento). Número de programas de atividade física oferecidos na comunidade. Número de entidades da comunidade que patrocinam eventos ou programas de atividade física. Nível de imposição de responsabilidades do pedestre/motorista (por exemplo, imprudência ao andar, respeitar os pedestres quando atravessam a rua). Regras de zoneamento/desenvolvimento que requerem ou promovem um “crescimento inteligente”. Escores de escalas da possibilidade de caminhadas dos pedestres. Medidas dos resultados comportamentais Observações de uso (por exemplo, nos centros comerciais, trilhas de pedestres). Filiações em organizações destinadas à atividade física (por exemplo YMCAs, YWCAs, SESC, Clubes, academias de ginástica). Vendas de artigos selecionados para atividades físicas (por exemplo, equipamentos esportivos, vídeos) * Cheadle A, Sterling TD, Schmid TL, Fawcett SB. Promising Community-Level Indicators for Evaluating Cardiovascular Health-Promotion Programs. Health Educ Res 2000; 15:109-116.  Etapa 3: Focalizar a avaliação A finalidade da avaliação do projeto-piloto Active Play era identificar maneiras de melhorar o projeto e de medir os resultados a curto prazo. O projeto estava em seu primeiro ano de implementação, de modo que medir as conseqüências a longo prazo não era apropriado para esta avaliação. A avaliação foi utilizada para criar um relatório anual para o financiador local, que então iria decidir se continuaria ou não financiando o projeto. Os implementadores do programa utilizaram a avaliação para fazer mudanças informadas no projeto, que provavelmente continuaria a existir mesmo se houvesse uma redução no financiamento após o ano piloto. Depois da reunião com cada uma das partes interessadas, os avaliadores compilaram as seguintes perguntas da avaliação: • Os componentes do projeto foram implementados como planejado? • Os alunos tornaram-se mais ativos como resultado do projeto? • Quais foram as reações dos alunos e professores em relação ao projeto? OBJETIVO Adoção de estilos de vida saudáveis INSUMOS • Financiamento (uma fundação local). • Funcionários comunitários (contratados para o projeto) • Funcionários e instalações escolares • Pais e crianças (grupos de discussão, entrevistas) • Avaliação das necessidades da comunidade ATIVIDADES Treinar os professores de educação física (EF) para implementar currículo baseado em fatos provados. Desenvolver atividades de lazer culturalmente adequadas Treinar os professores de outras matérias para coordenar atividades durante o recreio PRODUTOS • Núm. de professores treinados • Reações dos professores a respeito do treinamento • Núm. de minutos destinados a uma atividade física específica durante a aula de EF. • Núm. de professores treinados • Reações dos professores a respeito do treinamento • Períodos de recreio destinados ao jogo ativo • Nº de atividades específicas realizadas durante o recreio • Nº de oportunidades adicionais para realizar atividade física durante a aula RESULTADOS INICIAIS RESULTADOS INTERMEDIÁRIOS/A LONGO PRAZO • Aumento da porcentagem de tempo dedicado a uma atividade física moderada a vigorosa durante a EF • Aumento do número de crianças que cumprem os níveis diários recomendados de atividade física • Manter os níveis de atividade física mais altos • Reduzir o predomínio do excesso de peso e obesidade entre os participantes do programa Modelo lógico do projeto Active Play Apêndice 6  Manual para Avaliação de Atividade Física Etapa 4: Coletar provas fidedignas Esta avaliação utilizou uma amostra de pré-teste e pós-teste Perguntas da avaliação Indicadores Fontes de dados Indicadores de desempenho Foram implementados os componentes do projeto tal como foram planejados? Nº de professores treinados. Nº de minutos destinados a uma atividade física específica durante a aula de EF. Nº de períodos de recreio destinados ao jogo ativo. Nº de oportunidades adicionais para atividades físicas durante a aula. Listas de presença do treinamento. Observações durante o recreio e aulas de EF (usar SOFIT*). Lista de verificação de implementação do professor. 80% de professores de EF e de outras matérias treinados. 50% de aumento em minutos fornecidos. 20% de aumento de jogos ativos durante o recreio. 15% de aumento das oportunidades para atividade física. Os alunos tornaram-se mais ativos como resultado do projeto? Porcentagem de tempo dedicado a uma atividade física moderada a vigorosa na aula de EF. Porcentagem de alunos que cumprem os níveis diários recomendados de atividade física. Observações durante o recreio e aulas de EF (usar SOFIT*). Contagens dos acelerômetros (usados pelos alunos). Entrevistas com alunos sobre sua atividade física durante o dia anterior. 50% de aumento em minutos de atividade na aula de EF. 20% de aumento nos alunos que atingem o nível recomendado de atividade física diária . Quais foram as reações dos alunos e professores em relação ao projeto? Reações dos professores em relação ao treinamento Reações dos alunos em relação às atividades do período de recesso. Formulários de avaliação pós- treinamento. Entrevistas com alunos. Não aplicável Etapa 5: Fundamentar as conclusões Os pesquisadores analisaram a informação e forneceram interpretações preliminares. Em geral, os resultados indicaram que os componentes do projeto foram implementados de acordo com o planejamento e as reações dos alunos e dos professores em relação ao projeto Active Play foram positivas. No entanto, o aumento do número de períodos de recreio com jogos ativos não atingiu o nível do indicador de desempenho, de acordo com o que estava indicado nas listas de verificação de implementação dos professores de outras matérias. Observando os resultados do projeto, o número de alunos que atingiu as quantidades diárias recomendadas de atividade física aumentou apenas 5%. Este aumento não foi significativamente superior aos níveis anteriores à intervenção e foi muito inferior ao indicador de desempenho de um aumento de 20%. Os minutos ativos aumentaram em 10% como parte das aulas de EF e isto não foi também significativamente superior ao número de minutos ativos medidos antes do projeto Active Play. Ao interpretar estes resultados, as partes interessadas tiveram de tomar algumas decisões sobre que padrões eram mais importantes para julgar os dados. Para facilitar este processo, as partes interessadas reuniram-se para examinar os achados e para fazer recomendações baseadas nestes dados. Etapa 6: Assegurar a aplicação e compartilhar as lições aprendidas Como era esperado, os participantes assistiram e voltaram com suas opiniões a respeito da força dos sentimentos positivos associados com o projeto, em comparação a resultados comportamentais insignificantes. Algumas citações da reunião ajudam a ilustrar as perspectivas de diferentes participantes. * McKenzie TL, Sallis JF, Nader PR. SOFIT: System For Observing Fitness Instruction Time. J Teach Phys Educ 1991; 11:195-205.  Diretor da escola primária “Acho que este é um grande projeto e que nós deveríamos melhorar baseados na avaliação. Estamos indo na direção correta; os números demonstram que as crianças são mais ativas. Os professores e os alunos gostam deste projeto. É engraçado para as crianças e é um desafio para os professores por experimentar algo novo”. Profissional de saúde da comunidade “O problema é que o projeto apenas é centrado nas escolas. Quando as crianças voltam para suas casas, seus pais não as incentivam para serem ativas; as crianças acham que é um prazer ficar sentada vendo a televisão 4 horas todas as noites”. Professor de educação física “Não sei que mais podemos fazer, além de oferecer mais tempo às crianças para que sejam mais ativas. Um dos assuntos mais importantes é que as crianças têm apenas EF 2 dias por semana. O único interesse que a escola tem atualmente são os exames de proficiência”. Professor “Algumas vezes foi difícil organizar as crianças durante o período de recesso para realizar jogos estruturados. Elas têm todo o dia estruturado. Supõe-se que o recesso é tempo livre para brincar, para a criatividade e para fazer o que elas desejarem, não para fazer o que alguém diz para elas. Isso foi o mais difícil para mim”. Pesquisador universitário “Se bem que houve benefícios positivos para o projeto, devemos nos perguntar se algum desses benefícios vale o tempo e o dinheiro investido no projeto porque os resultados que desejávamos ver não foram atingidos”. Apesar destas perspectivas discrepantes, os participantes fizeram uma lista curta e concreta de recomendações para melhorar o projeto. Cada pessoa teve uma oportunidade para sugerir mudanças; depois, foram submetidas à votação para que o grupo determinasse quais mudanças podiam ser realizadas e quais recomendações eram prioritárias. Infelizmente, a organização não apoiou o projeto para mais um ano porque os resultados comportamentais não apoiavam a avaliação. Porém, o projeto continuou, baseado nas relações criadas entre os participantes durante o ano que durou o planejamento, a implementação e a avaliação do projeto. A universidade forneceu os recursos financeiros mínimos necessários para treinamento adicional e o pessoal universitário encaminhou o treinamento como parte de seus requisitos de serviços à comunidade. Os professores de EF das escolas próximas assistiram ao treinamento baseados no feedback positivo transmitido por outros professores de EF das escolas-piloto. Estudo de Caso 2: Avaliação da iniciativa Healthy Hawai Este estudo de caso de avaliação é um exemplo de uma campanha feita em toda a comunidade. É uma intervenção altamente recomendada pela Força Tarefa de Serviços Comunitários Preventivos (Task Force on Community Preventive Services) para promover a atividade física (consultar o Apêndice 2). Apêndice 6  Manual para Avaliação de Atividade Física OBJETIVO Redução na morbidade e mortalidade da população ATIVIDADES Intervenções na comunidade Intervenções escolares Educação pública e profissional Vigilância e avaliação Avaliação do processo Avaliação dos resultados Avaliação dos resultados INSUMOS • Fundos dos processos legais do tabaco • Pessoal universitário • Pessoal do DOH/pessoal do Departamento de Educação • Pessoal escolar e instalações • Doadores comunitários • Grupo consultor do tabaco PRODUTOS • Núm. de mudanças no sistema, ambientais e na política • Núm. de escolas com capacidade para implementar a aprendizagem baseada em normas • Núm. dos oito componentes do CDC implementados • Grau e penetração da campanha de educação pública • Núm. de professores treinados RESULTADOS INICIAIS • Desvio da população em estágio de mudança • Mudanças nos mediadores (normas sociais/ambientais percebidas) RESULTADOS INTERMEDIÁRIOS • Aumentar o nº de pessoas que fazem 30 minutos de atividade física quase todos os dias. • Reduzir o nível de obesidade e excesso de peso Etapa 4: Coletar provas fidedignas Foi implementado um plano de vários níveis para medir a eficácia da HHI. O plano consiste em: • Análise do processo de todos os doadores. • Análise mais profunda das escolas e comunidades centrais. • Uma pesquisa em todo o estado para medir os resultados iniciais (isto é, estado da mudança, do conhecimento, da atitude e do ambiente percebido). • BFRSS (resultado principal do comportamento; tamanho da amostra = 6.000). • Indicadores de morbidade e mortalidade (informações hospitalares, registro de tumores no Havaí). Modelo lógico da iniciativa Healthy Hawaii  Perguntas da avaliação Indicadores Fontes de dados Indicadores de desempenho Os componentes do projeto foram implementados tal como foram planejados? Oito componentes do CDC nas escolas Porcentagem de planos de ação da comunidade concluídos. Penetração da mídia Seguimento do processo da Universidade do Havaí Caixa de ferramentas da Comunidade da UK Pesquisa de mídia Foram implementados ao menos 6 dos 8 componentes do CDC em todas as escolas doadoras Todas as comunidades implementaram ao menos uma mudança estrutural ou ambiental 50% lembra-se da mensagem da HHI Os mediadores de comportamento mudaram? Etapa de mudança Auto-eficácia Ambiente percebido Atitudes Normas sociais Pesquisa do mediador em todo o estado Mudança significativa destas medidas na população Os comportamentos alvo mudaram? Porcentagem de fumantes Porcentagem de pessoas fisicamente ativas ao menos 30 minutos por dia quase todos os dias da semana Porcentagem de pessoas que comem 5, ou mais, frutas ou verduras por dia BFRSS Mudança significativa destas medidas na população Etapa 5: Fundamentar as conclusões As informações serão analisadas por partes, durante os próximos anos. O primeiro componente será uma análise da fidelidade do tratamento. Serão analisadas as informações do processo das três áreas do programa e as 46 áreas de captação serão qualificadas de acordo com a intensidade da intervenção. Será desenvolvido um resumo em nível estadual no fim de cada ano (a partir de 2002) para avaliar a exposição geral ao programa. Após isso será analisada a pesquisa dos mediadores para avaliar o movimento nas etapas de mudança e outros comportamentos relevantes nas variáveis alvos. A pesquisa foi projetada para produzir estimativas confiáveis para as seis ilhas do estado e para comparar as comunidades doadoras a fim de monitorar as comunidades. Finalmente, as informações do BFRSS serão comparada longitudinalmente com os outros 49 estados para avaliar as mudanças de tendência nos comportamentos alvo. Com as informações da população, qualquer mudança significativa no predomínio dos comportamentos-alvo (+1%) terá um efeito importante na saúde do estado. Por exemplo, uma diminuição de 1% no predomínio, em nível estadual, de inatividade física equivalerá a 8.700 pessoas em todo o estado. Etapa 6: Assegurar a aplicação e compartilhar as lições aprendidas Em um projeto importante como a HHI, os participantes-chave devem permanecer interessados e motivados. Se bem que estamos apenas começando a nossa avaliação, elaboramos muitas estratégias para garantir o êxito contínuo e compartilhar as lições aprendidas. • Doadores. Por causa da grande quantidade de escolas e comunidades doadoras, devemos manter o entusiasmo pelo programa, comemorar os sucessos e compartilhar as lições aprendidas. Nossa avaliação das escolas e comunidades centrais será utilizada para divulgar informações a outros doadores sobre aquilo que funciona e aquilo que não funciona. Este processo deveria fornecer feedback contínuo aos doadores. Além disso, os sucessos dos doadores serão divulgados de muitas maneiras, através Apêndice 6 0 Manual para Avaliação de Atividade Física de boletins para a comunidade, reuniões de doadores e educação pública. Achamos que estes esforços são importantes para ajudar os doadores a sentir que estão aprendendo uns dos outros e que não estão trabalhando isoladamente. Esta informação também será devolvida ao DOH para encaminhar futuros convites para apresentação de propostas. • Pessoal da HHI. Por causa da grande quantidade de pessoas do DOH e de outras organizações que trabalham neste projeto, o feedback dos êxitos e obstáculos é importante. Além dos relatórios oportunos sobre os resultados, estamos implementando uma pesquisa anual com os participantes-chave para avaliar seus êxitos e desafios mais importantes do ano anterior e lhes perguntamos o que pode ser feito para que a HHI seja mais efetiva. Essas informações serão apresentadas à equipe utilizando dados compilados. • Legisladores e membros da comunidade. O HOI elaborará um resumo anual do progresso da HHI, destacando as metas atingidas mais importantes do ano. Esse resumo será entregue aos legisladores estatais e aos membros da comunidade interessados, informando-lhes sobre o progresso da HHI e os rumos futuros. Além disso, serão redigidos comunicados de imprensa periódicos para informar ao público os marcos já conquistados. • Divulgação profissional. O pessoal do HOI preparará relatórios técnicos, apresentações e relatórios para conferências, publicações revisadas por pares e capítulos de livros para manter os profissionais da saúde informados sobre o progresso da HHI. Achamos que é importante informar aos funcionários da saúde pública em todo o país sobre os métodos de avaliação de mudanças nos programas em nível estadual, e este será um ponto importante do nosso esforço nesta etapa da avaliação. Este estudo de caso foi preparado por Jay Maddock, PhD e Claudio Nigg, PhD, Universidade do Havaí; e Angela Wagner, MPH, Departamento Estadual de Saúde do Havaí. Os autores gostariam de agradecer ao DOH do Havaí, que financiou esta avaliação através do Tobacco Settlment Fund; a Bruce Anderson, PhD, e a Virginia Pressler, MD do HOI; aos membros de equipe da HHI, que dedicaram muitas horas ao desenvolvimento da HHI; e Susan Jackson, por seus comentários úteis sobre uma versão anterior deste estudo de caso. Estudo de caso 3: Campanha Take Our Trail Este estudo de caso de avaliação é um exemplo de um programa projetado para criar ou melhorar o acesso a locais para realizar atividades físicas, combinado com atividades informativas; intervenção altamente recomendada pela Task Force on Community Preventive Service para promover a atividade física (consultar o Apêndice 2). Etapa 1: Obter a participação das partes interessadas Esta avaliação, planejada simultaneamente com a campanha Take Our Trail, incluiu contribuições de representantes dos seguintes grupos de partes interessadas: • Profissionais da saúde – enfermeiras, educadores da saúde, e trabalhadores sociais do departamento de saúde local. • Empresas locais – uma agência publicitária fez, gratuitamente, os cartazes; os doadores contribuíram com alimentos e camisetas, uma estação de televisão local transmitiu os anúncios de serviços públicos (cuja sigla em inglês é PSA).  Etapa 4: Coletar provas fidedignas Como duas comunidades já tinham pistas para pedestres, o grupo de trabalho da avaliação (composto por um líder do pessoal do departamento local de saúde e participantes voluntários identificados no Etapa 1) decidiu realizar um teste quase experimental. Ao realizar a campanha Take Our Trail em uma comunidade e não na outra, poderiam determinar se o uso da pista aumentaria devido à campanha. Se a promoção fosse eficaz, a comunidade de controle realizaria uma campanha semelhante. Uma terceira comunidade foi utilizada como um grupo de comparação adicional para medir os efeitos da pista a longo prazo no comportamento relacionado à atividade física; esta comunidade era geograficamente diferente, mas sócio-demograficamente semelhante, sem pista para caminhadas e sem campanha. As partes interessadas passaram muitas reuniões debatendo e definindo os indicadores prioritários para medir as quatro perguntas principais da avaliação, e também trocaram idéias sobre a melhor maneira de reunir os dados necessários para a avaliação. Foram recrutados dois alunos de pós-graduação em saúde pública de uma universidade próxima para planejar e coordenar a coleta de dados; projeto que serviria para um de seus cursos. Além disso, foram recrutados vários alunos do último ano de escolas secundárias para que ajudassem a contar e a entrevistar os caminhantes como parte de seu requisito de serviço público exigido para se formarem. O plano de avaliação consistia nos seguintes componentes: • Avaliação do uso da trilha. Foram utilizadas técnicas de avaliação do processo nas duas comunidades com pista para caminhadas. Foi instalado um contador eletrônico multiuso¶ em cada uma das pistas antes do começo da campanha para controlar o uso diário e horário com tecnologia laser. Colheram- se informações durante o mês anterior, durante a campanha e durante o mês posterior à campanha promocional e de melhoria. Foi estabelecida uma referência cruzada das informações do contador da pista com eventos locais e meteorológicos. Durante toda a campanha, os alunos de pós-graduação visitaram periodicamente as pistas para pedestres para contar quantas pessoas utilizavam a pista em momentos específicos, para comparar estas informações com as informações do contador e para documentar as características demográficas dos usuários da pista. Estas visitas variavam quanto às horas e dias. • Entrevista com usuários da pista. Os alunos graduados foram agrupados em pares com os voluntários da escola secundária para entrevistar, ao acaso, usuários da pista 1 mês antes, durante, e 1 mês após a campanha promocional e de melhoria. Os dados incluiram a caminhada, o uso da pista e outros comportamentos relacionados à atividade física; a avaliação sobre como uma pessoa soube da existência da pista e a tomada de conhecimento do material de campanha; os gostos e contrariedades da pista; a percepção individual do aumento de caminhadas desde que foi criada a pista e as conseqüências positivas e negativas da existência da pista. • Entrevistas com as partes interessadas. Foram entrevistadas outras partes interessadas (ex.: líderes clericais e médicos) sobre o uso da pista na comunidade e as conseqüências percebidas (tanto negativas quanto positivas) da existência da pista. Apêndice 6 ¶ O contador multiuso desenvolvido para um trabalho de intervenção posterior no sudeste de Missouri também incluía uma leitora de cartões. As pessoas do grupo de intervenção passariam seu cartão quando iniciassem e terminassem de usar a pista. Assim, poderia se determinar o tempo gasto na pista e seu padrão de uso. Estas informações permitem a criação de mensagens de intervenção específicas.  Manual para Avaliação de Atividade Física • Registros dos eventos. Foi desenvolvido um sistema de registro de eventos para monitorar todos os eventos que ocorressem nas comunidades 1 mês antes, durante e 1 mês após a campanha promocional — e as atividades de melhorias da pista. No início, todos aqueles envolvidos na campanha (por exemplo, departamento de saúde, coalizão Heart Health) registraram as atividades à mão em papel. As informações registradas incluíam os eventos na pista para pedestres, suas melhorias, a criação dos clubes de caminhadas, os horários das reuniões dos clubes de caminhadas, o número de participantes e qualquer outra atividade relacionada com as caminhadas. Posteriormente, os assistentes de pesquisa inseriam estes registros em um programa de processamento de textos, categorizando e codificando as atividades. Exemplos de categorias: serviços fornecidos e mudanças da comunidade. Finalmente, a informação codificada foi utilizada para fazer gráficos com Microsoft Excel para ilustrar as mudanças nos diferentes tipos de atividades no decurso da campanha. Os alunos de pós-graduação resumiram as informações, comparando-as entre as duas comunidades e utilizaram as informações em conjunto com as informações do contador para explicar os aumentos ou diminuições no uso da pista. • Análise da mídia. Os alunos de pós-graduação foram instruídos para ouvir os PSA, assistir aos noticiários vespertinos e ler os artigos jornalísticos a fim de identificar os anúncios relevantes para a campanha da pista. Fez-se uma pesquisa com o pessoal dos departamentos de saúde e clínicas, médicos e líderes das igrejas para saber se eles tinham recebido e distribuído os folhetos Take Our Trail. • Avaliação dos resultados comportamentais a longo prazo. Antes de começar a campanha Take Our Trail, foi realizada uma pesquisa telefônica aleatória composta de perguntas relacionadas com o comportamento a respeito das caminhadas, doenças crônicas e atividade física. Essa pesquisa foi realizada em uma seção comum de duas comunidades que possuíam uma pista e também nas comunidades sem pista. A pesquisa foi realizada novamente um ano após a coleta de informações da fase inicial da campanha.  Perguntas da avaliação Indicadores Fontes de dados Que atividades realmente foram realizadas como parte da campanha Take Our Trail? Número de cartazes nos ônibus Número de PSAs Número de artigos em jornais Número de minutos de cobertura/promoção televisiva Número de folhetos distribuídos Número de eventos comunitários realizados na pista Número de membros da comunidade nos eventos da pista Número de clubes de caminhada criados Número de melhorias na pista (ex.: bancos, fontes de água, luzes, marcadores de quilômetros, linhas pintadas) Horas de patrulhamento da polícia na pista Registros dos eventos Análise da mídia O uso da pista aumentou como resultado da campanha Take Our Trail? Número de usuários antes, durante e depois da campanha Take Our Trail na comunidade Número de usuários antes, durante e depois da campanha na comunidade de controle com uma pista Hora mais movimentada para o uso da pista Materiais e mensagens de conscientização da campanha Contador eletrônico Observação Pesquisa telefônica Quem utiliza a pista (antes e depois da campanha)? Características demográficas dos usuários: idade, raça/etnia, local de residência, local de trabalho Entrevistas com as pessoas que andam na pista Entrevistas com participantes-chave Contador eletrônico com leitor de cartões Em que grau aumentaram os níveis de atividade física dos membros da comunidade? Porcentagem da comunidade que atingiu os níveis recomendados de atividade física antes e após a campanha nas comunidades com pistas Porcentagem da comunidade que atingiu os níveis recomendados de atividade física antes e após a campanha nas comunidades de controle sem pistas Percepções dos usuários da pista sobre os efeitos dela em seus comportamentos em relação à atividade física Pesquisa telefônica modificada do BFRSS Entrevistas com as pessoas que andam na pista Apêndice 6  Manual para Avaliação de Atividade Física Estudo de caso 4: Agita Galera—o processo e o impacto de um programa de atividade física na escola e na comunidade O estudo de caso do Agita Galera é um exemplo de avaliação de uma estratégia de promoção de atividade física dirigido à crianças em idade escolar (de 7 a 18 anos), que tem como objetivo aumentar a prática da AF por meio de incentivo à implementação de atividades permanentes nas escolas do Estado de São Paulo. O Agita Galera é um mega-evento que faz parte do Programa Agita São Paulo. Um programa abrangente, que busca atingir toda a população do Estado de São Paulo que compreende 34 milhões de habitantes, sendo o estado mais populoso no Brasil, tendo como objetivos principais, aumentar o conhecimento sobre os benefícios da atividade física sobre a saúde e, aumentar os níveis de atividade física em toda a população Etapa 1: Envolver os parceiros Para que o programa fosse implementado com sucesso, os criadores do Agita Galera necessitavam de colaboradores efetivamente comprometidos com sua participação. Portanto, os seguintes grupos participaram de forma ativa e interessada: • Centro de Estudos do Laboratório de Aptidão Física de São Caetano do Sul (CELAFISCS) • Programa Agita São Paulo e Muévete Bogotá, Colômbia • Governo do Estado de São Paulo – Secretaria de Saúde, Secretaria de Educação • Governos Municipais – Secretarias de Saúde e Educação • Comite Executivo – representantes de empresas, mídia, clubes, indústria, representações da área comercial e da área médica • Comunidade acadêmica – alunos, professores, pessoal administrativo escolar, pais e líderes comunitários O governo estadual, por meio das Secretarias de Saúde e Educação, contribuiu com valiosa credibilidade e liderança para a coordenação do programa. As prefeituras municipais, por meio dos Secretários de Saúde e Educação contribuíram com o apoio e orientação para a organização do programa. Em função do vínculo com o Programa Agita São Paulo, os líderes de governo tinham toda a confiança de que o Agita Galera teria grandes chances de ser bem sucedido. Para a obtenção de recursos financeiros para a elaboração do material, a coordenação do Programa Agita São Paulo, estabeleceu o vínculo com os parceiros da area empresarial, mídia, clubes de serviços, representantes de associações industriais e comerciais e sociedades médicas, entre outros, em um esforço que faz parte do conceito do programa, baseado em parcerias com os diversos setores da sociedade. O CELAFISCS e a coordenação do Agita São Paulo providenciaram o recrutamento do pessoal de apoio que já estavam familiarizados com outros eventos realizados pelo Agita São Paulo. O Muévete Bogotá contribuiu com informações sobre como distribuir o material de forma eficiente. Os alunos, os funcionários das escolas, os moradores próximos às escolas, as organizações comunitárias e os líderes comunitários completaram a lista dos parceiros envolvidos que contribuíram para a elaboração, implementação e êxito subseqüente do Agita Galera. O CELAFISCS e a Secretaria de Estado da Saúde se encarregaram das funções de supervisão e de liderança. A coordenação do Agita São Paulo ficou encarregada de estabelecer o vínculo entre o apoio governamental, estadual e municipal, e os apoios de instituiçoes não governamentais. Ao grupo de coordenação do Agita São Paulo coube também a responsabilidade de disseminação nas escolas.  Conclusões O CELAFISCS sabia que estava criando uma iniciativa complexa com componentes abrangentes nas empresas, nas escolas e nas organizações comunitárias. Devido à dimensão deste empreendimento e dos reduzidos recursos humanos e financeiros disponíveis, o CELAFISCS estabeleceu o objetivo bem definido de organizar um grupo forte e interessado de parceiros, distribuindo responsabilidades específicas a cada um. É importante constatar que este processo levou vários anos até chegar a uma parceria com a qual pudessem trabalhar nos assuntos específicos do Agita Galera. Etapa 2: Descrição do programa O Agita Galera, dirigido a população escolar e a comunidade, é um dos quatro mega-eventos que o programa Agita São Paulo realiza anualmente. Os outros três mega-eventos são dirigidos (a comunidade como um todo) aos trabalhadores e aos idosos. Estes mega-eventos tem como principal objetivo destacar a importância da atividade física entre as populações-alvo e encorajar a criação e a implementação de programas de atividade física em carater permanente. Embora cada um destes mega-eventos seja dirigido a um público específico, a natureza comunitária dos mesmos acaba por incluir as famílias e a comunidade que geralmente participa de todos os eventos. Específicamente, o Agita Galera pretende influir no aumento dos níveis de atividade física de crianças e jovens entre 7 e 18 anos. Além disso, objetiva incentivar programas nas escolas, tais como a inclusão da AF nas matérias regulares como um tema transversal, melhorando o nível do ensino de educação física, a inclusão nas bibliotecas de materiais provenientes da mídia e relacionados com a atividade física, assim como a abordagem de diversos grupos de estudantes para que passem a valorizar a atividade física nas escolas. Para chegar aos grupos de estudantes e professores, as Secretarias Estaduais de Educação e Saúde capacitam os coordenadores regionais para que trabalhem diretamente com as escolas. Estes coordenadores regionais identificam, implementam, monitoram e avaliam o programa. Identificam e respeitam as características e o contexto regionais de acordo com as necessidades específicas para a implementação e para o êxito em nível local. Estabelecem contato e capacitam os coordenadores municipais e escolares que, por sua vez, asseguram a participação local. O CELAFISCS organiza as tele e vídeoconferências como instrumentos de treinamento dos diferentes aspectos e abordagens do Agita Galera. Também são utilizados o website do Programa Agita São Paulo (www.agitasp.org.br), os manuais do Agita Galera e uma lista de correios eletrônicos para o treinamento. Alguns componentes importantes na implementação do mega-evento Agita Galera são: • Escolher uma data e um local que sejam significativos para a comunidade. ( O Galera é sempre na última sexta-feira de Agosto) • Identificar parceiros governamentais e não governamentais que colaborem com o planejamento, a execução e a avaliação do mega-evento. • Preparar um resumo do projeto que identifique as metas e os objetivos do mega-evento e uma lista das atividades que serão realizadas pelos parceiros. • Decidir que tipo de material impresso será distribuído (faixas, cartazes, adesivos, cartas, etc.). • Coordenar o trabalho com a mídia preparando e enviando informações sobre o mega-evento. • Elaborar uma lista de voluntários para trabalharem no dia do evento, distribuindo material promocional e orientando as atividades físicas e/ou recreativas. • Avaliar os resultados esperados, tais como o número de participantes, as instituições que atuarão como parceiras e as publicações que serão feitas antes, durante e depois do mega-evento. Apêndice 6 0 Manual para Avaliação de Atividade Física Os administradores das escolas e os professores se preparam para o Agita Galera por meio de uma série de canais de comunicação, coordenados principalmente pela Secretaria de Estado da Educação. Todas as escolas são estimuladas a preparar cartazes, folhetos, camisetas e adesivos. Os coordenadores municipais e escolares organizam concursos estudantis de arte, lemas e logotipos com o objetivo de incentivar a escola e a sua comunidade a falarem sobre a importância da atividade física. Para obter a participação do maior número de pessoas, os programas são planejados para incluir uma variedade de atividades, especialmente aquelas que promovem a participação da família. Por exemplo, sugerir às crianças fazerem exercícios com adultos e idosos, caminhadas, aulas de dança, jardinagem, pintura e escultura. Faz parte do material do evento o programa didático integrado que promove o tema da atividade física por meio de várias matérias tais como História, Ciências, Artes e Matemática. Os professores são estimulados a preparar o programa de estudos com lições de atividade física.  Algumas maneiras de medir os resultados: • Quais são os níveis de atividade física entre alunos e professores em São Paulo? Houve alguma mudança antes e depois do programa? • O Agita Galera influenciou políticos ou governos municipais a implementar novas políticas de educação ou na programação das escolas relacionadas a atividade física? Com base nos recursos, na disponibilidade de tempo dos parceiros funcionários e nos objetivos da avaliação, concluiu-se que as variáveis mais importantes, aceitáveis e factíveis, da avaliação foram as concentradas, tanto na política, quanto nos níveis de participação das escolas. Portanto, foram destacadas seis perguntas a serem respondidas como forma de classificar estas variáveis. Medindo o processo: 1. Até que ponto foi disseminado o Agita Galera? 2. Quantos programas foram criados depois do evento? 3. Quantas pessoas estão envolvidas nestes programas? 4. Quem são os parceiros que participam no evento? 5. Que atividades elaboraram estes parceiros e para quais atividades contribuiram? Medindo os resultados: 1. Quais são os níveis de atividade física entre alunos e professores em São Paulo? Houve alguma mudança antes e depois do programa? Etapa 4: identificar evidências concretas A equipe do CELAFISCS identificou dois projetos de estudo para responder às seis perguntas identificadas no terceiro passo. Para responder à primeira pergunta das medidas do processo, seria elaborado um estudo de caso descritivo. Para responder da segunda à quinta pergunta sobre as medidas do processo e a primeira pergunta da medida de resultados, um planejamento por etapas seria o mais indicado. O CELAFISCS decidiu que os dados seriam coletados uma vez por ano no fim de Agosto (no dia do evento). Os coordenadores regionais, os diretores das escolas e os professores de educação física, artes e ciências seriam considerados participantes na avaliação, assim como os parceiros do Agita Galera. Perguntas da Avaliação Indicadores Fontes de Dados Até que ponto foi disseminado o Agita Galera? • Número de escolas, professores e alunos • Número de materiais elaborados • Número de professores capacitados • Número de publicações na mídia • Relatórios escolares • CELAFISCS • Agências de notícias Quantos programas foram criados depois do evento? • Descrição das atividades • Relatórios enviados pelas escolas Quantas pessoas estão envolvidas neste Agita galera? • Número de pessoas • Relatórios enviados pelos coordenadores • Notícias de jornais sobre o evento Quais são os parceiros envolvidos no evento? • Lista de parceiros do Agita São Paulo • Relatórios enviados pelos coordenadores • Agita News Que atividades elaboraram e em quais atividades contribuíram estes parceiros? • Número e descrição das atividades • Relatórios enviados pelos coordenadores • Agita News Quais são os níveis de atividade física entre alunos e professores em São Paulo, antes de depois do evento? Houve alguma mudança? • Número de alunos ativos fisicamente • Questionário Internacional de Atividade Física (IPAQ) e Pedômetros Apêndice 6  Manual para Avaliação de Atividade Física Conclusões Como em muitos esforços de promoção de saúde atuais, quando o Agita Galera foi implementado pela primeira vez, o plano para a avaliação era limitado. Juntamente com o treinamento de avaliação para atividade física, o CELAFISCS criou o plano de avaliação atual que inclui tanto análise prospectiva quanto retrospectiva, medidas de processo e resultado, assim como dados qualitativos e quantitativos. O CELAFISCS também reconheceu que durante a etapa de coleta de dados, houve uma quantidade significativa de dados que não podiam ser analisados devido à falta de pessoal, tempo e recursos, financeiros e materiais, disponíveis. O quadro anterior mostra os dados coletados e os dados que podem ser razoavelmente analisados dadas às limitações existentes. Etapa 5: Justificar as conclusões Depois de oito anos realizando mega-eventos, as avaliações mostram que cerca de seis milhões de alunos e 250 mil professores em seis mil escolas participaram do Agita Galera por ano. Dos 250 mil professores, 150 mil receberam treinamento. Também chegou ao público uma quantidade enorme de material promocional e cobertura na mídia. Foram distribuídos 18 mil manuais, seis milhões de panfletos e o evento foi mencionado 7.440.000 vezes nos jornais. Também houve cobertura de rádio e televisão. Um dos objetivos principais do Agita Galera foi a criação de políticas de educação e programas nas escolas. Até agora, foram criados os seguintes programas e políticas: • Os professores de educação física retornaram ao corpo docente escolar para ministrar aulas às crianças de 1ª a 4ª series que estavam sob a responsabilidade dos professores de sala de aula. • Os professores de educação física receberam treinamento em como promover a atividade física. • Está sendo criado e implementado um novo currículo escolar de educação física. • Inclusão do Agita Galera no projeto pedagógico para todas as escolas do Estado de São Paulo. • A promoção da atividade física passou a ser incorporada a outras matérias do currículo escolar. • Debate iniciado pelo Comitê executivo do Agita São Paulo para um Agita Galera permanente nas escolas. • O Agita Galera passou a ser um programa permanente do “Programa Escola da Família”, do governo do Estado de São Paulo, de abertura das escolas nos fins de semana para a comunidade (http://www. escoladafamília.sp.gov.br/agita.html) • Foram organizadas atividades extracurriculares, tais como caminhadas a um ponto central na cidade (praça ou parque) para comemorar o dia da comunidade ativa (isso faz parte do evento, não é programa nem política). • Os funcionários das escolas implementaram a política de abertura das escolas nos fins de semana para propiciar as atividades comunitárias (política do governo, não dos funcionários. Além disso, no Escola da Família quem promove as atividades são voluntários que recebem incentivos do governo, como bolsas de estudos). • A importância da atividade física está sendo disseminada por meio dos alunos a outros grupos (trabalhadores, professores e familiares). • O mega-evento ajudou a disseminar mensagens gratuitas na mídia (TV, rádio, jornal) estimulando o desenvolvimento e a divulgação do programa Agita São Paulo para diminuir o comportamento sedentário. • O Agita Galera desenvolveu novas tecnologias para treinar professores e profissionais da saúde alcançando um número maior de profissionais para promover o programa Agita São Paulo em outras cidades. Os resultados da avaliação após a compilação e análise dos relatórios, sugerem que os eventos Agita Galera começaram a mudar a cultura escolar em prol do reconhecimento da importância da atividade física no Estado de São Paulo. Estas descobertas levaram a uma maior compreensão da importância da iniciativa do programa Agita São Paulo. O monitoramento  dos níveis de atividade física entre os jovens evidenciarão se as políticas ou programas estão mudando comportamentos. Etapa 6: Assegurar o uso e compartilhar as lições aprendidas As descobertas identificadas com as avaliações do Agita Galera estão sendo enviadas aos parceiros do Agita São Paulo para continuarem trabalhando juntos, a fim de facilitar a continuação do desenvolvimento de programa. Como resultado da disseminação das informações obtidas com a avaliação, foi criada em 2003, uma comissão estadual para discutir o Agita Galera . Os membros da comissão foram mobilizados a atuarem como um conselho consultivo na disseminação dos resultados no Brasil e no exterior. O Agita Galera está sendo reproduzido em outros países, dentre eles a Colômbia e a África do Sul. No nível local, a maior sensibilização das iniciativas políticas criadas por meio do Agita Galera contribuiu para aumentar o debate sobre a atividade física nas escolas. A conscientização dos resultados sobre a importância do Agita Galera já ajudou a começar e, a manter, a discussão sobre como transformar a atividade física em uma disciplina permanente nas escolas. As escolas começaram a organizar atividades internas para desenvolver uma maior conscientização e aumentar o nível de conhecimento sobre novas mensagens para a promoção da atividade física e da saúde. Muitos alunos criaram material informativo sobre a atividade física e distribuíram na comunidades no entorno das escola, e continuam a organizar exibição de cartazes, bailes (concursos de dança ou rodas de pagode) e espetáculos de teatro para a comunidade. Por último, e como “follow-up”, estão sendo selecionados locais onde a coordenação do programa, as lideranças municipais e governamentais possam fazer visitas durante os mega-eventos. Isto ajuda os políticos e administradores públicos de saúde e educação, a observarem “in loco” a demonstração das descobertas da avaliação. Desde 1997, professores de educação física, de ciências e de artes participaram de diferentes modalidades de treinamentos, como palestras, teleconferências, videoconferências, seminários e congressos. Um dos resultados foi a produção de material impresso como manuais, cartazes e panfletos que foram distribuídos em todas as escolas estaduais. Este material está disponível como recurso eletrônico para outras pessoas ou instituições que queiram participar do Agita Galera (www.agitasp.com.br). Os parceiros do Programa Agita São Paulo se reúnem uma vez por mês para planejar e discutir sobre a disseminação de estratégias elaboradas “in situ”. A Coordenação Geral do Programa vem oferecendo treinamento para os professores e gestores das secretarias municipais de Educação ou profissionais de saúde e gestores das secretarias municipais de Saúde. Conclusões Ao longo de todas as etapas do desenvolvimento do programa e do planejamento da avaliação, o CELAFISCS incluiu a participação do grupo de parceiros interessados. Embora com poucos recursos humanos disponíveis, o CELAFISCS conseguiu um grande avanço nesta etapa, beneficiando-se deste diversificado e influente grupo de parceiros, que tem a capacidade de disseminar e promover as descobertas mais recentes. Através do desenvolvimento do grupo de parceiros, da elaboração do programa e de sua avaliação, o programa Agita São Paulo conseguiu um índice de conscientização de 70% junto à população em geral, de 37 milhões de pessoas; este tipo de resultado pode surgir do processo descrito neste estudo de caso. Referências Matsudo V, Matsudo S, Andrade D, Araujo T, Andrade E, Oliveria LC, Braggion G. A promoção da atividade física em um país em desenvolvimento: A Experiência do Agita São Paulo. Public Health Nutrition, 2002:5(1), 253-261. Apêndice 6  Manual para Avaliação de Atividade Física MODELO LÓGICO DO MUÉVETE BOGOTÁ NO LOCAL DE TRABALHO (A) = Passos 1,2,3 e 4, (B) = Passo 5, (C) = Passo 6, (D) = Passo 7, do Quadro 1 Etapa 3: Concentrar na Avaliação Propósito: Avaliar a estratégia do Muévete Bogotá de inscrição e intervenção de companhias associadas do setor empresarial e sua eficácia em concretizar a iniciação e a manutenção dos programas de promoção de atividade física. Perguntas da Avaliação: O comitê da avaliação decidiu que as perguntas seguintes eram as mais valiosas para avaliar a inscrição e a intervenção do Muévete Bogotá nas companhias associadas. Estas perguntas incluíram aquelas sobre: processo do IDRD (1-2), processo do local de trabalho (3 - 5) e resultados do local de trabalho (6 - 7). 1. Quantas companhias associadas do setor empresarial se inscreveram no programa? 2. Quantos promotores de atividade física foram treinados? 3. Quantas companhias associadas têm estratégias de promoção de atividade física? 4. Quantas companhias associadas têm criado seus próprios programas, logotipo e mensagem de atividade física? 5. Quantas companhias associadas foram avaliadas com o IPAQ (questionário internacional de atividade física) na fase inicial? 6. As companhias participam nos eventos e nas atividades organizadas por Muévete Bogotá para promover a atividade física? 7. O nível de atividade física dos funcionários tem aumentado com a implementação do programa? (Reavaliar com IPAQ). Usos: Os resultados da avaliação seriam usados para tomar decisões sobre a direção futura do programa, para saber se eram necessárias mais ferramentas de intervenção, tais como estratégias promocionais e mais pessoas para melhorar os resultados e alcançar os indicadores de desempenho nas companhias associadas. Etapa 4: Colher Evidências de Credibilidade Este estudo de caso baseou-se principalmente num processo descritivo da avaliação do programa. Foram usados fontes de dados diferentes para colher a evidência para avaliar o programa do local de trabalho e para responder às perguntas acima mencionadas. • Os registros dos bancos de dados das companhias associadas mantidos pelo assistente de controle de qualidade do Muévete Bogotá. • Os resultados da fase inicial do IPAQ, o banco de dados mantidos pelo assistente de controle de qualidade do Muévete Bogotá. • Banco de dados da participação em atividade física mantida por cada companhia associada. Estes dados foram obtidos de diversos levantamentos escritos e por telefone conduzidos com: os gerentes das companhias associadas e os líderes de programas de atividade física, promotores e monitores e facilitadores do Muévete Bogotá.  Perguntas da avaliação Indicadores Fontes de dados Indicadores de desempenho 1. Quantas companhias associadas do setor empresarial se inscreveram no programa? % de cartas de intenção assinadas Banco de dados do Assistente de Controle de Qualidade do Muévete Bogotá 40% das companhias associadas serão do setor empresarial. 2. Quantos promotores de atividade física foram treinados? % de pessoas que receberam treinamento Banco de dados do Assistente de Controle de Qualidade do Muévete Bogotá 40% do total de funcionários treinados serão do setor empresarial 3. Quantas companhias associadas tem estratégias de promoção de atividade física? % de companhias com estratégias de promoção de atividade física Representantes das companhias associadas 50% das companhias inscritas promoverão a atividade física 4. Quantas companhias criaram seus próprios programas, logotipo e mensagem de atividade física? % de companhias com seus próprios programas, logotipos e mensagens. Representantes das companhias associadas 20% das companhias inscritas criarão seus próprios programas, logotipo e mensagem de atividade física. 5. Quantas companhias foram avaliadas com IPAQ? % de companhias avaliadas. Banco de dados do Assistente de Controle de Qualidade do Muévete Bogotá 20% das companhias inscritas terão funcionários avaliados com IPAQ 6. Quantas companhias associadas participaram nas atividades organizadas por Muévete Bogotá? % de companhias associadas que participaram nas atividades Banco de dados do Assistente de Controle de Qualidade do Muévete Bogotá 100 % das companhias inscritas participarão das atividades. Etapa 5: Conclusões Justificativas: Este estudo de caso é um exemplo de como a avaliação é usada para melhorar a entrega do programa à comunidade. A equipe de funcionários do Muévete Bogotá, o comitê científico, e os membros da divisão de promoção e desenvolvimento do IDRD analisaram todos os dados da avaliação dos diferentes levantamentos conduzidos ao longo dos anos da implementação do programa. No final de 2001, alguns dos resultados principais da avaliação qualitativa conduzida com as companhias associadas eram a falta de apoio do Muévete Bogotá às companhias, falta de liderança entre os funcionários, falta de compromisso dos diretores da companhia, assim como recursos limitados nos orçamentos das companhias para materiais e estratégias de promoção da atividade física. Conforme estes resultados, propuseram-se as seguintes ações que foram implementadas nos anos seguintes: 1. Muévete Bogotá foi reestruturado não só para informar às companhias associadas sobre o programa, mas para encorajar sua participação ativa treinando promotores de atividade física entre os funcionários. 2. Muévete Bogotá forneceu às companhias mais ferramentas de intervenção e materiais educacionais, como: CDs interativos, jogos, manuais de atividade física, cartazes, folhetos, calendários e vários outros artigos promocionais como relógios, guarda-chuvas, camisetas, chapéus e canetas, entre outros; a última estratégia educacional foi o desenvolvimento do guia de treinamento de atividade física para os funcionários. 3. Contratou-se pessoal mais altamente qualificado e treinado para implementar a intervenção nos locais de trabalho, assim aumentando a cobertura nas companhias e para fornecê-las com mais apoio nas estratégias institucionais. Esta ação também permitiu incentivar a manutenção do programa de atividade física dentro de cada companhia. 4. O conteúdo dos seminários de desenvolvimento de capacidades foi modificados a fim de fornecer mais ferramentas de intervenção aos promotores, incluindo o treinamento em aptidão física e avaliação de risco cardiovascular, além de informar como fazer atividade física de maneira segura, medindo-se a intensidade. Apêndice 6 0 Manual para Avaliação de Atividade Física Em julho de 2004, segundo os indicadores de desempenho que foram estabelecidos, determinou-se que das 163 companhias que foram registradas, 76 são do setor empresarial; isto representa 46%, ou seja, 6% a mais do que o esperado; porém, o objetivo era fazer alguma intervenção em 100% das companhias, mas isso foi possível apenas em 63 companhias (82%). Quarenta e nove companhias associadas ou 64% das companhias têm estratégias de promoção de atividade física no local de trabalho; o indicador de desempenho estabelecido foi 50%, fornecendo evidência de que o programa está sendo implementado de maneira eficaz. Vinte e uma companhias (27%) desenvolveram seus próprios programas, logotipo e mensagem de atividade física, 7% a mais do que o esperado. Esta ação é importante porque cria um sentido de pertencer entre os participantes do programa e contribui com mudanças de comportamento à adoção da prática de atividade física. Continuando com os indicadores do desempenho, 15 companhias associadas ou 20% do total, devem ter dados da fase inicial (que inclui IPAQ, estágio transteórico de mudança de comportamento, barreiras percebidas e avaliação das preferências da atividade física), porém somente 12 companhias (15%) foram avaliadas, inicialmente há falta de dados para avaliar o aumento do nível de atividade física dos funcionários. O objetivo do programa era realizar dois seminários de desenvolvimento de capacidades por ano, o que significa 11 até julho de 2004, mas somente 9 seminários foram realizados. Até hoje, Muévete Bogotá treinou 12.136 promotores de atividade física, sendo que o objetivo era que 40% (4.854) fosse do setor empresarial, porém o total das pessoas que foram treinados do setor empresarial é de 1.521,(31.3%). Por último, esperava-se que todas as companhias associadas (100%) participassem das atividades organizadas por Muévete Bogotá, mas somente 59.2% participam regularmente. Estes resultados mostram que em geral, o programa é bem sucedido quanto à sua disseminação entre as companhias, porém nota-se que são necessários mais recursos financeiros e humanos a fim de melhorar e aumentar a intervenção nas companhias associadas, assim como desenvolver estratégias mais eficientes e mais agressivas para promover liderança entre funcionários. Etapa 6: Assegure-se de utilizar e partilhar as lições aprendidas Os sócios interessados são essenciais para o sucesso e a sustentabilidade do Muévete Bogotá, portanto é fundamental a comunicação e disseminação contínua dos resultados. Os resultados e comentários dos levantamentos se incluem nas lâminas das apresentações do programa e são apresentados em todas as reuniões da comunidade, nos treinamentos ou seminários científicos. Segue uma lista parcial de como são compartilhadas as lições aprendidas: • Companhias associadas: A maioria das companhias designaram seus programas de atividade física com a palavra “Muévete”, assim disseminando a mensagem de Muévete Bogotá. Algumas das atividades realizadas para disseminar a mensagem do programa são: Reuniões das companhias associadas, seminários de desenvolvimento de capacidades de atividade física, Dia Mundial da Atividade Física, eventos acadêmicos tais como foros e seminários de atividade física, Reuniões Saudáveis (desafios físicos e de saúde), “Mês do funcionário ativo”. Nesta estratégia, os líderes do programa de atividade física na companhia, planejam e conduzem diversas atividades para promover a atividade física durante o mês de maio, seguindo o marco do Dia Internacional do Trabalho. • Os seguintes são exemplos de como a atividade física foi incorporada na missão e nos objetivos das companhias associadas. Estas experiências são consideradas experiências bem sucedidas porque incluíram a atividade física como parte da política do local de trabalho. “Muévete Alqueria” dedicou  • Os resultados das avaliações devem ser compartilhados com todos os promotores, organizadores de outros programas, participantes, profissionais e o público, e devem ser usados para guiar decisões de programa e condutas futuras. Os pareceres e recomendações do encontro estão esboçados abaixo. Membros do “Workshop em Avaliação da Intervenção de Atividade Física do CDC-WHO” Reconhecem que: • Atividade física é universalmente reconhecida como um componente necessário de saúde e qualidade de vida; • Atividade física é um componente crítico de intervenção projetada para reduzir doenças não transmissíveis (DNTs) e promover saúde; • Benefícios à saúde física e mental por um nível apropriado de atividade física se aplicam às pessoas de todas as raças, idades, habilidades e condição sócio-econômica; • Níveis inadequados de atividade física são prevalentes na maioria dos países, abrangendo todas as raças, etnias e grupos sócio-econômicos; • Os riscos de saúde associados a níveis inadequados de atividade física se aplicam a pessoas de todas as raças, idades, habilidades e condição sócio-econômica; • As causas de níveis inadequados de atividade física são multifatoriais, e envolvem vários setores; • As soluções para níveis inadequados de atividade física exigem uma abordagem multidisciplinar incluindo a participação de setores como saúde, educação, cultura, esporte, mídia, meio ambiente, planejamento urbano, transporte, governo local e federal, comércio e planejamento financeiro e econômico; • Uma grande variedade de intervenções com base na comunidade está sendo conduzida atualmente, e muitos outros programas estão sendo planejados ou discutidos; • Resultados de avaliação de alta qualidade são necessários para guiar programas e estabelecer ou refinar metodologias; • A maioria dos países possui um número insuficiente de pessoas treinadas para uma efetiva utilização dos dados das avaliações, como também dados inadequados de sistemas de vigilância para monitorar a magnitude do problema; • Muitos países e comunidades, se não a maioria, precisam fortalecer sua metodologia e esforços no planejamento de programas de atividade física e promoção de saúde. Portanto: Os membros do workshop adotam as seguintes recomendações para esforços apropriados de programa de avaliação: 1. Todas as intervenções de atividade física devem ter alguma forma de avaliação. Quando possível, a avaliação deve começar como parte do processo de planejamento do programa e continuar ao longo da execução do mesmo; 2. Todo esforço deve ser feito para envolver organizadores no ciclo de avaliações de intervenção de atividade física; 3. Recursos adequados devem ser dedicados para a avaliação. É recomendada a destinação de 10% dos recursos financeiros do programa à avaliação; 4. As intervenções de atividade física devem ser avaliadas na sua execução como também seus resultados; 5. As avaliações devem ser ajustadas para as necessidades dos organizadores e as características da iniciativa; A. Uma mistura de estratégias qualitativas e quantitativas é freqüentemente apropriada; B. As questões a que uma avaliação é formulada para responder devem ser desenvolvidas pelos organizadores e estar em plena concordância entre eles; 6. Nós recomendamos o uso de uma variedade de formas de avaliação. O Manual de Avaliação de Atividade Física do CDC, que foi revisado e modificado nesse encontro, é um modelo prático e apropriado; 7. Todas as avaliações devem seguir os padrões de prática e os princípios éticos contidos no Manual de Avaliação de Atividade Física do CDC; Apêndice 7  Manual para Avaliação de Atividade Física 8. Os resultados das avaliações devem ser compartilhados com todos os organizadores e divulgados para os profissionais e o público leigo; A. Residentes das comunidades e participantes dos programas representam uma parcela significativa, e devem ser considerados no processo de avaliação, inclusive no planejamento dos objetivos do programa, no desenvolvimento do programa, na interpretação dos resultados e na sua divulgação; 9. Os resultados da avaliação devem ser usados para ajustar programas vigentes e futuros e devem informar sua metodologia; 10. Estudo sobre a avaliação distingue-se da avaliação usual do programa, sendo realizado para melhorar a prática da avaliação; A. Organizações nacionais e internacionais como WHO, PAHO, IUHPE, e CDC devem promover o uso dos dados da avaliação, dar suporte para o treinamento da avaliação e pesquisa da avaliação prática; 11. O treinamento de profissionais em programa de avaliação é uma responsabilidade mútua e compartilhada por todos os organizadores; 12. O manifesto nestas recomendações é a nossa solução para promover programas efetivos de avaliação de atividade física como parte de um maior esforço para criar intervenções que aumentem a participação da população em atividade física; Organizações internacionais, incluindo WHO, são convocadas a incentivar, promover e aprovar estas recomendações em assembléias, congressos, reuniões de diretrizes e outros. Tradução: João Paulo Bergamaschi – Estudante Medicina na Faculdade de Ciências Médicas da Santa Casa de São Paulo & Estagio I - CELAFISCS