Este texto é uma reflexão de dois
artigos da revista exame e do encontro: a relevância da avaliação para o Investimento Social Privado no centro britânico em 04/07/12.
Este encontro patrocinado por Itaú
Social e Fundação Roberto Marinho, com apoio técnico da Move avaliação e
estratégia em desenvolvimento social, inicia com a palestra muito esclarecedora
de Jane Davidson mostrando as diferenças entre indicadores quantitativos e
qualitativos também chamados por ela de critérios e rubricas, mostrando a
importância dos últimos em detrimento dos quanti e que, o importante é saber o
que queremos e não começar a mensurar só por que é mais fácil.
Entender que os resultados de uma
avaliação têm que responder as perguntas: e daí? E agora? (so what; now what), ou seja, não serve e não
é suficiente dizer que atendemos x mil crianças ou servimos x milhões de
refeições ( a la Criança Esperança).
É necessário mostrar que vidas foram mudadas e ou salvas. Também não é
necessária uma grande quantidade de indicadores se conseguimos respostas às
nossas perguntas apenas com alguns.
A chave é ter uma proposta clara,
envolvimento correto de todos as partes envolvidas (stakeholders), fazer as perguntas
importantes e conhecer a grande figura (big picture), ter respostas claras baseadas em evidência e não em achismos e
intuições, conforme reportagem da revista exame com o prêmio Nobel Daniel Kahneman, http://exame.abril.com.br/revista-exame/edicoes/1018/noticias/nao-dependa-da-intuicao-para-tomar-decisoes
, que demonstra que as respostas dadas por uma parte do cérebro que responde
rápido e com intuição, normalmente nos dá respostas erradas. Davidson ainda
propõe ter um relatório sucinto sem muitos detalhes e com idéias que levarão a
ação. Parece simples, mas não é. O que precisamos medir contra o que é preciso
saber. Saber quantas pessoas vieram a um evento é importante, mas queremos
saber se foram suficientes, quem faltou e porque.
As melhores perguntas a serem
respondidas são:
·
O programa era (e continua sendo) necessário?
·
Quão bem o programa foi desenhado e implementado?
·
O programa / projeto valeu a pena pelos recursos
aportados?
·
Teve impacto positivo na vida das pessoas?
·
É sustentável financeiramente?
Não queremos só indicadores, mas
ferramentas que respondam as nossas boas perguntas. Focar no que queremos saber e menos no que é
fácil medir mesmo que não sejamos tão precisos. Segundo John Tukey, estatístico
americano do início do século passado, “muito melhor ter uma resposta
aproximada para a pergunta certa, que
muitas vezes é vaga, do que uma resposta exata
para a pergunta errada, que pode sempre ser feita de maneira precisa”.
As organizações devem investir na
avaliação para poder crescer e replicar os bons modelos.
O estudo de casos sempre é importante
neste tipo de encontro. Foram 4 salas com os seguintes casos:
-
Programa água eclima da WWF Brasil
-
Avaliação do programa primeiríssima infância –
Fundação Maria Cecília Souto Vidigal
-
Construção de cultura de avaliação – Instituto Sou
da Paz
-
Programa Execelência em gestão Educacional –
Fundação Itaú Social
Assisti ao último que foi
apresentado por Carolina e Cláudia. O projeto tem parceria com o Instituto
Fernand Braudel com o objetivo de realizar um projeto piloto em 10 escolas municipais
da cidade de São Paulo entre as mais vulneráveis, que foram escolhidas pelo critério de desempenho
IDESP 2007.
A estratégia escolhida foi baseadas
na cidade de Nova York onde o professor, o coordenador de pais e o coordenador
pedagógico recebem uma tutoria no cotidiano da escola e a partir da observação deste
tutor (que já foi professor da rede pública) faz recomendações.
Tem o objetivo de trazer a
família para dentro da escola e as perguntas avaliativas foram:
Em que medida o programa
contribui para formação do aluno, relação com a família, gestão pedagógica e
desempenho do professor. O projeto terminou no fim do ano passado e agora estão
compilando os dados finais. Por meio dos dados preliminares se pode concluir
que vale a pena replicar o projeto para outras escolas.
Aproveito para inserir um caso
que saiu na última exame (Ed. 1019) que demonstra como a francesa Ester Duflo
se tornou uma das mais requisitadas pesquisadoras especialista no combate a
miséria. O pragmatismo de Duflo atrai empresários em busca de avaliar o alcance
de seus investimentos em programas sociais, segundo a revista.
A “Filantropia de Resultado” tem
um método de 5 etapas inspirado na medicina:
1 – O Problema – Pesquisadores determinam
o objetivo a ser atingido, como a redução do absenteísmo de professores em
determinada região
2 – A Amostra – Duas amostras da
população são separadas aleatoriamente. Uma delas será submetida à solução
aplicada – a outra não
3 – A Análise – Numa avaliação
que pode durar até cinco anos, pesquisadores verificam o que deu certo e por
quê
4 – A Comparação – Pesquisadores comparam
o custo-benefício da solução atual e outras saídas sob a mesma métrica
5 – A Multiplicação – O que deu
certo pode ser reproduzido em larga escala em comunidades com características
semelhantes.
A similaridade com o projeto do
Itaú Social não deve ser mera coincidência. Vejam a matéria toda em: http://exame.abril.com.br/revista-exame/edicoes/1019/noticias/a-guru-de-bill-gates
Fiona Cram na palestra:
Avaliação, relevância e força dinâmica, trouxe a experiência da Kauapapa Maori
Evaluation da Nova Zelândia e o modelo desenhando o caminho de Ross Conner onde
os participantes seguram a caneta e falam enquanto desenham e constroem juntos a
capacidade de avaliar
Segundo Martina Rillo Otero do
Instituto Fonte que fechou o evento de um dia, a avaliação serve para dentro e
para fora – para dentro como parte do planejamento estratégico, para revisar os
métodos e objetivos e para fora para atrair e manter investidores, promover os
projetos. Focar um só dos lados (fora ou dentro) é desperdiçar energias.
Visitem os sites Itaú social e
Instituto fonte para maiores detalhes do encontro e ver os outros casos:
WWW.fonte.org.br ; http://www.fundacaoitausocial.org.br/
; WWW.innonet.org
; http://realevaluation.com/
