Seminário de Avaliação Econômica de Projetos Sociais

Transcrição

1 Seminário de Avaliação Econômica de Projetos Sociais Elaine Toldo Pazello FEA-RP / USP Rio de Janeiro, 24/10/2007

2 Objetivo contextualizar as avaliações que serão apresentadas a seguir elas foram efetuadas ao longo do curso de avaliação Econômica de Projetos Sociais que é oferecido pela Fundação Itaú Social

3 Curso de Avaliação Econômica de Projetos Sociais Quando elaboramos um projeto, queremos que ele gere algum tipo de resultado, isto é, que ele tenha um impacto sobre algum indicador de interesse curso oferecer ferramentas para os gestores de projetos sociais mensurarem se de fato seus projetos geraram este impacto e se obtiveram um retorno econômico positivo

4 Público Alvo Gestores / Coordenadores de ONGs ou OSCIPs Secretários ou técnicos de secretarias municipais ou estaduais Gestores ou técnicos de fundações ou institutos empresariais.que coordenem ou trabalhem com projetos sociais

5 Avaliação Econômica: Impacto e Retorno AVALIAÇÃO ECONÔMICA IMPACTO RETORNO ECONÔMICO

6 Avaliação de Impacto Definido o objetivo do projeto social queremos saber se foram de fato as ações do projeto que causaram as mudanças observadas em algum indicador de interesse Queremos responder a seguinte pergunta: o que teria acontecido com os participantes do programa, caso eles não tivessem participado do programa? Projeto social Indicador de resultado

7 Retorno Econômico Projeto gerou benefícios, isto é, teve impactos positivos Mas será que tais benefícios superam os custos incorridos na realização do projeto? Análise de retorno econômico: comparar os benefícios obtidos com os custos incorridos para a realização do projeto

8 Análise de Impacto determinar se houve mudança no bem-estar dos indivíduos (através de algum indicador relacionado ao programa) que pode ser atribuída a um programa específico. queremos medir uma relação de causalidade, isto é, garantir que a mudança observada foi causada pelo programa

9 Causalidade É uma das etapas mais difíceis da avaliação, mas é fundamental! Exemplo: Programa de melhoria da qualidade do ensino médio, com foco na evasão escolar. Ação: oferecer oficinas (de arte, de música, de leitura, etc) após o horário das aulas, buscando motivar esses jovens a permanecer na escola. indicador de resultado: índice de freqüência escolar (IFr)

10 O contra-factual IDEAL: comparar o índice de freqüência escolar dos jovens que participam das oficinas com o índice de freqüência observado para esses mesmos jovens caso eles não participassem das oficinas. Desta forma poderíamos ter certeza de que o aumento na freqüência escolar foi resultado exclusivo da participação nas oficinas. estamos buscando o contrafactual infelizmente, tal contra-factual não existe...

11 Grupos de comparação Como não temos os contrafactuais, o problema é resolvido com a construção dos chamados grupos de comparação. Idéia: formar grupos de não participantes (na linguagem de avaliação de não tratados), que tenham as mesmas características dos participantes (tratados). No caso das oficinas: encontrar jovens que não tenham participado das oficinas que se pareçam (tenham a mesma idade, o mesmo nível sócioeconômico, etc) com aqueles que participaram.

12 Mas nem sempre é fácil encontrar bons grupos de comparação... existência de auto-seleção as pessoas que participam dos programas muitas vezes escolhem participar. nosso exemplo: jovens que se inscrevem em oficinas oferecidas após o período de aulas devem diferir dos que não se inscrevem. Essas características podem ser observáveis (número de irmãos, nível de renda familiar) ou não-observáveis (motivação, determinação ou pré-disposição)

13 Caso: IFr alunos que participaram das oficinas > IFr colegas que não participaram não saberemos se é: efeito da participação nas oficinas (do tratamento); do maior tempo disponível para a escola (relativamente aos colegas que, muitas vezes, precisam faltar à escola para cuidar dos irmãos) ou ainda da maior motivação/determinação que tem um efeito positivo sobre a freqüência escolar. a diferença entre os grupos antes do programa dificulta a determinação da causalidade.

14 Mesmo que o programa não seja de inscrição voluntária o grupo de participantes pode diferir do restante da sociedade justamente pelo fato de o programa ter um público-alvo específico. Exemplo: diversos programas sociais utilizam a renda per capita como critério de elegibilidade, ou seja, só pode participar do programa quem tem w_fam_pc Z Portanto, os beneficiários serão, em média, mais pobres do que os não-beneficiários.

15 Da mesma forma que não podemos comparar o grupo de tratados com um grupo de comparação qualquer (os não tratados) também não podemos olhar para a evolução no tempo apenas dos indicadores dos tratados. Voltando ao exemplo dos jovens nas oficinas, se: IFr alunos que participaram das oficinas depois do programa > IFr alunos que participaram das oficinas antes do programa podemos dizer, com certeza, que isso é devido ao programa? Não! Este aumento na freqüência pode ter sido resultado de uma melhora no ambiente escolar.

16 Outra possibilidade: E se mostrarmos que a freqüência dos jovens que participaram das oficinas aumentou mais que a freqüência dos jovens que não participaram? IFr ( tratados tratados ) ( não tratados não tratados IFr IFr > IFr IFr ) t = ΔIFr índice tratados de t 1 > ΔIFr freqüência não tratados t escolar t 1 Método das diferenças em diferenças Como a freqüência escolar inicial é considerada, o problema da diferença entre os jovens que participam e nãoparticipam está resolvido. Falta termos certeza de que nada de diferente aconteceu com os grupos a não ser a frequência na oficina.

17 Causalidade Questão: como isolar o impacto do programa das outras mudanças das quais não temos controle? É nesse ponto que entra a habilidade do avaliador em construir bons grupos de comparação. Duas possibilidades

18 Construção dos grupos de comparação Método experimental ou de seleção aleatória Método não-experimental ou de seleção nãoaleatória

19 Escolha de indicadores de impacto correlacionados com os objetivos do projeto Necessidade de dados para a avaliação nós queremos medir essas coisas ; então, precisamos de dados, isto é, de informações sobre os beneficiários (e não beneficiários) do projeto Pensar na avaliação desde o início do projeto se isto for feito, será bem mais fácil avaliar o projeto

20 Limitações Tempo curto para a elaboração da avaliação, especificamente, para obter os dados necessários para a realização da avaliação Parte estatística apenas o básico é ensinado... para algumas avaliações, no entanto, sabemos que métodos mais sofisticados são exigidos