É fundamental distinguir entre fenômenos correlacionados e relações de causa e efeito. Ao ver um gráfico como o exibido acima, algum gestor público interessado em reduzir o risco de ataques de tubarão em uma praia poderia impor restrições à venda de sorvetes. Correlação não é o mesmo que causalidade. A observação de 2 fenômenos correlacionados não significa que existe uma relação de causa e efeito. Uma hipótese plausível para o fenômeno exibido no gráfico é que, em dias quentes, as pessoas consomem mais sorvetes e também tendem a ir mais para à praia. A maior quantidade de banhistas aumenta a expectativa de ocorrências de ataques de tubarão.
Com frequência, muitas políticas públicas ou projetos de desenvolvimento são executados sem atenção às relações de causa e efeito. Se uma determinada intervenção visa auxiliar os pequenos negócios a venderem mais e a aumentar o faturamento é fundamental medir os resultados e verificar se os objetivos foram alcançados, ou seja, se o faturamento das empresas realmente aumentou. Suponha que durante o curso dessa intervenção os empresários tenham sido consultados e que o crescimento médio do faturamento das empresas tenha sido de 10% e maior do que a meta original do projeto que era de 5%. Agora eu pergunto: este é um bom resultado? Sob a perspectiva do alcance de metas, sim. Porém, minha resposta (padrão para os economistas) é depende. Depende por exemplo de fatores macroeconômicos. Se a economia tem um boom de crescimento é provável que muitos setores tenham um bom desempenho. Já um investimento significativo na região do projeto pode ter injetado muito dinheiro da economia, favorecendo as vendas das empresas dessa região.
Resultado é diferente de impacto. A questão chave para se avaliar o impacto de um projeto é justamente saber o que teria acontecido, se uma determinada intervenção não tivesse acontecido. Vamos considerar o gráfico abaixo. Suponha que no período t0 é feita uma consulta a um grupo de empresas e se constate que o faturamento médio delas é F0. A partir desse momento é iniciada uma intervenção, por exemplo, uma consultoria de gestão especializada ou garantido o acesso a crédito a baixas taxas de juros, ou o acesso um conhecimento específico que leve as empresas a abrirem novos mercados. O tipo de ação não importa muito nesse exemplo. Suponha que, transcorrido um período tempo, em t1 seja feita uma nova consulta às empresas e se apure que o faturamento médio seja F2. Ou seja, verifica-se um crescimento do faturamento da ordem de (F2 - F0). Este é normalmente o resultado comemorado pela equipe de um projeto. Mas será que esse é o impacto atribuído exclusivamente à intervenção?
Voltemos à mesma situação. No momento t0 temos um conjunto de empresas, mas desta vez vamos separá-las em 2 grupos. O aspecto mais importante é que esses dois conjuntos de empresas têm características idênticas, incluindo o mesmo faturamento médio medido no período t0, sendo indiferente escolher entre um grupo e outro. Contudo, vamos promover uma diferença. Um dos grupos receberá uma intervenção (ex. consultoria especializada, acesso a crédito, etc.) e chamaremos essas empresas de grupo de “tratamento”. O outro grupo, chamado de “controle”, não receberá nenhuma ação direta.
Transcorrido um período de tempo, em t1 é feita uma nova mensuração do faturamento médio das empresas e desta vez com os 2 grupos. Constata-se que, no caso do grupo de tratamento, o faturamento médio cresceu de F0 para F2. Já no caso do grupo de controle o faturamento médio também cresceu, mas até o nível F1. Que conclusão podemos tirar destas evidências? No caso do grupo de controle, houve um aumento do faturamento que ocorreu de forma independente da ocorrência da intervenção. No caso do grupo de tratamento, a variação do faturamento foi superior ao grupo de controle, e como ambos os grupos tinham as mesmas características no início, podemos afirmar que o impacto atribuído à intervenção não foi a variação de F0 para F2, mas a diferença entre F2 e F1. Ou seja, o projeto demonstrou um impacto, uma transformação para o público.
Permita-me ilustrar o que é uma avaliação de impacto, envolvendo grupos de controle e de tratamento. Desta vez vou recorrer a um exemplo mais “refrescante”. Suponha que você foi a uma festa e levou uma caixa de cervejas à temperatura ambiente. Qual será o método mais rápido para gelar as cervejas? Veja no vídeo abaixo um conjunto de experimentos que respondem a essa pergunta e que, possivelmente, já foi feita inconscientemente por muitos apreciadores de cerveja.
Uma questão de grande importância para garantir a robustez das conclusões é assegurar a homogeneidade entre as amostras. Neste exemplo, a homogeneidade foi observada pois foram utilizadas latas de cerveja idênticas e na mesma temperatura inicial. Porém uma lata foi submetida a uma determinada intervenção (grupo de tratamento) e outra não (grupo de controle). Com papel toalha molhado, com gelo e sal, com álcool, etc. Que conclusão podemos tirar dessa avaliação de impacto? Aprendemos que o método mais rápido para gelar cervejas é uma mistura de gelo, água, sal e álcool.
Na prática existe uma variedade de tipos de cervejas, em diferentes tamanhos, em garrafas e latas com diferentes espessuras, enfim uma miríade de características. Se os experimentos de gelar cerveja fossem feitos não com 2 latas idênticas, mas com um conjunto de tipos de cerveja será que poderíamos ter certeza do resultado quanto ao melhor método? É com esse tipo de pergunta que alguém interessado em avaliar o impacto de uma política de desenvolvimento se depara, já que os beneficiários de uma intervenção possuem diversas características.
A intuição básica é ter algum método que possa assegurar que os grupos de controle e de tratamento sejam homogêneos entre si, ou seja, comparáveis. Mais do que isso, para extrapolar os resultados, é preciso ter segurança que as amostras escolhidas tenham características semelhantes às da população. Suponha que se deseje realizar um projeto piloto para testar uma determinada intervenção com empresas e que a intervenção posteriormente poderá ser aplicada a qualquer tipo de empresa. Neste teste piloto foram selecionadas apenas startups (geralmente associadas a um grupo de empreendedores jovens). Ainda que se tenha escolhido grupos de controle e de tratamento homogêneos e que o teste piloto tenha demonstrado sucesso (os resultados do grupo de tratamento foram melhores que os de controle) será que podemos afirmar que essa intervenção funcionará com qualquer tipo de empresa? Certamente não, uma vez que as características de um grupo de startups não é, em média, comparável aos da população de empresas (com diferentes características de porte, tempo de existência, ramo de atuação, etc.)
Uma das melhores formas de garantir a homogeneidade nas amostras é recorrer a sorteios. Um sorteio introduz um componente de aleatoriedade na seleção, reduzindo as chances de algum tipo de viés, pois confere chances iguais de uma empresa estar em um grupo ou em outro.
Será que ensinar boas técnicas de gestão de empresas leva a melhores resultados para os pequenos negócios? A atuação do Sebrae, ao longo de mais de quarenta anos de história, sugere que sim. Creio que a pergunta mais relevante seja outra. Quais são os mecanismos pelos quais a utilização de boas práticas de gestão leva a um bom desempenho empresarial (crescimento das vendas, do lucro, do emprego)?
Realizar uma avaliação de impacto e constatar que uma determinada intervenção causa transformação para os pequenos negócios é algo muito positivo. Contudo, isto é insuficiente para se afirmar que essa intervenção poderá ser aplicada em outros locais e que resultados similares serão alcançados. É preciso entender os nexos causais, isto é, os mecanismos que levam a um resultado. Como o empresário utiliza um conhecimento sobre boas práticas de gestão? Como tais práticas são adotadas na empresa? Como a utilização dessas práticas leva a mais vendas?
Como já havia descrito em outro post, há uma ferramenta muito útil para se compreender e analisar os mecanismos de causa e efeito, a cadeia de resultados e ou teoria da mudança. Clique aqui para conhecer essa ferramenta.
Além dos elos causais (evitando-se conclusões baseadas em correlações espúrias) e da comparabilidade das amostras, um outro elemento fundamental para se aumentar a segurança nas conclusões de uma avaliação é ter uma amostra grande. Coletar evidências a partir de 3 ou 4 observações pode ser ingênuo e mesmo temerário para se extrapolar conclusões para toda a população. Mas quão grande deve ser a amostra? A resposta é a equação abaixo... Não se assuste, pois a lógica é intuitiva!
Caso se deseje uma grande precisão estatística é preciso ter mais observações. De igual forma, se existe uma variabilidade em certas características da amostra (por exemplo, o número de empregados e o faturamento das empresas) é ideal que se colete muitas observações para reduzir erros amostrais. Por outro lado, se o efeito esperado por pequeno (por exemplo, caso se espere que a variação da intervenção no faturamento da empresa seja pequena) a amostra deve ser grande. Nesse caso, o aumento da amostra atua como uma lente de aumento que aumenta a precisão.
Aprendizado
Uma avaliação de impacto muitas vezes envolve custos elevados, tanto de esforço e tempo de pesquisadores quanto de coleta de dados propriamente ditos. Por isso, uma avaliação deve oferecer benefícios, sendo o maior deles, a meu ver, o aprendizado.
As instituições precisam estar preparadas para entender que maus resultados não são um sinal de derrota, mas a chance para se fazer melhor. Isto é, usar o poder de análise, reconhecer as relações de causa-efeito e empregar criatividade para buscar resultados melhores. Creio que qualquer instituição deseje criar valor, produzir impacto e transformação. Dedicar grandes esforços e recursos a ações de baixo impacto é ineficiente e pode ser muito frustrante para as equipes envolvidas.
Entretanto, reconhecer que algo não deu certo requer uma dose de coragem para se abrir debates sobre falhas. Conversar sobre falhas muitas vezes envolve indicar seus próprios erros ou os erros dos outros. Isso pode ser especialmente desagradável em projetos que abrangem muitos parceiros. Todavia, não há um caminho fácil para o aprendizado. Ao se embrenhar no campo da avaliação de impacto as instituições devem ter resiliência e coragem para enfrentar desafios e estarem abertas ao aprendizado.
Recentemente, o Sebrae Paraná recebeu o apoio do Banco Mundial (mais especificamente do DIME “Development Impact Evaluation”) para um projeto de avaliação de impacto com duração de 3 anos. Pretendemos avaliar uma iniciativa piloto envolvendo atendimentos a pequenos negócios por canais digitais, e aprender sobre os melhores mecanismos para a transmissão de conhecimento e geração de valor aos clientes.
As instituições não deveriam desperdiçar tempo e recursos preciosos com ações de pouco valor. Com vistas à transformação, as políticas e intervenções deveriam ser elaboradas prevendo-se os mecanismos de avaliação de impacto com o intuito de se identificar práticas bem-sucedidas e outras nem tanto. É comum que as pessoas aprendam mais com os erros do que com os acertos.
Não existem “fórmulas mágicas” ou “receitas de bolo” no campo de políticas de desenvolvimento. Identificar boas práticas é importante, mas pode ser insuficiente. Um processo chave é avaliar o impacto e aprender com seus próprios erros, ou com os erros dos outros, e compartilhar aprendizados.
Clique aqui na Teia de ideias do Blog, encontre esse post e veja como ele está relacionado a muitas outras ideias.
Gostou desse artigo? Deixe um comentário ou compartilhe este post em suas redes sociais (Facebook, LinkedIn, WhatsApp, etc.), clicando nos links ao lado ou abaixo.
0 comentários:
Postar um comentário