Inji El Abd/Consultora Independiente/Diseño, planificación estratégica y evaluación de impacto para empresas sociales/inji.elabd@gmail.com

La Asociación Internacional de Evaluación del Impacto dentro de los Principios Internacionales de la Evaluación del Impacto da la siguiente definición: “La Evaluación del Impacto Social (EIS) comprende los procesos de análisis, seguimiento y gestión de las consecuencias sociales, voluntarias e involuntarias, tanto positivas como negativas de las intervenciones planeadas (políticas, programas, planes, proyectos), así como cualquier proceso de cambio social, solicitado por dichas intervenciones”

S

egún la Organización para la Cooperación y el Desarrollo Económicos (OCDE) la evaluación es una apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y de sus resultados. La evaluación también se refiere al proceso para determinar el valor o la significación de una actividad política o programa. Se trata de una apreciación lo más sistemática y objetiva como sea posible, de una intervención para el desarrollo planeada, en curso o concluida.

La evaluación de impacto social nace de la preocupación de los gobiernos para entender el impacto de los programas de servicio públicos, y se consolida como disciplina a partir de las décadas de 1970 y 1980, en EE.UU. y en el norte de Europa. Se ha enfrentado desde sus inicios a dos preguntas recurrentes: ¿Por qué evaluar? y ¿Para quién evaluar?

Desde los años noventa los filántropos, las fundaciones, organizaciones sin ánimo de lucro, organizaciones no gubernamentales e inversionistas sociales han entrado al campo de la evaluación de impacto, experimentando con herramientas, marcos y mejores prácticas.

Entre 1964 y 1968 el gobierno de EE.UU., intenta proyectar el impacto de un nuevo impuesto. Ese año vio la primera aplicación de los ensayos controlados aleatorios, un método considerado como fundamental por muchos en el campo de la evaluación.

En 1969, también en EE.UU., empieza el análisis del impacto ambiental mediante una nueva legislación. En 1973 los sociólogos comienzan a contribuir desde su campo a la evaluación del impacto ambiental y se empieza a hablar de la “evaluación del impacto social”. En 1974, la Fundación Ford gestiona el primer ensayo controlado aleatorio de un programa de empleo a nivel nacional; en seguida, una mentalidad de evaluación fue impuesta en el financiamiento de programas sociales federales.

En 1986 el Banco Mundial (BM) adopta la evaluación del impacto social en sus procesos de evaluación de proyectos. En 1990 el mundo de las fundaciones y la filantropía empieza a observar los resultados de sus programas para diseñar mejores estrategias en el futuro.

En 1992 la evaluación empieza a ser más estandarizada y comienza a ser adoptada por más organizaciones. En 1996 el Retorno Social de la Inversión (SROI) surge como una nueva manera de evaluación del impacto social de iniciativas de desarrollo económico. En 2001, empieza a haber una representación de la voz de los beneficiarios en el proceso de evaluación de impacto social. En 2009 en una conferencia de impacto social, en El Cairo, Egipto se expusieron visiones diferentes, diseños experimentales y metodologías fijas.

Actualmente, la evaluación se entiende no solo como un ejercicio que ayuda a recolectar evidencias para demostrar el impacto externamente, sino también como una experiencia orientada a mejorar la práctica y a promover procesos de cambio y aprendizaje, tanto hacia el interior como hacia el exterior de las organizaciones comunitarias, locales, internacionales o globales.

Principios y criterios base

Como una herramienta del sector social, la evaluación del impacto social tiene un código ético que seguir.¹ Según la Fundación Kellogg algunos principios son: usar la evaluación para la mejora de los proyectos, usar múltiples enfoques y metodologías, diseñar una evaluación centrada en temas prioritarios para la comunidad, crear un proceso participativo y flexible, usar el proceso de evaluación como un proceso de capacitación para el personal de la ONG, con el fin de evitar la excesiva dependencia de consultores y expertos en el futuro. Según la OCDE una evaluación debería proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones de beneficiarios y donantes.

Se resalta la importancia de reconocer la contribución de la intervención social al cambio sin atribuir los cambios observados en su conjunto a la intervención social. Una buena evaluación es capaz de distinguir la medida en que los efectos de desarrollo observados pueden atribuirse a una intervención específica o a la actuación de una o más partes, teniendo en cuenta otras intervenciones, factores exógenos (previstos o imprevistos) o choques externos.

La credibilidad de una evaluación depende en parte del grado de independencia con la que se llevó a cabo. La independencia significa que la evaluación no está sujeta a ninguna influencia política ni a presiones de ninguna organización. Se cuenta con pleno acceso a la información y con una total autonomía para llevar a cabo las investigaciones y notificar lo que se haya determinado. Las evaluaciones externas cuentan con mayor credibilidad que las internas, una evaluación externa es una evaluación realizada por entidades o individuos ajenos a los organismos donantes y de ejecución.

Últimamente se usan métodos de evaluación en la que los beneficiarios y las organizaciones implementadoras trabajan conjuntamente en el diseño, implementación e interpretación de una evaluación, a estos métodos se les llama evaluación participativa.

La evaluación se rige por cuatro criterios base: pertinencia, eficacia, eficiencia y sostenibilidad del impacto, a los cuales se empezó a agregar la innovación en los últimos años.

Pertinencia

La pertinencia es la medida en que los objetivos de una intervención para el desarrollo son congruentes con los requisitos de los beneficiarios, las necesidades del país, las prioridades globales y las políticas de los asociados y donantes.

En retrospectiva, la cuestión de la pertinencia suele referirse a si los objetivos o el diseño de una intervención siguen siendo adecuados aun cuando hayan cambiado las circunstancias.

Eficacia

La eficacia es la medida en que se lograron o se espera lograr los objetivos de la intervención para el desarrollo, tomando en cuenta su importancia relativa. Nota: se utiliza también como medida agregada o como juicio sobre el mérito o el valor de una actividad, es decir, el grado en que una intervención ha logrado o se espera que logre sus principales objetivos, que sean acertados de manera eficaz, en forma sostenible y con un impacto institucional positivo en el desarrollo.

La eficacia mide la realización de los efectos, objetivos y resultados que desea lograr la iniciativa. Una intervención está considerada como eficaz cuando sus productos generan los efectos deseados. Una intervención eficiente que usa los recursos de la mejor forma posible, no es necesariamente eficaz.

La eficacia de una intervención está condicionada por su diseño y su implementación. Evaluar la eficacia requiere que la intervención social tenga sus objetivos bien definidos. Medir la eficacia consiste en medir el cambio en los efectos y poder atribuir ese cambio a la intervención social.

Es difícil atribuir cambios sociales a una intervención directamente, sobre todo para proyectos grandes y complejos, dado el alto costo de las evaluaciones en general.

Eficiencia

La eficiencia es la medida en que los recursos/insumos (fondos, tiempo, etc.), se han convertido económicamente en resultados. La eficiencia mide la relación entre los productos y servicios de una intervención y sus insumos o los recursos que usa. Los productos miden el esfuerzo que hacen los implementadores, es el producto inmediato y tangible de la intervención social, sobre el cual la organización tiene cierto control. Una intervención está considerada como eficiente si usa los recursos adecuados, menos costosos y más disponibles para realizar los productos deseados (entregables) en la cantidad y calidad acordadas.

La calidad de los insumos y productos es un criterio importante para medir la eficiencia. Evaluar la eficiencia requiere un estudio comparativo de distintas intervenciones que generan los mismos productos, comparando el costo de las actividades de los mismos.

Sostenibilidad

La sostenibilidad de una intervención es la probabilidad de que duren sus beneficios después de que se retire el apoyo o el fondeo.

Muchas intervenciones sociales fallan una vez que la fase de implementación está terminada, debido a que los beneficiarios o partes responsables no tienen los recursos ni la motivación de buscar los recursos requeridos para la continuación de las actividades.

La sostenibilidad es una prioridad para muchos donantes que tienen el largo plazo en mente, lo que fomenta la inversión en procesos de capacitación, empoderamiento, participación política y procesos similares que incrementan la autonomía e independencia de las comunidades.

La sostenibilidad se mide unos años después de acabarse las actividades y proyectos, pero también se podría estimar cuando el evaluador se basa en proyecciones en el futuro, basadas en información disponible sobre la misma intervención y sobre la capacidad de los beneficiarios y otras partes interesadas.

Tipología y herramientas

Cualquier proceso de evaluación usa metodologías para identificar fuentes de información y herramientas para recopilar datos durante una evaluación, estos varían según el tipo de evaluación. Cada evaluación parte de un estudio base (baseline), análisis que describe la situación previa a una intervención para el desarrollo, en relación con la cual puede medirse el avance o pueden efectuarse comparaciones. La evaluación contempla siempre a los beneficiarios, individuos, grupos u organismos que se benefician directa o indirectamente de una intervención para el desarrollo, hayan sido o no los destinatarios de la intervención.

La evaluación de impacto se divide en evaluación cuantitativa y cualitativa, la primera mide y la segunda explica el significado de la medida. En el caso de proyectos de generación de ingreso, la medida cuantitativa sería el incremento del ingreso y la cualitativa sería la calidad del empleo, sus perspectivas laborales y su sostenibilidad.

Los distintos tipos de evaluación usan herramientas diferentes. Una herramienta clásica de la evaluación cuantitativa es el ensayo controlado aleatorio, donde la meta es generar porcentajes o cifras como el “número de niños vacunados”. Una herramienta cualitativa son las encuestas del hogar, donde se mide el estado del hogar en temas sanitarios, de salud o de ingreso, haciendo preguntas a los miembros de la familia y anotando observaciones del mismo hogar. Los censos son otra herramienta para generar datos sobre una comunidad o una economía.

La evaluación cualitativa describe el cambio de las condiciones en una comunidad o en la vida de los beneficiarios durante y tras la intervención. Las herramientas de evaluación cualitativa incluyen: entrevistas, grupos de enfoque, testimonios y video, procesando y analizando las herramientas de métodos como “Historias de cambio”, que tienen como meta identificar variables, patrones o tendencias a partir de las diferentes historias.

Los métodos como la Evaluación Rural Participativa, que son un conjunto de técnicas que apuntan hacia el aprendizaje compartido entre los lugareños y los extranjeros, describiendo el estado de la agricultura, niveles de ingreso, mapas de poder y demás datos descriptivos, generan un conocimiento principalmente cualitativo y también un conocimiento cuantitativo de referencia.

El punto de partida de cualquier evaluación de impacto es la matriz de evaluación, la cual es una tabla que detalla lo siguiente: preguntas de investigación, herramientas que se usarán (cualitativas, cuantitativas) e indicadores de impacto que serán generados.

Estudio de caso

Evaluación de la cartera de proyectos de generación de ingresos de la Fundación X. La cartera consiste en 28 proyectos operando en cuatro países.²

El motivo de la evaluación fue evaluar la pertinencia, el impacto y la sostenibilidad de las intervenciones de la fundación, para generar recomendaciones para la mejora de los mismos, así como para mejorar la eficiencia y eficacia de proyectos presentes y futuros. La evaluación sirvió también para recomendar las estrategias de generación de ingreso más adecuadas para el contexto y la demografía.

El equipo de evaluación consistió en cuatro consultores con experiencia de terreno en los países así como en el tema.

La metodología usada consistió en un trabajo de gabinete incluyendo investigación sobre el tema para comparar el grado de innovación de los proyectos con otras intervenciones, operando en contextos similares. Además se revisaron los documentos de proyecto, consistiendo en la propuesta de proyecto, el marco lógico, informes anuales y entrevistas con gerentes de proyecto del lado de las asociaciones civiles y del donante. Se desarrolló una matriz de evaluación que detalla las herramientas de evaluación que se usaran (cualitativas, cuantitativas) para contestar las preguntas del cliente.

Para cada proyecto se realizaron grupos de enfoque con los beneficiarios del proyecto, incluyendo una muestra seleccionada aleatoriamente, la cual contiene a beneficiarios satisfechos con el proyectos y a beneficiarios menos satisfechos con el proyecto. El motivo de los grupos de enfoque fue evaluar la pertinencia del proyecto de acuerdo con el contexto y las necesidades de los beneficiarios.

También se realizaron encuestas de hogar y entrevistas individuales a beneficiarios para valorar la eficacia del proyecto en lograr sus metas de generación de ingreso. Para estimar el ingreso generado, los evaluadores se guiaron en cifras y también en observaciones del hogar de los beneficiarios. Esta misma herramienta junto con un estudio comparativo de los ingresos generados por los proyectos y los presupuestos de los mismos, generó datos para evaluar la eficiencia relativa de los proyectos.

Para evaluar la sostenibilidad del impacto el equipo de evaluación se basó en la investigación previa al trabajo de campo, además de las encuestas de hogar y grupos de enfoque con los beneficiarios, por ese motivo se diseñaron preguntas para apreciar la percepción de los propios beneficiarios sobre futuras oportunidades de empleo o de ingreso, de la capacitación recibida (técnica o de emprendimiento), así como de los criterios sociales como la mejora en el autoestima, en el bienestar y, en general, del tejido social de la comunidad donde ocurre la inversión.

La evaluación concluyó que 60% de los beneficiarios tienen un incremento en el ingreso y un aumento de la contribución del individuo al ingreso del hogar. Alrededor de 40 y 50% de los beneficiarios sienten mejora en sus condiciones de trabajo; 76% emprendieron proyectos personales o profesionales; 76% pudieron diversificar fuentes de ingreso después del proyecto; 50% confirmaron que su nivel de ingreso era más predecible que antes; 30% pudieron emplear a otro miembro del hogar en el nuevo proyecto, y 80% sintió un impacto psicológico positivo y más integración en su comunidad.

Pertinencia: la evaluación concluyó que gran parte de la asistencia fue dirigida a beneficiarios que no habían recibido apoyo previo o intervenciones de generación de ingreso, también 20% de los beneficiarios pudieron cambiarse a un trabajo más adecuado a sus intereses y capacidades, lo que indica que la intervención se enfocó en las prioridades de los beneficiarios.

Eficacia: los beneficiarios gozaron de un aumento en el ingreso junto con una mejora de la calidad de trabajo y de sus condiciones laborales, alrededor de 80% de los beneficiarios entrevistados sienten un mayor grado de pertenencia e inclusión en su comunidad, así como mayor seguridad.

Sostenibilidad del impacto: con base en la información colectada, el equipo de evaluación consideró el impacto de la intervención sostenible para 50% de los beneficiarios y no sostenible para 25% de los beneficiarios. La sostenibilidad del impacto se manifestó en parte en cambios en los hábitos económicos de los beneficiarios, como mayores niveles de consumo, la compra de bienes duraderos para el hogar o su involucramiento en nuevos proyectos.

Se concluyó que la formación y la provisión de puestos de empleo formal es la estrategia más adecuada para beneficiarios no marginados sobre todo en zonas urbanas, mientras la formación y la provisión de micro crédito es más relevante para beneficiarios económica y socialmente marginados, teniendo habilidades técnicas previas al proyecto, con la creación de empresas sociales por parte del proyecto como la estrategia más eficaz para la generación de ingreso en el caso de beneficiarios económica y socialmente marginados, careciendo de habilidades técnicas. Para beneficiarios socialmente marginados se resaltó la importancia de una asistencia psicológica previa a la generación de ingreso, así como cursos para habilidades personales (soft skills). En el caso del empleo formal se precisa complementar la capacitación por alguna certificación o reconocimiento oficial.

Se generaron recomendaciones para mejorar la planeación de proyectos para cada tipo de estrategia en diferentes contextos. Las recomendaciones incluyeron mejor investigación y mejor selección de beneficiarios, estudio de necesidades previo a la intervención, metas y objetivos más realistas, y una mayor adaptación de la intervención al contexto (rural o urbano).

Además se generaron criterios para mejorar la selección de socios para la implementación de proyectos, principalmente socios que tengan acceso a redes, mercados y conocimiento del tema de generación de ingresos.

Para micro-crédito se resaltó la necesidad de incluir componentes adicionales de apoyo para la comercialización en el caso de dirigir la intervención a mujeres, ya que carecen de acceso a redes y mercados. En el caso de beneficiarios marginados la intervención tuvo un mayor aporte debido al escaso acceso al financiamiento para algunos beneficiarios, sobre todo ex-presos y familias de presos. Se recomendó también exigir a los gestores de proyectos la realización de estudios de mercado en el caso de micro-crédito y la creación de empresas sociales.

Se recomendó también homogenizar los criterios de selección, monitoreo y seguimiento de proyectos a nivel de estrategia y entre países, así como implementar los aprendizajes derivados de la evaluación.

Bibliografía

Larrú, J.M., La evaluación de impacto: qué es, como se mide y qué está aportando en la cooperación para el desarrollo. Evaluación en la Cooperación para el Desarrollo, Colección Escuela Diplomática, núm. 12, Madrid, págs.109-133, 2007.

McKinsey, The history of social impact assessment.

OCDE, Glossary of Key Terms in Evaluation and Results Based Management.

W.K. Kellogg Foundation 1998, Evaluation Handbook.

Referencias

1 Reflexiones de Ethics of Consulting, grupo de consultores del que la autora forma parte, formado en Sussex, Reino Unido en 2012.

2 Trabajo de consultoría realizado por la autora junio-septiembre 2013, el nombre de la fundación y algunos datos económicos han sido modificados respetando acuerdos de confidencialidad.