Introducción

Como investigadores sociales tenemos la necesidad de conocer y asumir con responsabilidad el paradigma epistemológico desde el cual hablamos y decimos lo que decimos, acerca de lo que conocemos. De esta manera no basta declarar que nos encontramos haciendo ciencia o explicando fenómenos desde el paradigma de la post-modernidad sin efectivamente incorporar los principios y enfoques que dicho paradigma implican. Tampoco es suficiente el sólo asumir que la realidad no existe de manera independiente del observador y/o que ésta se define a partir de los propios sistemas que la observan y pretender explicar, sin indagar acerca de los procesos y condiciones que posibilitan lo anterior.

Si tal desafío es fundamental para cualquier tipo de investigación, lo es aún más en el caso de la evaluación de proyectos sociales en donde los investigadores-evaluadores emiten juicios acerca del éxito o fracaso de intervenciones sociales. Interrogantes como ¿cuáles son los criterios que orientan la evaluación social?, ¿qué grado o nivel de objetividad se alcanza en ella? o ¿cómo evaluar acertadamente?; se deben aclarar para orientar de mejor manera, las prácticas de los evaluadores sociales.

El presente ensayo se inicia con una breve mirada a la evaluación de proyectos sociales, sus criterios, principios y modelos; en la segunda parte se comentan algunas razones para adherir al constructivismo como opción del conocer para posteriormente exponer los principios esenciales de la epistemología sistémico/constructivista incluyendo ciertas recomendaciones para observar lo social desde esta perspectiva. Para finalizar se incluye una breve discusión acerca de las posibilidades y la necesidad de realizar evaluaciones sociales desde la perspectiva sistémico/constructivista.

I. La Evaluación de Proyectos Sociales

I.1 Descripción

De manera breve y simple diremos que la evaluación es el juicio emitido -de acuerdo a ciertos criterios preestablecidos- por una persona o un equipo sobre las actividades y resultados de un proyecto; en este caso particular sobre un proyecto social. Con ella se pretende realizar un análisis lo más sistemático y objetivo posible acerca de las distintas etapas y resultados alcanzados por los proyectos de manera de determinar entre otros aspectos, la pertinencia y logro de objetivos, la eficiencia, el impacto y sustentabilidad de las acciones.

De esta manera la evaluación no sólo se limita a registrar o medir resultados para la toma de decisiones, sino que contribuye al conocimiento que fundamenta la intervención, aportando al aprendizaje y a los conocimientos que los propios equipos a cargo de los proyectos tienen del problema que abordan. Este aprendizaje es el que permite ampliar y enriquecer las perspectivas conceptuales y prácticas permitiendo focalizar las acciones y controlar de mejor manera, las relaciones, variables y factores que inciden en los resultados o en los cambios que se promueven y esperan lograr. Así entendida la evaluación emerge con responsabilidades y expectativas por sobre el mero control y se convierte en un antecedente fundamental en decisiones como: continuidad, término, difusión, replicabilidad, pertinencia o relevancia de un proyecto, al proporcionar una mejor comprensión de los resultados y cambios logrados desde una perspectiva más global e integradora.

Los proyectos sociales aspiran a producir cambios en la realidad económica, social y cultural de determinados sectores sociales. Para producir estos cambios se interviene por ejemplo en los conocimientos, percepciones, relaciones sociales, en las organizaciones, en los sistemas de producción, en los sistemas educativos y de salud pública propios de los sujetos implicados en las acciones a desarrollar. Así entendido, los proyectos son hipótesis de intervención sobre aspectos de la "realidad" y como tal se sustentan en determinadas teorías o en un conjunto de supuestos y de afirmaciones que le dan coherencia a la propuesta. De esta manera las hipótesis afirman relaciones entre los elementos del proyecto, el problema que se quiere enfrentar y las condiciones sociales o características del entorno en el cual se actúa. Cada uno de sus componentes da cuenta de prácticas y de actores específicos cuyas interacciones producen efectos en otras áreas, prácticas sociales y otros actores. En otras palabras la evaluación que nos interesa es aquella que estudia la validez de las hipótesis y de las relaciones planteadas por el proyecto de acuerdo a criterios e indicadores validados de un modo interno y externo.

I. 2. Algunos elementos fundamentales de la evaluación social

Para fundamentar la opinión sobre las diferentes etapas y componentes de un proyecto, el evaluador recurre a ciertos criterios y a un marco de referencia que le permite contrastar, comparar e interpretar los resultados observados en función de patrones explícitos o implícitos. Para tal efecto utiliza una serie de criterios básicos; estos son:

Coherencia: Este criterio se refiere al análisis en función del grado de integración lógica de los distintos componentes del proyecto (objetivos, resultados, actividades y recursos): Evaluación de la Coherencia interna de un Proyecto

Pertinencia: Análisis de la capacidad para dar respuestas a las necesidades reales de los grupos y sujetos involucrados. Esta capacidad debe considerar los recursos disponibles para lograr lo planificado.

Relevancia: Análisis del grado de significatividad de las acciones y resultados para los sujetos directamente involucrados en el proyecto. Se entiende así que un proyecto es relevante cuando resulta ser significativo para las personas hacia quienes están dirigidas las acciones del cambio.

Evaluar de acuerdo a estos criterios básicos es asumir una perspectiva teórica en la cual la población beneficiaria ya no un objeto o ente pasivo sino que emerge como un actor o "grupo de interés" que interactúa con determinados equipos o instituciones que intervienen en los problemas que les afecta.

Ciertamente que es posible utilizar criterios más cuantitativos para la evaluación como por ejemplo;

Costo- beneficio: Basado en un principio económico que en términos generales, sostiene que un proyecto es exitoso si el beneficio que genera la inversión en un período determinado, es mayor que la que se puede obtener con otra alternativa durante el mismo período. Por otra parte considera que un proyecto es más efectivo cuando logra sus productos con un menor costo y los beneficios sociales obtenidos son mayores que la inversión realizada.

Eficiencia: La evaluación de la eficiencia de los proyectos tiene como objeto el análisis de los recursos o insumos utilizados para realizar las actividades y obtener los resultados o productos esperados. Un proyecto es eficiente si ha tenido un adecuado gasto y no ha producido déficit en su operación. Es decir, si ha optimizado el uso de los recursos materiales y humanos de los que dispone.

En los procesos evaluativos actuales se utilizan de manera conjunto criterios cualitativos y cuantitativos de análisis de información.

I.3 Etapas y Modelos de Evaluación de Proyectos Sociales

La evaluación de programas sociales sólo es factible si se cumple con ciertas condiciones como por ejemplo, la existencia de un "modelo" que explique la relación entre los beneficios y las intervenciones (es decir, describa las relaciones entre los componentes del proyecto) y que sea posible distinguir entre los resultados atribuibles al proyecto y los cambios que pudieron haber ocurrido sin la intervención de éste.

Para la interpretación y evaluación de los resultados se debe partir desde la teoría del proyecto, pero para ampliar y enriquecer dicha perspectiva el evaluador recurre al conocimiento acumulados sobre el tema, a los resultados de otros proyectos similares y a las opiniones de diversos actores relacionados con el proyecto o con experiencia en el problema que se aborda. En el actual contexto de cambios y reformas sociales se requiere de enfoques evaluativos que ponen el énfasis en la calidad y pertinencia de los resultados por sobre la cobertura de sus acciones y en los aprendizajes de los equipos ejecutores más que en el control tradicionalmente asociado a la evaluación. Se exige fundamentalmente una efectiva y sustentable solución a los problemas que tienen los grupos con los cuales el proyecto trabaja.

No existen un modelo único y universal para llevar a cabo las evaluaciones. De acuerdo a los métodos que se utilizan suelen diferenciarse en evaluaciones cualitativas y evaluaciones cuantitativas; de acuerdo al tiempo en evaluaciones ex-ante y ex-post; de acuerdo al observador en internas o externas; de acuerdo al objeto en evaluaciones de proceso, efectividad e impacto entre otras. Por ejemplo en una evaluación social cuantitativa la pregunta central es que hacen los sujetos y qué variables pueden explicar y medir tales comportamientos. Para los estudios cualitativos en cambio, lo importante no sólo es describir qué hacen los sujetos sino qué significa para ellos lo que hacen, cuál es el sentido o significado de sus prácticas y comportamientos.

Dada la naturaleza de los proyectos y de los cambios que pretenden producir, la incorporación y utilización de manera combinada de métodos cuantitativos y cualitativos para dar cuenta de los resultados obtenidos, es cada vez mayor. Es esta la estrategia que predomina actualmente en los estudios evaluativos de proyectos sociales.

A continuación se describe brevemente en que consiste el modelo de evaluación CIPP, uno de los más utilizados por los evaluadores sociales.

Modelo de Evaluación CIPP (1): Contexto- Insumo- Proceso- Productos

El enfoque de evaluación que se presenta a continuación analiza la relación entre conceptos como contexto, insumos, procesos y productos o resultados del proyecto para describirlo y explicarlo. Esta perspectiva asume el proyecto como un sistema de acción, cuyos elementos interactúan entre sí y con su entorno, tanto para generar como para aceptar cambios. A través del establecimiento de relaciones causales entre los componentes y niveles que se pretende evaluar (hipótesis de evaluación), se analizan y evalúan por ejemplo los niveles de logro alcanzado, los resultados obtenidos así como aquellos no alcanzados y los procesos desencadenados por el sistema en los distintos contextos. Este enfoque permite visualizar la relación y consistencia entre los distintos componentes de la estrategia asumida por el proyecto y el efecto que estos tienen en los distintos ámbitos o niveles en los que interviene. Cada uno de estos niveles da cuenta de prácticas y de actores específicos cuyas interacciones al cambiar producen efectos en otros campos, prácticas y actores.

El modelo que se presenta a continuación, busca ilustrar un complejo juego de relaciones entre las distintas dimensiones y elementos de un proyecto así como de los procesos que inciden y orientan los cambios proyectados en él. De acuerdo con dicho modelo, se definen los niveles y componentes a evaluar estableciendo las hipótesis correspondientes ya sea entre insumos y procesos y/o entre procesos y resultados incorporando como variables intervinientes, aquellas referidas al contexto social y cultural en el cual se desarrolla la intervención.

Modelo de Evaluación CIPP

roman1_400

A partir de un proceso riguroso se establecen mecanismos para la recogida de datos que permitirán emitir una opinión "válida" sobre la calidad de actividades, resultados, efectos e impacto de lo realizado por el proyecto. Para ello se procede a la construcción de "indicadores", los cuales se determinan fundamentalmente en función de los objetivos y productos del proyecto más aquellos que se derivan de las hipótesis de la propia evaluación. Los indicadores señalan que se debe medir u observar para verificar los logros prometidos. En caso que en el diseño no estén considerados los indicadores o éstos se consideran insuficientes por el evaluador o los evaluadores, se procede a su elaboración que considera lo central del elemento analizado (objetivos o productos) y a una decisión sobre que qué es lo que realmente me dará cuenta del logro

A continuación se presentan los principales conceptos y principios constructivas que debieran ser considerados en la evaluación de proyectos sociales.

II. Conceptos y Principios Constructivistas

II. 1. Razones para adherir al constructivismo como opción del conocer

Como investigadores sociales que asumen que la realidad no existe de manera independiente del observador y que ésta se define a partir de los propios sistemas que la observan y pretender explicar, nos enfrentamos a inquietantes dudas acerca de cómo acceder a dar respuestas y explicaciones a fenómenos sociales de manera acertada y útil para los sujetos y las sociedades involucradas. Los fundamentos que critican la existencia de una ciencia que explica un mundo externo a los sujetos, han sido contundentes sobre todo en relación a la validación del método científico como universal y único para cualquier disciplina científica en todo tiempo y lugar.

Nos encontramos en medio de un cambio de paradigma epistemológico, en el sentido otorgado por Kuhn (2) (corriente de pensamiento que domina un determinado período de la historia, y que se establece como un mapa de referencia para ese período), que traslada el foco de la atención desde el ser de las cosas observadas al observador como sistema.

Entre quienes adhieren a los nuevos postulados acerca de la importancia de realizar una epistemología del observador, encontramos posturas más radicales que afirman que el conocer está totalmente condicionado por estructuras internas del que conoce u observa, en tanto ser vivo y que, por lo tanto, las explicaciones dadas a los fenómenos observados son siempre referidas a las características de los sistemas observadores (3) y traslucen, reproducen y validan las limitaciones, perspectivas y medios de que disponen los que observa y explican. De tal manera que la ciencia deja de ser objetiva y neutra para depender directamente de la ideología, principios y determinismos estructurales que orientan a los sistemas observadores.

El Conocer pasa así a depender de las operaciones del observador y desde ciertas ciencias como la biología, la forma del operar científico que se desprende de lo descrito anteriormente, no presenta mayores dificultades por cuanto el observador es efectivamente un sistema vivo que conoce y explica fenómenos a partir de su propio sistema. Pero en las ciencias sociales no se busca hablar de las "cosas" sino de cómo las cosas o fenómenos son observados por otros y si bien es cierto que en ese proceso se realizan distinciones que se autoimplican al depender de quien observa dichas observaciones, no dependen exclusivamente ni están condicionadas de manera endógena. En palabras de Luhmann: El entorno se hace notar al menos por sus ruidos. De estos enfoques surge el constructivismo como corriente epistemológica que ofrece respuesta al como conocemos y explicamos desde las ciencias sociales.

A continuación se describen los principales principios de la epistemología sistémico/constructivista:

II. 2 Principios de las epistemologías Sistémicos/Constructivistas (4)

II.3 Como observar lo social y cultural desde el constructivismo

II.4 Recomendaciones para las investigaciones sociales (5)

III. Posibilidad y Necesidad de una Evaluación Constructivista de Proyectos Sociales

Como ya mencionáramos al evaluar uno está emitiendo un juicio acerca de sí aquello que se hizo estuvo bien o mal y tal juicio se establece a partir de un modelo de intervención que otros definieron como apropiado para cambiar realidades (reflejo de los esquemas de distinción de los observados) y en base a esquemas de distinción propios de los evaluadores. Por lo tanto al evaluar uno esta opinando sobre lo ajustado y adecuado de los esquemas de distinción de quienes observa, en el gatillar y provocar determinados cambios en otros sistemas observadores, pero más importante aún se establecen juicios sobre el efecto y/o impacto que las acciones realizadas tuvieron en los sujetos involucrados en las intervenciones. En este nivel se está opinando a partir de un nuevo y distinto sistema de observadores. El esquema que se presenta a continuación intenta clarificar lo expuesto (cada sistema se relaciona con el resto, por ello el gráfico no implica ninguna jerarquía, sino que debe ser entendido como interdependencia entre los tres sistemas):

roman2

Como se puede apreciar estamos en una investigación con al menos tres sistemas de observación distintos, cada uno de los cuales con sus propios esquemas de distinción. Por una parte se encuentran aquellos a quienes se destinan las intervenciones: beneficiarios; por otra las personas o equipo a cargo del proyecto y por último el equipo encargado de la evaluación del mismo.

En otras palabras estamos frente a una observación de observaciones y observadores de observaciones y observadores; esto es una observación de una observación de segundo orden.

Dicho lo anterior la pregunta que surge es sobre si tal investigación puede regirse por los mismos principios delineados para la observación de segundo orden; veamos pues:

Algunas recomendaciones generales para la evaluación social a partir del constructivismo

Como hemos podido observar la evaluación de proyectos sociales no es nada fácil, el estudio de los cambios producidos a nivel de pautas culturales, aprendizajes, representaciones, prácticas sociales, etc., requiere de enfoques conceptuales y de instrumentos metodológicos poco tradicionales (fundamentalmente cualitativos) y poco difundidos. Creemos que asumir la evaluación social desde una perspectiva sistémico/constructivista aporta con elementos sólidos y concretos que permiten dar respuestas efectivas, pertinentes, relevantes y sustentables a diversos problemas sociales en grupos específicos, en sociedades y momentos también específicos.

Notas

  1. Modelo de Daniel Stuffebeam
  2. Thomas S. Kuhn. 1962 (1986). La Estructura de las Revoluciones Científicas. México: Fondo de Cultura Económica
  3. Por ejemplo autores como H. Maturana sostienen que nuestro sistema actúa con clausura operacional generando la "realidad" a partir de sus propias características y determinaciones estructurales. Desde el punto de vista de la información los seres vivos son sistemas cerrados. No reciben información del medio, el supuesto que perciben del medio, no tiene de acuerdo al autor fundamento biológico.
  4. En base a Arnold, Marcelo En Cinta de Moebio N° 2, Diciembre 1997 y Cinta de Moebio N° 3, Abril 1998. Facultad de Ciencias Sociales: Universidad de Chile
  5. Arnold, Marcelo En Cinta de Moebio N°3. Abril 1998. Facultad de Ciencias Sociales. Universidad de Chile: 3 -6