REFLEXIÓN TEÓRICA ACERCA DE LOS CRITERIOS DE EVALUACIÓN PARA PROYECTOS DE INVESTIGACIÓN, DESARROLLO E INNOVACIÓN

Introducción

El desarrollo socio económico es un proceso en el cual influyen muchos factores, entre ellos los procesos de gestión en ciencia, tecnología e innovación de las universidades, lo cual incluye la evaluación de proyectos y el vínculo existente entre estos con el sector productivo. En este sentido, los proyectos de investigación, desarrollo e innovación (I+D+i) constituyen una vía de articulación que tiene entre sus propósitos el impacto social. La ejecución de los proyectos deriva en procesos complejos que continuamente se trasforman por la propia dinámica del desarrollo socioeconómico, es por ello que es necesario continuar estudiando los proyectos (I+D+i). En ese contexto, las evaluaciones ex ante deben garantizar que lleguen a la práctica con la calidad y eficiencia de sus contenidos, tratándose de la teoría que compone los documentos a presentar. La reflexión crítica es una vía para contribuir a prestar mayor atención sobre el tema y destacar que es posible proponer criterios genéricos para la evaluación de los Proyectos I+D+i. De acuerdo con Rodríguez y Pérez (2018), se evidencia la necesidad de renovar continuamente los procesos de evaluación de proyectos, porque inciden en la gestión de las universidades, propiciando nuevos indicadores de procesos para el área de Ciencia, Tecnología e Innovación. La idea anterior se refuerza con la integración de procesos desde el enfoque y la dirección estratégica (Pérez et al., 2019), que permiten advertir el complejo entramado de la vinculación de la evaluación de proyectos a los procesos universitarios. Tres son las misiones de la universidad de nuestros días: la formación, la investigación y la extensión y la innovación, las cuales forman el eje de acción universitaria; planteamientos a tener en consideración cuando se profundiza en la I+D+i.

El proceso de delineación y conformación de los criterios para evaluar proyectos ha sido constatado en variados trabajos universitarios, lo cual connota el interés por lograr eficiencia en las evaluaciones, entre ellos, Martínez et al., 2018 y Díaz et al., 2020. Sin lugar a dudas, si un proyecto I+D+i es bien evaluado se abre la posibilidad de lograr que generen impacto y beneficio social. En este sentido, la evaluación de los impactos de proyectos ya ha sido trabajada por varios autores en los últimos 10 años, (González et al., 2015; Rodríguez, 2015) autores que asumen posiciones acordes a los componentes de proyectos, los cuales se vinculan a los procesos de evaluación y tipologías de impacto. Desde otra perspectiva, Almenare et al. (2019) destacan cómo los resultados, el impacto tecnológico y las salidas de proyectos I+D+i influyen en los rankings internacionales, tanto de las universidades como de las empresas y sector estratégico.

Es poco divulgado por las instituciones de educación superior y entidades en Latinoamérica cuántos proyectos han sido rechazados y cuántos aprobados en la etapa de presentación y evaluación. La idea más extendida en las redes académicas es que la aceptación o no se vincula al cumplimiento de los estándares y a los criterios e indicadores que se establezcan para el trabajo de los evaluadores e investigadores que proponen los proyectos. Por ello, es importante señalar que la evaluación de un proyecto I+D+i influye en su desarrollo ulterior y en los impactos que generan en la sociedad; es un proceso de interés común de instituciones de educación superior y entidades de gobierno que gestionan la ciencia.

Varias publicaciones académicas recientes, acerca de la evaluación de proyectos, se orientan al campo educativo (Cardona et al., 2018) y son amplias sus definiciones vinculantes al desarrollo e innovación educativa. Se refieren a términos específicos mediante los cuales es posible medir la eficacia y eficiencia, la calidad del proyecto evaluado, cuestión que también deja abierto varios frentes para el estudio.

De toda la problemática descrita, se destaca que las metodologías, guías y programas para evaluar los proyectos I+D+i, correspondiente a cada institución red o programa, son los documentos en que se pautan los criterios, dimensiones e indicadores de evaluación, tanto para las fichas de proyectos como para las evaluaciones ex ante y ex post. Cada uno asume o refuerza criterios o indicadores, siendo así en muchos casos recurrentes la repetición de los criterios. La experiencia y la naturaleza de las instituciones y programas incluyen varios que no se repiten y deberían ser considerados para aportar a la eficiencia y eficacia de la forma de evaluación del proyecto; redefinen y reconsideran criterios con respaldo en definiciones, problemática a resolver en el plano teórico.

Como es muy difícil de acceder a los resultados de las evaluaciones de proyectos I+D+i, se desarrollaron análisis teóricos de artículos académicos, materiales técnicos y metodologías comprendidas en los últimos cinco años todos de acceso público. Es un proceso que se identifica en correspondencia con la tipología de proyecto y sus futuros impactos; estos tienen también cambios con respecto a los programas para el desarrollo, redes y todas las estructuras que amparan los procesos de evaluación. Es sin duda un contexto complejo, que requiere continuar siendo objeto de estudios y análisis por investigadores y directivos. De tal caso, la reflexión teórica que se emprende desde una perspectiva crítica tiene en cuenta las ideas acerca del proceso de evaluación inicial de los proyectos I+D+i y se le presta atención a cómo indicen en el impacto social. Se asumió el propósito de reflexionar acerca de los criterios e indicadores que se utilizan en metodologías y formas de evaluación de los proyectos I+D+i. En esencia, medir la efectividad y pertinencia del proyecto deberá permitir visualizar a los usuarios del proyecto y a todos los implicados si este puede conseguir resolver los problemas declarados e incrementar el desarrollo potenciando innovaciones sostenibles, lograr el beneficio social. Con la propuesta de nuevos criterios se puede propiciar la construcción de indicadores y enriquecer la conformación propia de metodologías en las instituciones y programas encargados de efectuar las evaluaciones de los proyectos I+D+i.

Abordaje teórico y método

Para la reflexión teórica desde una perspectiva crítica se utilizan los estudios teóricos anteriores que privilegian la elaboración de conceptos, criterios y definiciones para, posteriormente, configurar nuevos criterios a emplear en los procesos de evaluación. El objeto de estudio son los criterios empleados durante la evaluación de proyectos I+D+i y se asumió como rango de tiempo los últimos cinco años.

La definición de los documentos es una técnica auxiliar e instrumental aplicada por Ayala, 2020; sirvió para identificar los criterios que son empleados en la evaluación de proyectos I+D+i. De esta manera, se buscó información relacionada dentro de este período y de cualquier área geográfica con la utilización de operadores booleanos: AND, OR y NOT, para la intersección, unión y exclusión de referencias. Desde la perspectiva planteada es posible obtener mucha información que se aproxime o aborden la evaluación de proyectos como proceso, por eso, en una primera fase, fueron más de cien fuentes, pero se asumieron las que referían el planteamiento de criterios o dimensiones para la evaluación de proyectos de I+D+i vinculadas a Latinoamérica. Fueron consideradas 23 fuentes de información, ya que en muchos casos se repite la metodología de evaluación de proyectos. Se utilizó el método lógico para analizar significados; lo cual, en este caso, permitió considerar los criterios que se plantean en las fuentes de información para, posteriormente, redefinir los conceptos de los criterios que se proponen. De acuerdo con Martín (1978), las redefiniciones básicas para conformar nuevas definiciones son el apoyo para explicar que el cambio efectuado en el plano de los significados se corresponde con una transformación en el plano de los valores, lo cual fundamenta la modificación de criterios a partir de la reflexión teórica.

Existen numerosas definiciones de proyectos I+D+i, al respecto, se precisa que la investigación responde a la indagación inicial planificada que persiga descubrir nuevos conocimientos, el desarrollo asociado a la aplicación de los resultados, otro tipo de conocimiento vinculado a la producción de materiales y productos, y la innovación tecnológica, actividad cuyo resultado resulta un avance tecnológico, nuevos productos, nuevos servicios. Más reciente la definición aportada por el Ministerio de Ciencia e Innovación de España, en el año 2021, subraya que la expresión I+D+i es un proceso que incluye varios pasos, que van desde el surgimiento de la idea a la aparición de productos innovadores, los cuales se sitúan en el mercado. Otros ministerios y secretarías nacionales como el Consejo Nacional de Beneficios Tributarios en Ciencia, Tecnología e Innovación de Colombia, plantean sus definiciones generales apoyado en metodologías europeas. Se coincide en que los proyectos I+D+i constituyen los proyectos que se desarrollan de manera colaborativa y conjunta entre organismos o instituciones que promueven la investigación, y empresas que asumen las innovaciones. Los proyectos de I+D+i son resultado de la búsqueda de soluciones a problemas científicos socialmente justificados debatidos y aprobados en comunidades científicas; por lo general se agrupan en torno a las políticas socio productivas, líneas de investigación institucionalizadas y a la política científica, por lo que asumir los criterios de evaluación permite abordar de manera más genérica el alcance de los proyectos y sus impactos, a diferencia de lo que ocurre con las dimensiones o la utilización de sus definiciones, que los aproxima a la articulación interna y más exacta. Son términos que deben ser empleados según las exigencias metodológicas del programa o institución que promueva la evaluación. Comparar los criterios que se definen en cada fuente de información acerca de los procesos de evaluación de proyectos I+D+i se logra estableciendo similitudes y diferencias, es una forma simple en la que es posible determinar su regularidad en los documentos. En definitiva, como perspectiva, es posible encontrar aquellos documentos que se vinculan directamente con los criterios de evaluación o dimensiones, los diferentes por esencia de definición y capacidad para generar una incidencia en la predicción de los impactos que se proponen en los proyectos I+D+i.

Para la comprensión de la metodología aplicada se presenta la figura 1. Obsérvense las etapas seguidas para trabajar con la complejidad que se ofrece en la información; son etapas que se configuran y complementan a partir de las similitudes y diferencias en los contenidos. En este sentido, en el diagrama se ubica la limitación de fuentes de información para reflexionar críticamente y conformar propuestas de criterios para la evaluación. Es importante destacar que la complejidad se descifra al tener en cuenta la teoría de las dimensiones con que debe contar un proyecto, en particular sus niveles. El nivel de aplicaciones, las metodologías y las teorías. Si los criterios se cumplen durante el proceso de evaluación pueden incidir directamente en los impactos finales de un proyecto.

Para la restricción de fuentes de información y profundizar en los análisis, se incluye en la metodología una relación de artículos de sistemas regionales de información como Scielo y Redalyc, posteriormente se analiza por regiones de América del Sur, América Central y las Antillas.

Si analizamos el filtraje de la información regional desde Scielo y Redalyc, obtenemos similitudes en cuanto a sus motores de búsqueda, y resultaron llamativos los artículos que no constituyen información institucional, los cuales aportan una perspectiva diversa acerca de la situación del objeto de estudio en el rango de publicación 2015-2021.

En la tabla 1 son ubicados seis artículos, los cuales se presentan en revistas indizadas en Scielo, obsérvese que ocho se obtuvieron desde Redalyc. La información ayudó a contar con las propuestas e ideas fundamentales del área Iberoamérica, con lo cual buscó integrar con mayor énfasis la literatura científica. Es significativo que los artículos abordan la evaluación de los resultados de proyectos desde la investigación básica, sin embargo, no profundizan en las dimensiones o criterios y cómo ocurren los procesos evaluativos.

Los métodos cualitativos formalizados en el método analítico sintético y método histórico lógico se apoyan en los valores cuantitativos, los cuales son obtenidos desde la selección de las fuentes de información agrupadas en tres áreas geográficas de Latinoamérica, América del Sur, América Central y las Antillas. Los datos que aportan se comparan con el Método del Marco Lógico (MML), el cual fue seleccionado por ser muy extendido en Europa para los distintos programas de cooperación económica, a través de agencias para el desarrollo y programas institucionales de Latinoamérica. Se conformó una escala como vía de acotar y reflexionar desde puntos distintos los criterios de evaluación de los proyectos I+D+i. A cada criterio emitido en los documentos se le otorgó una puntuación en escala de uno a veinte, en las categorías similar de uno al cinco, próximo del seis al 10 y coincidencia del 11 al 20.

Comparación de los criterios por del área geográfica latinoamericana con respecto a los criterios del método más extendido MML

Las fuentes de información procesadas son 23, evidencian cambios sustanciales en cuanto al comportamiento por regiones de la presencia de los criterios que se utilizan en la MML. En la siguiente figura 2 se representa la configuración obtenida.

Al ser analizadas la información de las tres regiones, podemos apreciar que en los siete criterios de la MML los documentos de América del Sur poseen una mayor aproximación o presencia ante los criterios de evaluación que se utilizan en la MML, en algunos casos coinciden respecto a los criterios de las restantes áreas. En América Central se aprecia una menor aproximación respecto a la sostenibilidad financiera y económica, el criterio de menor presencia respecto a los presentados en la MML es la política de apoyo. Nótese que la igualdad entre hombres y mujeres en proyectos de investigación en general es bajo, respecto a la presencia en las restantes comparaciones de las tres regiones.

En las Antillas se presentan propuestas a programas para el desarrollo de procedencia europea con la MML y hacia lo interno de las economías se evalúan los proyectos con metodologías propias.

Por categorías, la sostenibilidad financiera y económica es la de mayor presencia, excepto para el área analizada de las Antillas.

El análisis realizado se logró a partir de la información disponible y de acceso público, por lo que podría variar atendiendo a la salida de nuevas publiaciones de informes, metodologías o artículos científicos. En todo caso, ha servido para puntualizar la necesidad de proponer criterios flexibles y adaptables que permitan lograr indicadores, los cuales en su conjunto contribuyan desde el proceso de evaluación de los proyectos I+D+i al beneficio social en el área latinoamericana.

Siguiendo la misma lógica de ubicar por regiones a los documentos analizados, se retoman las mismas fuentes de información para ser valoradas de manera independiente. Fue construida una tabla con las 23 fuentes utilizadas, en las que se consideran los criterios y de las que se propusieron alinear nuevos criterios, los que destacaron por ser planteados en las metodologías afines. Se encuentra dividido en tres columnas: la primera corresponde al área latinoamericana a la que pertenecen, la segunda a las fuentes de información y la tercera a la institución de procedencia. Se incluyeron algunas guías europeas que por su importancia han sido referenciadas en trabajos publicados en el área latinoamericana, luego se identifican las fuentes de información y en la tercera la institución de referencia tal y como se muestra a continuación.

En una tabla Excel se colocaron los criterios correspondientes a cada fuente de información y desde ahí se agregó una celda a la tabla, para destacar aquellos que coinciden y determinar cuáles son significativos, los que se repiten y los que menos son considerados durante las evaluaciones de los proyectos. Sobre la base de la información obtenida, se planteó reflexionar acerca de los criterios e indicadores que se utilizan en metodologías y formas de evaluación de los proyectos, prestando atención al impacto social de los resultados, dado que de alguna forma siempre es uno de los criterios de evaluación. En este sentido, es significativo precisar que existen distintas maneras de presentar los proyectos I+D+i, algunos respondiendo a los programas e instituciones que hacen las convocatorias de presentación, otros a las agencias para el desarrollo. En ambos asumen criterios diversos e indicadores, los cuales incluyen el impacto social; la MML es de mayor aplicación y desde ella se adaptan criterios de evaluación asumidos en las metodologías de evaluación, las cuales no se encontraron en un formato único de fichas de proyectos, por eso se hace necesario centrarse en criterios que sean genéricos y flexibles, que favorezcan crear indicadores apropiados y no alejados de la metodología de mayor empleo internacional. Con el propósito descrito se favoreció generar una propuesta de criterios de manera general, los cuales podrían derivar en indicadores y ayudar a evaluadores e investigadores. Reflexión teórica desde la perspectiva crítica

Al considerar las valoraciones anteriores se destacó mediante la reflexión crítica los planteamientos en las 23 fuentes de información, las cuales ofrecen oportunidad para proponer criterios de evaluación genéricos, flexibles y armónicos con las metodologías que se emplean en Latinoamérica. En la evaluación de los proyectos I+D+i es frecuente encontrar tanto los criterios como también las dimensiones, es por ello que se asumen también posiciones diversas. Varios autores han trabajado la evaluación ex ante como vía para informar acerca de la calidad y validez de los Proyectos I+D+i; Rodríguez et al. (2017) refuerzan la importancia de esta tipología de evaluación para el desarrollo de los futuros proyectos, es una evaluación que posee gran disposición en el mundo empresarial en el criterio de factibilidad económica. La propuesta de Ortiz et al. (2018) dispone de una metodología e instrumento generalista para trabajar como guía ex ante y ex post para evaluar el impacto socioeconómico de los proyectos de Investigación y Desarrollo (I+D) la idea es muy sugerente en cuanto a buscar opciones de generalidad y aplicabilidad. Lo más complejo desde nuestra perspectiva es la evaluación ex post, es decir, cómo armonizar con la evaluación ex ante, dado que las condiciones para el desarrollo de un proyecto pueden cambiar drásticamente y superar la planificación. La explicación alcanza al ciclo de vida de los proyectos, tengamos en cuenta que el ciclo de vida parte de la formulación en la etapa de preinversión, en la que se identifican la necesidad, las posibles soluciones, selección de proyectos y financiación. La etapa siguiente es la de ejecución y la etapa de retorno de la inversión, donde ocurre la evaluación ex post. De esta manera seguimos centrando la idea de análisis y reflexión en los criterios de evaluación genérica flexibles y aplicables ante los cambios para concebir indicadores adecuados. Una de las herramientas para la aprobación es el diagrama de Ishikawa, el cual permite hacer un análisis rápido y estructurado de los proyectos que solucionan el problema. No obstante, vale precisar que su intención es contrastar rápidamente las principales características de los proyectos. La Metodología de Marco Lógico resuelve buena parte de las problemáticas en sus fichas de proyectos, por eso asumimos la misma para la comparación e intención de los criterios.

El análisis de los indicadores de ciencia tecnología e innovación (González et al., 2017) centra su atención en varios países iberoamericanos y evidencia la importancia de medir los procesos de formación científica y tecnológica en aras de conocer si cada país está contando con el personal requerido para activar los procesos de I+D+i; destacan que la dimensión de insumo es la que mayor número de indicadores tiene formulados y, a su vez, refieren la categoría relacionada con la medición de los recursos económicos asignados a la I+D+i, la cual es considerada fundamental en la medición de los insumos.

En la búsqueda de información latinoamericana acerca de la evaluación de proyectos nos apoyamos en Scielo y Redalyc. Bajo los términos de evaluación de proyectos I+D+i encontramos que Albornoz et al. (2020) no abordan la evaluación de proyectos, sino la introducción de la visión comercial con utilización del geo marketing y la aplicación de nuevas técnicas, tecnologías y sistemas de información geográfica para solucionar problemas socio-económicos asociados a la gestión, planificación y ordenación territorial, lo cual hace visible el uso de los términos, pero no aporta claridad a los objetivos que nos planteamos de evaluación. En cuanto a Castrillón et al. (2020), centran su atención en el desempeño de los grupos de investigación y las capacidades que la Universidad del Cauca en Colombia desarrolla para alcanzar proyectos, en este caso deja claro que para la implementación de proyectos I+D+i se necesita contar en las universidades con infraestructura y organizaciones que asuman los retos en el contexto. Benítez et al. (2017) presentan modelos de gestión tecnológica para la relación universidad-empresa y fundamentan la importancia de contar con la organización y contratación de proyectos de I+D+i por año. En cuanto a los factores críticos de inteligencia que corresponden a la aplicación del producto, García, et al. (2017) refuerzan la importancia de la aplicación de los factores críticos de inteligencia de la metodología para la gestión y la generación de conocimiento. Según Sánchez, (2018) es importante contar con propuestas de incubadora municipal de proyectos de base tecnológica, lo cual tiene como propósito promover y participar en el desarrollo y aplicación de los resultados de la I+D+i de la universidad y los centros de investigación del territorio; son propósitos que aunque no se orientan a la evaluación dejan ver que son elementos a considerar durante los procesos para dinamizar la I+D+i, hacer que los proyectos logren sus efectividad social destacando como señala el autor acerca de los diferentes niveles de riesgo de los proyectos de I+D+i en este caso se determinan la forma de financiamiento necesaria, las ventajas que puede tener el sistema universitario de I+D con respecto al sistema empresarial en las etapas iniciales de una innovación tecnológica. Es de vital interés el trabajo de Charles et al. (2020), quienes plantean formalizar los elementos clave en la formulación y evaluación de proyectos de inversión en México; declaran como elementos claves los siguientes: estudio del mercado, estudio técnico y organizacional, estudio económico, evaluación financiera y financiamiento, y el llamado estudio social y ambiental. De tal caso una idea a considerar es como inciden estos elementos en la evaluación y si son tenidos en consideración, toda vez que repercuten en la supervivencia de proyectos de inversión y un proyecto I+D+i.

Los investigadores señalan que el análisis de la dimensión de resultados mostró que su evaluación se centra mayoritariamente en la existencia de productos, tales como artículos científicos publicados en revistas posicionadas internacionalmente, patentes, conferencias, etc.

En Colombia, Gutiérrez et al. (2017) plantean un modelo para la evaluación del desempeño de equipos o unidades de I+D+i implementadas en empresas e instituciones del departamento del Quindío, El proyecto Quindío Innova confirmó la existencia de una relación directa entre los proyectos I+D+i y las actividades de los centros de investigación. En lo fundamental destacan cómo deben ser considerados los procesos de evaluación de los proyectos, la incidencia de los centros, el nivel de experiencia y los procesos CTei que desarrollan. Por otra parte, Niembro (2020) refiere el valor de las políticas de innovación como eje central de estrategias para el desarrollo, lo cual connota las relaciones entre las evaluaciones de proyectos I+D+i y las políticas científicas que rigen las instituciones y países.

Los criterios de evaluación se asocian al aprendizaje en sentido general (Dominighini & Cataldi, 2016); sin embargo, estos propios autores refieren que un criterio de evaluación es un referente interno o externo de calidad para el caso educativo, aplicando la lógica, podría ser transferida de manera general a la configuración de criterios como definición general en los procesos de evaluación de proyectos I+D+i.

Definimos los criterios de evaluación como aquellas pautas que nominalizan la definición de las calificaciones en los proyectos, se asumen atendiendo a la finalidad de los proyectos, la tipología, su ciclo de vida y sus impactos. Se enfocan en la teoría y la práctica de la ejecución de actividades investigativas.

En el análisis teórico acerca de los proyectos I+D+i, se destaca la identidad como parte de los procesos de ciencia, desarrollo e innovación para lograr la generación de resultados conducentes al desarrollo, y con apoyo en la innovación se orienta a la introducción del producto, siendo viables y sostenibles en la producción de patentes.

Según Ruíz y Becerra (2015) “Todo proyecto se realiza con algún objetivo y la evaluación de su impacto permite determinar en qué grado se ha logrado el objetivo o el cambio deseado” (pp. 145-146). Los autores destacan la eficacia, la pertinencia, la eficiencia, el impacto y la sostenibilidad como aspectos claves en la evaluación, y definen dimensiones para llegar a los indicadores.

Para Hernández (2017), el principal problema de la evaluación de proyectos radica en la interpretación y aplicación de metodologías basadas en definiciones e interpretaciones de los criterios o indicadores que se establezcan. La evaluación se diferencia del seguimiento o monitoreo en que todas las actividades de la primera están orientadas al establecimiento de valoraciones en correspondencia con los criterios e indicadores; por eso se insiste en la determinación de conclusiones y/o recomendaciones relativas al proyecto que aseguren su calidad e incluyan los posibles impactos sociales. Se destaca las formuladas por expertos del área donde se aplica y los planteamientos de los beneficiarios. Las ideas que se exponen por varios autores, evidencian dispersión de la problemática y validan la importancia de los análisis.

En las ciencias médicas, Martínez (2016) realiza un análisis para la presentación de proyectos bajo el marco conceptual del Programa eTEN, proveniente del año 2006. Se incluyen aspecto de ayudas a las comunidades y es centro de su interés, sin embargo, es mayor el tiempo dedicado a explicaciones relativas a los temas económicos que deben cumplir los proyectos que sean evaluados.

Por su parte, la tesis de Medina (2018) precisa que la gestión en la innovación implica la sistematización y debe ocupar un lugar preferente en cualquier estrategia de futuro, tanto en el sentido económico de la organización como en orden operacional. Hacia el sector empresarial y la sociedad en su conjunto, la proyección de las capacidades de innovación de las empresas se debe desplegar con la visión de determinar estrategias que impulsen de manera efectiva el desarrollo de estas. Según Retos directivos (2019), se identifican varios tipos de evaluación de proyectos, pero en todo caso, se definen para una misma finalidad: respaldar la toma de decisiones tácticas y estratégicas en las instituciones, redes u empresas. Se consideran tres términos esenciales: factibles, viables y eficientes, los cuales son recurrentes en las metodologías. De acuerdo con López y Cruz (2019) se evidencia una concepción más completa en cuanto a estructura, pero en particular se refieren a los tres términos antes mencionados y tienen en cuenta el desarrollo integral sostenible, utilizan términos y enfoques para definir y conceptualizar el desarrollo rural y conceptos laterales a este para apoyar la propuesta de su metodología. Es algo singular, ya que evidencia que la obtención de las metodologías requiere de un marco conceptual que precise al evaluador el contexto, rebasa la subjetividad. No son conceptos propiamente definidos, sino ya establecidos por instituciones que pueden asimilar los resultados de los proyectos evaluados. Es importante señalar que coincidimos en la necesidad de tener en cuenta la dimensión económica, la ecológica y la sociocultural; todo en el marco del desarrollo integral sostenible.

En el contexto de las PYMES, Casanueva (2020) plantea una metodología para formular proyectos de inversión, donde destaca la importancia de estos procesos, menciona fases y resalta que la evaluación de proyectos confronta los recursos comprometidos respecto a los beneficios generados, pero si bien el monográfico abarca aspectos de interés, no se profundiza en los criterios básicos que deben cumplir los proyectos I+D+i.

De acuerdo con los planteamientos que se identifican en la Dirección General de Inversiones Públicas, (2021), es evidente que los cambios en Honduras se experimentan para relanzar la economía con una visión científica, enfocada en la innovación y la presentación de proyectos I+D+i. Las ideas de evaluación a partir de una guía también son esbozadas por el Ministerio de Ciencia e Innovación (2021) en España, al sugerir la evaluación sistemática para mejorar la calidad de los proyectos evaluados. Por su parte, el Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica (2020) del Perú, muestra elementos que coinciden con la anterior propuesta para la evaluación, pero no se adentran en una caracterización de los procesos de elaboración de proyectos, solo se encuentran aspectos prácticos para desarrollar la evaluación. Apoyan la idea en aspectos legales, lo cual oficializa la guía y su ejecución para el territorio nacional de ese país.

Sin duda, la evaluación de proyectos en estos casos transita sobre una profunda valorización ex ante de la intervención planificada, lo cual se enmarca en resultados diagnósticos. En otros, las caracterizaciones para identificar las falencias y resolver su eliminación. En todos los documentos se muestra una amplia fundamentación de aspectos técnicos para desarrollar las evaluaciones. En este sentido, se observa que se presta atención a los posibles impactos de diferente tipología, los cuales se comprobarían a partir de indicadores objetivamente verificables, se encuentran dentro de los elementos generales de las metodologías con sustento en la conocida metodología marco lógico. Es importante destacar en la metodología de marco lógico, su forma de matriz para así estructurar el contenido tanto para los proyectos como para los programas de manera completa y comprensible para todos.

Al contar con cuatro columnas y cuatro filas se puede valorar la lógica vertical determinando lo que el proyecto pretende realizar, permite aclarar las relaciones de causalidad y especifica las hipótesis e incertidumbres importantes que escapan a la gestión del proyecto. En su lógica horizontal se identifica la medición de los efectos del proyecto y de los recursos movilizados mediante la especificación de los indicadores claves, y de las fuentes donde se pueden encontrar los indicadores. En síntesis, el Método del Marco Lógico (MML) privilegia la Metodología para la planificación, la gestión y la evaluación de programas y proyectos que implica el análisis de partes interesadas, de problemas, de objetivos y de estrategias, así como la preparación de la matriz del marco lógico y de los calendarios de las actividades y de los recursos.

Comparar la cartera de proyectos es una de las vías para encontrar la determinación de un proyecto más eficiente, pero, sin duda, es posible a partir de contar con una evaluación particular desarrollada anteriormente.

Como se ha podido apreciar, la evaluación de los proyectos en muchos casos responde a metodologías establecidas en los programas e instituciones que financian los proyectos que sean aprobados. Existen algunas diferencias en cuanto a los procesos de evaluación y regulación de acuerdo a las políticas científicas establecidas en cada país. En Cuba, el Ministerio de Ciencia Tecnología e Innovación denominado (CITMA) ha desarrollado una estructura de programas que denomina nacionales atendiendo a las prioridades y metas socioeconómicas para un periodo de cinco años. Supone entonces que los criterios de evaluación de los proyectos a presentar puedan ajustarse acordes con el plan nacional de desarrollo. Por otra parte, se estimula a las universidades para la obtención de fondos con agencias internacionales, las cuales presentan sus formas de evaluación y también sus propios criterios, ello evidencia que sea necesario, continuamente, preparar grupos de investigación enfocados a cubrir las exigencias de presentación. Es importante señalar que la reglamentación para el sistema de programas y proyectos mediante la resolución 287 del 2019 establecida por el CITMA, se orienta a la búsqueda de formas de evaluación y control de los procesos asociados al ciclo de vida de los proyectos I+D+i. Los criterios que establecen son: el contenido científico-tecnológico, pertinencia de la propuesta, probabilidad de éxito del proyecto y probabilidad de ejecución e impactos de la innovación. Es más complejo aún el proceso cuando se establecen los criterios y estos derivan en subcriterios. De forma similar ocurre en Colombia y Ecuador, mediante documentos de la legalidad que regulan los procesos CTei para evaluar los nuevos proyectos I+D+i.

En Ecuador es importante destacar que la Secretaría de Educación Superior, Ciencia, Tecnología e Innovación (SENESCYT) incluye de manera consolidada la viabilidad ambiental y la sostenibilidad social. Los criterios son amplios y tienen en cuenta un adecuado manejo ambiental, al detallar los posibles impactos ambientales que produzcan en su ejecución dentro de los parámetros evaluados (SENESCYT, 2018) integran procesos de la ejecución y desarrollo de futuro de los proyectos. En este sentido, las experiencias del programa ecuatoriano de Banco de ideas, posibilita acercar financiamiento a proyectos de innovación presentados por innovadores. Denominan capital semilla a proyectos los cuales conducen a evaluaciones rigurosas de los proyectos ganadores I+D+i. La operacionalización en plataformas online para los investigadores acreditados por la SENESCYT parece ser una opción adecuada para encontrar oportunidades de presentación, en tanto la evaluación mediante criterios específicos responde a formularios que se facilitan a los investigadores.

Discusión y criterios propuestos

Se asumieron tres perspectivas para la reflexión crítica, la primera, desde la obtención de información de Scielo y Redalyc; la segunda, mediante la comparación de los criterios por área geográfica latinoamericana con respecto a los criterios del método más extendido MML. Por último, la tercera, por la relación de la denominación de las fuentes de información analizadas. Esta reflexión permite apreciar una complejidad en los artículos analizados por el empresariado y valora más los riesgos y costos en orden económico, así como la burocracia corporativa cuando reciben nuevos proyectos diseñados en las universidades.

Es importante señalar que las metodologías con criterios de evaluación y dimensiones se encuentra sujetas al interés del programa al que se presentan los proyectos, así como a las instituciones que promueven el desarrollo de la I+D+i. El gasto corporativo en los proyectos I+D+i no es sinónimo de éxito, sino de la confianza en la mejora productiva y competitiva. En España se ha empleado el indicador denominado ventajas tecnológicas reveladas (VTR), el cual permite obtener una idea aproximada de la posición de ventaja o desventaja tecnológica en el sector evaluado. El indicador VTR es la proporción de patentes del país en un sector, dividida por la proporción en el total de patentes del país. Es un indicador sobre el cual se debería estudiar más al considerar la evaluación de los proyectos I+D+i. La idea se sustenta en que es evidente que las patentes como salida tecnológica y su asimilación en los sectores de referencia aseguran la consistencia y sostenibilidad de los proyectos en el empresariado y en los sectores estratégicos.

Como se ha señalado, la utilización de Marco Lógico (ML) como herramienta analítica y de gestión utilizada por la mayoría de las agencias de ayuda multilaterales y bilaterales, ONG internacionales y por muchas instituciones de educación superior y de gobierno, describe de forma lógica los aspectos más importantes de un proyecto/programa. Se señala que el marco lógico se utiliza en todas las fases del ciclo de proyecto: durante la fase de preparación (identificación) deberá desarrollarse ya el marco lógico, sin que pueda pretenderse completarlo totalmente. Se aproxima mucho más a la gestión eficiente de los proyectos, no obstante, para la evaluación pueden ser considerados nuevos criterios que contribuyan a develar la calidad, la eficiencia y la eficacia de un proyecto I+D+i.

Por otra parte, el impacto social se identifica con los cambios significativos, las trasformaciones y efectos positivos en las personas y las comunidades. Se coincide con las ideas de Morales y Roux (2015); Novella (2017); Kavm (2018) y Soto (2021) respecto al seguimiento que se debe dar a los posibles impactos sociales de un proyecto o programa, por eso en el análisis de los criterios se tiene en cuenta, para plantear cuáles deben ser de prioridad en los procesos de evaluación de proyectos I+D+i. Es importante destacar que organismos internacionales como la Oficina de Evaluación Independiente del PNUD (2019) implementan acciones para el fomento de un desarrollo humano sostenible e impactar desde los cambios que sean necesarios en los criterios, dimensiones e indicadores para la evaluación de los proyectos, lo cual coincide con lo planteado por el Instituto Profesional IACC (2019): es necesario renovar los criterios desde una perspectiva crítica y replantear propuestas para conseguir evaluaciones de los proyectos ajustadas a la realidad. De acuerdo con De la Cruz (2019), los criterios para evaluar proyectos permiten establecer puntuaciones y correspondencia con el índice de puntuación, una ponderación para lograr las evaluaciones. Se coincide en el criterio denominado valoración del impacto socioeconómico y medio ambiental con la máxima ponderación otorgada a la creación de empleo. También es importante destacar del criterio objeto de análisis, que se evalúan las medidas para la inclusión social y la igualdad de género. Ambas ponderaciones van orientadas al impacto social.

Respecto a la metodología, se evidencia su correspondencia con la planteada por la Comisión Europea Metodología de Marco Lógico (MML) la cual predomina en las instituciones de educación superior y entidades de gestión científica latinoamericanas para evaluar las propuestas de proyectos con ocho criterios o factores acordes a la medición de calidad del proyecto, como sigue:

1. Apropiación por los beneficiarios
2. Política de apoyo
3. Tecnologías apropiadas
4. Aspectos socioculturales
5. Igualdad entre mujeres y hombres
6. Protección del medio ambiente
7. Capacidades institucionales y de gestión
8. Sostenibilidad financiera y económica

Los factores o criterios se resuelven mediante la formulación de preguntas a las cuales el proyecto debe responder en su estructura y metodología, se comprende entonces que la MML debe generar indicadores objetivamente verificables mediante fuentes y medios de verificación. En este sentido, las guías de evaluación coinciden en varios criterios, los cuales el evaluador puede seguir como guía durante el proceso; los modelos que asumen las guías pueden variar en su formato, pero, sin duda, la subjetividad es un elemento que debe ser regulado y la presencia de los criterios son muy necesarios precisamente para atenuar y que exista una mayor justicia durante la evaluación. Los criterios más usados los presentamos en orden lógico:

1. Pertinencia
2. Lógica Vertical y Horizontal de la matriz de Marco Lógico
3. Coherencia de la estructura y metodología indicada en los instructivos
4. Ajuste al marco legal y normativo
5. Veracidad de la información
6. Valor para el planeamiento estratégico institucional
7. Viabilidad del proyecto

Los menos empleados y que influyen en el impacto final podemos resumirlos tal como siguen:

1. Incluir estudio del mercado para un impacto positivo.
2. Cartera de productos y servicios futuros
3. Conformación de las alianzas estratégicas
4. Avales de resultados que contribuyan a la mejora productiva y competitiva.
5. Ventajas tecnológicas que ofrecen las innovaciones.

Los proyectos de inversión, destacando a Carrillo et al. (2019), se apoyan en los estudios de mercado para poder desarrollar los cálculos de elasticidad de demanda, los estudios administrativos para la estructura organizacional y en los estudios financieros para los presupuestos. En este orden se arriba a la evaluación por indicadores y criterios para aceptar o rechazar el proyecto de inversión según las tasas de interés de retorno, se orientan más al mercado los productos, lo cual es significativo y permite ser adecuado mediante la configuración de criterios ajustados al entorno y propósitos del proyecto. La factibilidad del entorno, factibilidad en el mercado y factibilidad financiera se incluyen en el impacto social y por ello en los criterios de evaluación deben reflejarse los indicadores. En este sentido, Mondragon (2017) agrega el análisis de riesgos; describe la necesidad de identificar los problemas a resolver en relación con las necesidades de la población, utilizando la optimización de los recursos es un tema recurrente que debe ser valorado y tenido en cuenta por los evaluadores.

No hay duda de que un proyecto I+D+i finaliza cuando se logra capitalizar y asumir en los procesos productivos o sociales las innovaciones. Paulatinamente, se asume en la cotidianidad lo que en su momento representó una patente entre otras variantes de salida, la aplicación del conocimiento y la trasferencia de la tecnología.

Finalmente, desde estos análisis teóricos se arriba a un cuerpo de criterios, los cuales consideramos se proponen de manera general y podrían derivar en indicadores a tener en cuenta cuando se realiza la evaluación de proyectos I+D+i ex ante o durante su desarrollo o puesta en práctica, así como una vez concluidos.

Criterios propuestos

1. El proyecto a evaluar debe disponer de un amplio estudio del entorno social y estudio del mercado, de acuerdo a su impacto social.
2. Contar con una estructura articulada de productos y servicios futuros como parte de su salida.
3. Distinguir las alianzas estratégicas con instituciones, redes, oficinas de trasferencia, tecnología o parques tecnológicos, u otras formas que garanticen la trasferencia y el manejo de patentes.
4. Avales que garantizan confianza en la mejora productiva y competitiva.
5. El proyecto debe disponer de ventajas tecnológicas reveladas.

Nótese que los criterios favorecen la construcción de una base teórica para conseguir indicadores o construir nuevas dimensiones que permitan la evaluación de los proyectos I+D+i; aportan claridad a la futura evaluación destacando el impacto social y favorece la contribución al beneficio social. Es importante señalar que el impacto social es muy necesario de considerar durante la evaluación, debido a que estos son los efectos positivos en las comunidades beneficiadas; para, asimismo, contribuir con mejoras en la calidad de vida. Garantizan una valoración más aproximada a la totalidad de los escritos y metodologías abordadas y favorece las modificaciones y trasformaciones en las metodologías de distintas instituciones y organismos internacionales.

Se realizó una consulta a seis especialistas, los cuales fueron seleccionados por ser profesionales encargados de gestionar proyectos y ser evaluadores. Tres de ellos son de universidades latinoamericanas y tres de instituciones que gestionan ciencia, tecnología e innovación en los mismos países. El objetivo fue contar con valoraciones acerca de los criterios propuestos.

Consistió en el envío, a través del correo electrónico, de un cuestionario compuesto por una introducción breve, explicando la intención de obtener sus valoraciones. La orientación de marcar con una X en la opción que considera y argumentar su respuesta. Después, los criterios propuestos y dos preguntas con las posibilidades de valoración.

Las preguntas planteaban lo siguiente:

1. Considera que los criterios propuestos pueden contribuir a mejorar las propuestas de indicadores. Sí____ No____. Argumente en cualquiera de las dos opciones
2. Se pueden armonizar con distintas metodologías de evaluación de proyectos. Sí____ No____ A medias____. Argumente su respuesta brevemente.
3. Como resultado se obtuvo que los seis especialistas coinciden en que puede contribuir, y un aspecto de regularidad en sus argumentaciones, respecto a la primera pregunta, es que la posibilidad de aplicación debería ser estudiada en profundidad mediante especialistas en las evaluaciones de proyectos I+D+i, dado lo complejo del que asumen el rol.
4. Respecto a la segunda pregunta, cinco plantean que sí y uno que a medias, en este caso lo relacionan con la pregunta uno, al insistir en la diversidad de dimensiones y lo estricto de muchos programas promotores de proyectos de I+D+i. Sin duda, indica lo necesario y valioso de lograr ajustes según sea el objetivo del programa para el cual se presente el proyecto en evaluación.
5. El proyecto debe disponer de ventajas tecnológicas reveladas.

El estudio confirma la variabilidad de criterios, que pueden ser una fortaleza si se logran correlacionar en las guías de evaluación. Podrían considerarse otros criterios, pero lo más importante es encontrar justamente formas de evaluación flexibles que conduzcan a una mayor efectividad de los proyectos I+D+i, que mantengan conexión con los programas, redes e instituciones, que puedan dar respuesta al interés de los clientes por disponer de información fiable acerca del proyecto. De manera que pueden variar según el contexto, responderán al principio de ser sistémicos con interdependencia mutua. Sin discusión, la idea de configurar criterios para la evaluación de los proyectos I+D+i interviene en las actividades posteriores de los proyectos. Para el logro de un adecuado impacto social se requiere una adecuada gestión de proyectos, siguiendo a Guan et al. (2016) y a Afrian et al. (2017), la cual garantice con efectividad que los resultados obtenidos durante la evaluación y en el desarrollo se corresponda con la calidad y los criterios.

Recapitulaciones finales y punto de partida para nuevos estudios

Los criterios de evaluación en proyectos que se proponen son el resultado de un proceso reflexivo desde tres perspectivas, la primera desde la obtención de información obtenidos en Scielo y Redalyc, la segunda, con la comparación de los criterios por área geográfica latinoamericana con respecto a los criterios del método más extendido MML, y la tercera, por la relación de la denominación de las fuentes de información analizadas, que pueden variar en correspondencia con las expectativas de los programas e instituciones que promueven la presentación de nuevos proyectos I+D+i.

De acuerdo con la reflexión crítica realizada al momento de los análisis es la dimensión a la cual se la ha otorgado mayor presencia en los artículos y metodologías presentadas en Latinoamérica; es la sostenibilidad financiera y económica. La propuesta de nuevos criterios de enfoque genérico podría ayudar a variar la composición de indicadores acordes a las exigencias de las universidades y entidades que gestionan la ciencia y la innovación. En este sentido, se evidencia que la variabilidad de metodologías para la construcción de nuevos proyectos necesita de encuentros para el debate antes de ser presentadas. En estos encuentros, se sugiere, deben participar investigadores, académicos, representantes de proyectos y las comunidades en las cuales se podría distinguir el futuro beneficio social. Evaluar las metodologías ex ante para medir su efectividad, puede contribuir a mejoras en los procesos de evaluación y refuerza la idea de ayudar al beneficio social desde los procesos evaluativos de los proyectos I+D+i. En todo caso la evaluación ex ante por criterios y su derivación en indicadores debe contribuir a la disminución del fracaso de proyectos I+D+i y por ello aminorarlas pérdidas económicas. Se pudo constatar que en todas las tipologías de evaluación de proyectos I+D+i no deben faltar dimensiones o criterios genéricos y flexibles para adaptar indicadores de evaluación. Otra conclusión radica en la necesidad de apostar más por la predicción de resultados relacionando efectos e impacto social tanto en los proyectos I+D como en los I+D+i centrado en los clientes, sus expectativas y riesgos durante el desarrollo de los proyectos. Se consolidan estrategias acordes a los actores y el entorno que potencien su cultura científica respecto a los criterios de evaluación de proyectos I+D+i.