Alcances sobre evaluación de I+D+i para el sistema peruano
El marco normativo actual del Sistema Nacional de Ciencia, Tecnología e Innovación (SINACTI) reconoce que el CONCYTEC tiene la función de evaluar al SINACTI y las acciones del estado en materia de CTI. Asimismo, se reconoce que los institutos públicos de investigación (IPIs) son identificados, calificados y evaluados por el CONCYTEC y, en consecuencia, incorpora detalles que podrían estar configurando un emergente sistema de evaluación de la I+D+i para los IPIs peruanos, tales como: responsable de la evaluación, objetivos, pilares, periodicidad, etc.
Sin embargo, este marco normativo no es explícito sobre algunos aspectos esenciales de la evaluación, que trataremos de discutir recurriendo a la literatura y la experiencia comparada:
¿Por qué incorporar precisiones particulares para la evaluación de IPIs? Si bien el marco normativo no lo reconoce explícitamente, los IPIs cumplen un rol fundamental en los sistemas nacionales de innovación (Freeman, 2002; Nelson, 1993). Asimismo, los IPIs son actores que muestran diferencias sustanciales con otros actores del sistema, como universidades, servicios intensivos en conocimiento (KIBS en inglés) y empresas (Giannopoulou et al., 2019) y, por lo tanto, podrían necesitar enfoques específicos para su evaluación.
¿Por qué evaluar las actividades de I+D+i de los IPIs? Porque son entidades públicas cuya existencia depende fuertemente de recursos del Estado. En la experiencia comparada, se observa que estas entidades reciben recursos públicos permanentemente para sus operaciones (Giannopoulou et al., 2019; Zacharewicz et al., 2017).
En el marco del denominado “nuevo contrato social de la ciencia”, se entiende que la inversión pública responde – o debe responder – a las necesidades de la sociedad y en consecuencia los países implementan mecanismos de evaluación (Molas-Gallart, 2015). El marco normativo actual reconoce implícitamente esta vinculación al establecer que la evaluación tiene el objetivo de “facilitar el cumplimiento de la misión de los IPI en materia de CTI.” Esto, por supuesto asumiendo que las misiones de los IPIs peruanos tienen relación con las necesidades de la sociedad.
¿Para qué evaluar a los IPIs? La literatura reconoce que los sistemas de evaluación de la I+D (Fursov & Kuzmin, 2017; Molas-Gallart, 2015) tienen los siguientes objetivos: i) brindar evidencia para la asignación de recursos públicos entre distintos objetivos y actores; ii) contribuir a mejorar la implementación de las políticas y programas públicos; y iii) controlar el uso de los fondos públicos destinados a la CTI. Al respecto, el marco normativo no reconoce el primer objetivo, es decir, el sistema peruano no vincula la evaluación de los IPIs con la asignación de recursos públicos, perdiendo un incentivo fuerte para participar de los procesos de evaluación. Tendríamos que preguntarnos si deberíamos hacer esfuerzos para vincular estos dos aspectos y, de ser así, definir qué se requeriría para hacer esto posible.
¿Cómo se hace la evaluación? En la experiencia comparada se encuentran dos tipos de procesos: la evaluación externa y evaluación interna. La evaluación externa es desarrollada principalmente por un comité de expertos en materias que desarrollan los IPIs y se realiza sobre: i) la calidad y pertinencia de las actividades de I+D para la misión de los IPIs y los objetivos de política; ii) la operación y alcance de los instrumentos y procesos internos para validar la calidad; y iii) la identificación de espacios de mejora y posibles soluciones.
Por otro lado, la autoevaluación la realiza la propia organización, de manera periódica y mediante un comité interno. Este proceso busca contribuir a asegurar el logro de los objetivos y la misión de la organización, así como elaborar perspectivas de desarrollo futuro, contribuyendo incluso a formar una nueva identidad como organización de investigación (Franssen et al., 2023; Röbbecke & Simon, 2001).
¿Respecto de qué se hace la evaluación? El marco normativo señala que el desempeño de los IPIs se evalúa respecto de: un plan de desarrollo de la CTI, los productos relacionados con la CTI y la gestión institucional. Estos tres aspectos parecen responder a la mirada integral de la evaluación de IPIs que propone la literatura (Kobayashi et al., 2011; Nakamura et al., 2008; Röbbecke & Simon, 2001) porque parte de la elaboración de un plan de desarrollo de la CTI a través de un proceso de autoevaluación.
La evaluación de los productos de la I+D+i se realiza en función de los objetivos esperados establecidos en el plan de desarrollo y las capacidades del IPI, mientras que la evaluación de la gestión institucional en materia de I+D+i abarca los procesos internos que permiten que los insumos se conviertan en productos e impactos esperados.
En conjunto, se debería realizar una evaluación estratégica para saber si las actividades de I+D, los productos y la gestión contribuyen a la misión de los IPIs, a los objetivos de política y las necesidades de la sociedad.
¿Qué enfoque usar para realizar la evaluación? El marco normativo actual no menciona nada al respecto, mientras que en la experiencia comparada se distinguen dos enfoques: i) una evaluación por pares (expertos) que trabajan en el mismo campo de especialidad del IPI; y ii) una evaluación cuantitativa basada en indicadores bibliométricos y de los insumos de la I+D+i (Gläser et al., 2013). Respecto del segundo, se ha reconocido que si bien puede promover el incremento de la productividad de los investigadores (Osuna et al., 2011), también puede tener efectos contrarios como el deterioro en las políticas de personal, comportamiento poco ético en materia de publicaciones y deterioro en el ambiente laboral (burnout y falta de compromiso laboral), por lo que se debe tomar este enfoque con precaución (Cañibano et al., 2018; Kulikowski et al., 2022; Lakizo & Guskov, 2023). Por ello, se sugiere una evaluación integral que abarque aspectos cuantitativos como cualitativos.
Nota final: la heterogeneidad de los IPIs
Los IPIs son sustancialmente distintos a otros actores del SINACTI y, a la vez, es un grupo bastante heterogéneo, con diferencias sustanciales en la misión que cumplen, el tipo de I+D que realizan, el tipo de productos que desarrollan y el tipo de acceso a estos, así como al nivel de dependencia de los recursos del estado. Estos aspectos deberían ser considerados cuando se realicen las evaluaciones de desempeño en materia de I+D+i.
________________________________________________________________________
Referencias bibliográficas:
- Cañibano, C., Vilardell, I., Corona, C., & Benito-Amat, C. (2018). The evaluation of research excellence and the dynamics of knowledge production in the humanities: The case of history in Spain. Science and Public Policy, 45(6), 775–789. https://doi.org/10.1093/SCIPOL/SCY025.
- Franssen, T., Borlaug, S. B., & Hylmö, A. (2023). Steering the Direction of Research through Organizational Identity Formation. Minerva, 61(4), 495–519. https://doi.org/10.1007/s11024-023-09494-z.
- Freeman, C. (2002). Continental, national and sub-national innovation systems – Complementarity and economic growth. Research Policy, 31, 191–211. https://doi.org/10.1016/S0048-7333(01)00136-6.
- Fursov, K., & Kuzmin, G. (2017). Multidimensional assessment of R&D performance: Evidence from the pilot evaluation exercise of Russian public research institutions. ISSI 2017 – 16th International Conference on Scientometrics and Informetrics, Conference Proceedings, March, 1460–1465. https://doi.org/10.2139/ssrn.2666631.
- Giannopoulou, E., Barlatier, P. J., & Pénin, J. (2019). Same but different? Research and technology organizations, universities and the innovation activities of firms. Research Policy, 48, 223–233. https://doi.org/10.1016/j.respol.2018.08.008.
- Gläser, J., Lange, S., Laudel, G., & Schimank, U. (2013). Informed Authority? The Limited Use of Research Evaluation Systems for Managerial Control in Universities. In Reconfiguring Knowledge Production: Changing Authority Relationships in the Sciences and their Consequences for Intellectual Innovation (Vol. 15, Issue 1, pp. 583–605). https://doi.org/10.1093/acprof.
- Kobayashi, N., Nakamura, O., & Ooi, K. (2011). Formation of research strategy and synthetic research evaluation based on the strategy – toward research program evaluation as a creative activity. Synthesiology, 4(1), 11–25.
- Kulikowski, K., Przytula, S., & Sulkowski, L. (2022). When publication metrics become the fetish: The research evaluation systems’ relationship with academic work engagement and burnout. Research Evaluation, 32(1). https://doi.org/http://dx.doi.org/10.1093/reseval/rvac032
- Lakizo, I., & Guskov, A. (2023). The Evolution of Research Evaluation in China. Organization of Research, 93, 168–179.
- Molas-Gallart, J. (2015). Research evaluation and the assessment of public value. Arts and Humanities in Higher Education, 14(1), 111–126. https://doi.org/10.1177/1474022214534381.
- Nakamura, O., Nakamura, O., Sawada, M. T., Kosaka, S., Koyanagi, M., Matsunaga, I., Mizuno, K., & Kobayashi, N. (2008). Strategic evaluation of research and developmentin Japan’s public research institutes. In C. L. S. Coryn & M. Scriven (Eds.), Reforming theevaluation of research. New Directions for Evaluation (pp. 25–36). Jossey-Bass and the American Evaluation Association.
- Nelson, R. (1993). National innovation systems. A comparative analysis. Oxford University Press.
- Osuna, C., Cruz-Castro, L., & Sanz-Menéndez, L. (2011). Overturning some assumptions about the effects of evaluation systems on publication performance. Scientometrics, 86(3), 575–592. https://doi.org/10.1007/s11192-010-0312-7.
- Röbbecke, M., & Simon, D. (2001). Assessment of the Evaluation of Leibniz-Institutes – External Evaluation and Self-Evaluation. In P. Shapira & S. Kuhlmann (Eds.), Learning from Science and Technology Policy Evaluation. Georgia Tech Research Corporation and the Fraunhofer Institute for Systems and Innovation Research.
- Zacharewicz, T., Sanz Menendez, L., & Jonkers, K. (2017). The Internationalisation of Research and Technology Organisations. https://doi.org/10.2760/944413.