El impacto de citación y las menciones en Facebook y Twitter, notas de prensa, videos, blogs, lectores, patentes de invención y política pública: una nueva forma de trazar la incidencia de la investigación ya está disponible en el Sistema de Revistas Científicas de la Pontificia Universidad Javeriana.
Los artículos de ciencia, tecnología e innovación publicados las 24 revistas indexadas de la PUJ cuentan con una batería de métricas a nivel de artículo que facilitan la comprensión de su incidencia en contextos académicos, sociales e industriales. Se trata un despliegue de métricas tradicionales y alternativas, alineadas con la medición responsable y la Ciencia Abierta, disponibles sin restricciones para cualquier lector o usuario del portal https://revistas.javeriana.edu.co/
Un breve contexto de la medición científica
Desde antes de la fundación de las primeras revistas científicas en 1665 (Journal des Sçavans en Francia y Philosophical Transactions of the Royal Society en Inglaterra) ha existido en la comunidad académica internacional una preocupación por garantizar que los numerosos avances en investigación divulgados anualmente sean éticos, pertinentes, confiables, verificables y replicables. Aún hoy, las posturas más conservadoras advierten que, ante la proliferación de revistas científicas de carácter institucional —endogámicas— y la generación de una plétora de contribuciones con calidad insuficiente, el acceso a la financiación o a los estímulos para la formación de investigadores cada vez resulta más limitado, lo que ha llevado a poner en riesgo la sostenibilidad financiera de los organismos estatales y las instituciones de educación superior. Esto, a su vez, conduce a una saturación del sistema de publicación y retrasa el normal desarrollo de la ciencia.
En respuesta a esta problemática, surgieron los sistemas de indexación y resumen, y los indicadores de desempeño en función de la tipología documental (predomina el artículo resultado de investigación, revisión o reflexión), la revista en la que se publica y la citación. El número de citas que recibe un artículo representa su utilidad para construir nuevo conocimiento científico, que se valida mediante la publicación de un nuevo artículo citante. La condición que debe cumplirse es que el nuevo artículo se incluya en una revista clasificada en los mismos sistemas de medición y clasificación. El concepto “indexado” aparece entonces para describir el contenido que cumple a cabalidad los parámetros éticos, formales y disciplinares, y es válido para la academia mundial.
Los índices más prestigiosos que calculan el impacto de citación tradicional y han regulado la clasificación de la ciencia en los últimos veinte años son Journal Citation Reports (JCR) y Scimago Journal Rank (SJR). Éstos cosechan los datos de las plataformas Web of Science (WoS) de Clarivate y Scopus de Elsevier respectivamente. La distribución de las revistas aceptadas por estas dos fuentes se realiza a partir de cuartiles (Q). El primer cuartil (Q1) representa la investigación con mayor visibilidad, alcance e impacto; el cuarto cuartil (Q4) indica un potencial de impacto y sugiere que se trata de temáticas o áreas geográficas con investigación emergente o reciente en el sistema de indexación. La clasificación por cuartiles se ha homologado en sistemas nacionales de ciencia como Publindex de Minciencias para el caso colombiano (Q1=A1, Q2=A2, Q3=B y Q4=C).
Otras voces, provenientes particularmente de las ciencias sociales y las humanidades, cuestionan la medición del impacto a partir de la citación por no representar con idoneidad las prácticas de producción intelectual y de citación de sus disciplinas. De allí surge la iniciativa de contemplar otros tipos de influencia de la investigación que den cuenta de las diversas formas de divulgar la ciencia, que evidencien la apropiación social del conocimiento y no se limiten al prestigio de la autolegitimación de los índices, cuyo acceso suele estar restringido a quienes no pueden solventar las barreras de pago. Si bien, estos indicadores alternativos no se han aceptado masivamente como sustitutos de la indexación o el impacto de citación, su aplicación conjunta con las métricas tradicionales brinda elementos de valoración adicionales para ofrecer mayores posibilidades de aceptación, cobertura e inclusión. La Pontificia Universidad Javeriana es pionera en el contexto latinoamericano debido a la implementación de una batería de métricas tan completa en su Sistema de Revistas Científicas.
Los indicadores tradicionales de Scopus y SJR
Entre las 520 revistas colombianas activas que se presentaron a la más reciente convocatoria de clasificación de Publindex, Minciencias (Conv. 910 de 2021), lograron clasificarse 286, de las cuales 122 han sido aceptadas por Scopus y cuentan con un cuartil de SJR. Colombia participa con 0.4 % de la producción mundial, y con 13.4 % de la producción latinoamericana de revistas científicas avaladas. 0.08 % de las revistas colombianas está en el primer cuartil y 1.01 % está en el cuarto cuartil. La PUJ, con 12 de sus 24 revistas indexadas, es la institución privada de Latinoamérica con mayor cantidad de títulos aceptados por Scopus.
Si bien, las revistas se encuentran en su mayoría en cuartil 4, es posible analizar a partir de los resultados que la clasificación no es congruente con el esfuerzo editorial (cantidad de artículos publicados) o la cantidad de citas, sino depende de la cantidad de títulos aceptados por cada área temática y la ponderación de las fuentes citantes (el prestigio de la revista y su clasificación en los cuartiles). Por consiguiente, el modelo de medición es tan variable e impredecible que la diferencia entre un cuartil y otro puede deberse a una autocita. El cuartil, en este sentido, es un valor referencial y no puede asumirse como un indicador preciso e invariable de calidad o rendimiento de una revista o una investigación.
Aunque los logros en posicionamiento cada vez son más representativos, estos indicadores elucidan el nivel de exigencia de los índices y la falta de espacios locales y regionales para divulgar la producción intelectual, sobre todo la que está en español y busca tener impactos más específicos e inmediatos.
Una visión comprensiva: métricas a nivel de artículo
Los indicadores para medir la actividad científica no tradicional parten de una cosecha sofisticada de la información que se encuentra en línea, en plataformas digitales de diversa índole y en las interacciones que surgen en torno a los artículos publicados en una revista, sin importar si esta cuenta con la aceptación en un índice citacional o no. Debido a su naturaleza abierta, estas métricas brindan un mayor contexto para trazar el grado de interés que suscita una investigación y pueden emplearse por un público más amplio, no necesariamente especializado. En este sentido, se convierten en elementos adicionales y complementarios para hallar, recuperar, seleccionar y evaluar un producto de investigación, y para tener nociones de su incidencia fuera del contexto académico.
El siguiente artículo publicado en Magis: Revista Internacional de Investigación en Educación, indexada en Scopus, ilustra la coexistencia de métricas en favor una mayor comprensión de los impactos alcanzados:
https://doi.org/10.11144/Javeriana.m9-19.emse
Con la apertura de la información de los artículos citantes, se presenta una posibilidad —antes remota o inexistente— para los lectores de la revista que no cuentan con acceso directo a los índices de citación. Gracias a la implementación de la herramienta PlumX en batería de métricas, es posible reconocer con inmediatez que el artículo de ejemplo se ha consultado de forma moderada en las bases bibliográficas de Ebsco y Porquest, ha tenido un número destacado de lectores en Mendeley y ha logrado 18 citas de fuentes indexadas en Scopus, una cifra más que considerable para el campo de la educación en el contexto ibero-latinoamericano. Este último indicador cuantitativos podría ser suficiente para reconocer el valor del artículo en la construcción de nuevo conocimiento académico, pero desconoce su incidencia, tanto o más valiosa que el impacto de citación, en la construcción del Informe de Seguimiento de la Educación en el Mundo 2020 de La Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, UNESCO. Se trata de un recurso de gran valor para orientar políticas estatales en Latinoamérica en torno al cuarto objetivo de Desarrollo Sostenible de las Naciones Unidas:
Una exploración adicional a través de la herramienta Altmetrics (La dona de colores, como ayuda nemotécnica) indica que el artículo fue mencionado en un canal de noticias reconocido (señalado en rojo) y enlaza el contenido una columna publicada en el periódico El Diario de España, recuperado a través del portal MSN. Esta pieza de periodismo científico señala un elemento cotidiano, cercano a la realidad de los potenciales lectores, para reflexionar sobre una problemática documentada en el artículo científico que le sirve de soporte y proponer un cambio. Es, sin lugar a dudas, un indicio que le otorga una mayor visibilidad y relevancia al artículo, y se convierte en una huella trazable de un conocimiento que puede ser apropiado socialmente con mayor facilidad.
Un caso similar de incidencia en política pública recuperado a través de Altmetrics ocurre con el siguiente artículo publicado en la revista Universitas Scientiarum, también indexada en Scopus. Este artículo ha conseguido un número moderado de lectores en Mendeley, y ninguna cita en el índice de citación, lo que desestimaría su impacto en un contexto tradicional, pero fue un insumo empleado para la consolidación de un reporte de La Organización de las Naciones Unidas para la Alimentación y la Agricultura, FAO, y la Convención sobre el Comercio Internacional de Especies Amenazadas de Fauna y Flora Silvestres, CITES:
https://doi.org/10.11144/Javeriana.SC21-1.poan
La innovación, medida a partir de la cantidad de patentes de invención asociadas a la investigación, se ha convertido en un referente y un criterio de evaluación ineludible para la clasificación de instituciones de educación superior e investigadores. Sin embargo, el seguimiento a las interacciones de los artículos con las patentes no fue posible hasta la implementación de las métricas alternativas a nivel de artículo. La mención en un documento de registro oficial de innovación brinda una comprensión adicional sobre los efectos de la investigación en la industria, y puede resultar mucho más significativa que las once citas logradas por el siguiente artículo en los índices de citación. En este caso puntual, el modelo matemático propuesto por el autor permitió la creación de un programa para administrar y optimizar rutas de distribución comercial:
https://doi.org/10.11144/Javeriana.IYU18-2.mpmr
Un último ejemplo ilustra la posibilidad de recuperar estadísticas de citación a través de la herramienta Dimensions en una revista no indexada en Scopus o WoS. En este sentido, la batería de métricas opera como un índice de citación complementario con la capacidad de reconocer las fuentes citantes. Este es un valor agregado con gran potencial para demostrar impacto y promover al artículo y a la revista a nuevos estadios de visibilidad y posicionamiento:
https://doi.org/10.11144/Javeriana.ie23.cefr
La diversidad de las interacciones que se pueden trazar simultáneamente en torno a cada artículo crea una gama cromática que facilita la identificación rápida y la recordación de las incidencias de la investigación, como en el ejemplo de la figura 1, con un artículo que ha conseguido visibilidad en blogs especializados del portal de editores latinoamericanos AmeliCA, un canal de noticias y Twitter. Con la incorporación de las métricas alternativas, el Sistema de Revistas Científicas de la PUJ inicia su apertura hacia nuevas formas de interpretar la información científica y las nuevas opciones de descubrimiento de la investigación más pertinente y de calidad.
Los desafíos que se avecinan
Con la aparición de las métricas alternativas y su incorporación en los sistemas de ciencia y tecnología han surgido numerosas inquietudes acerca del significado y las equivalencias de las métricas: ¿Cómo se pondera un trino frente a una mención en un blog o una mención en un canal de noticias? ¿Genera mayor incidencia una cita en una patente o un documento de política pública? A su vez, las tipologías de las interacciones alternativas ofrecen niveles de complejidad disímiles (hacer una publicación en Facebook no requiere el mismo esfuerzo que un artículo en un medio de divulgación científica). Estos indicadores no obedecen a fechas de corte y, debido a su naturaleza, son fácilmente manipulables. Algunos detractores argumentan que se trata de métricas líquidas, fugaces y no reproducibles.
Debido a su implementación reciente, las métricas alternativas aún no cuentan con una validación extendida como el impacto SJR, que pondera el prestigio de la fuente citante. La capacidad de hacer un seguimiento detallado a las interacciones alternativas en torno a una investigación, un autor, una revista o una institución depende en gran medida de licenciamientos o modelos comerciales que no todos los actores del sistema pueden solventar.
Es un hecho que los grandes actores de la publicación científica están adoptando métricas alternativas en sus baterías de indicadores, que operan de manera inmediata y se actualizan con mayor celeridad que cualquier sistema de indexación o índice citacional, y se tienen muy presentes en la construcción de políticas de Ciencia Abierta alrededor del mundo. Será necesaria una articulación de voces documentadas que esté en la capacidad de elaborar e integrar nuevas métricas y formas de reconocimiento en contextos cada vez más amplios.
Bajo la premisa de poner a disposición de la comunidad académica tanta información como sea posible en torno a los artículos publicados, sus estadísticas de uso y sus alcances, el Sistema de Revistas Científicas cuenta ahora con más elementos para robustecer la calidad, ampliar el acceso y garantizar la evaluación permanente de este gran proyecto académico y social bajo el Sello Editorial Javeriano.