La Pontificia Universidad Javeriana implementa métricas alternativas en sus revistas científicas para favorecer la articulación, la trazabilidad y la apropiación del conocimiento de calidad
«La ciencia más útil es aquella cuyo fruto es el más comunicable».
Leonardo Da Vinci
Desde antes de la aparición de las primeras revistas científicas del mundo, Journal des Savans y Philosophical Transactions of the Royal Society (1665), y en respuesta a un incremento exponencial en la documentación y publicación de hallazgos de procesos investigativos, la comunidad académica internacional se ha preocupado por establecer mecanismos de evaluación de la ciencia cada vez más rigurosos y selectivos a fin de validar el conocimiento y la producción intelectual de mayor calidad y aporte a la sociedad. Es en este entorno que surgen las iniciativas para la medición y la evaluación de la ciencia, que hoy presentan una revolución a partir de las métricas alternativas. Estos indicadores ya hacen parte del Sistema de Revistas Científicas de la Universidad Javeriana, y brindan la posibilidad de acceder a información contextual y comprender la divulgación científica y la apropiación social del conocimiento más allá de la validación académica tradicional.
Las métricas tradicionales
Hasta mediados del siglo XX, los propósitos evaluativos al arbitraje por pares, la trayectoria y prestigio de las academias y sociedades científicas que respaldaban la investigación y los indicadores macroeconómicos como el producto interno bruto y la inversión en ciencia y tecnología. Es hasta 1960, con la creación del Institute for Scientific Information (ISI), que ven la luz las disciplinas emergentes de la cienciometría y la bibliometría, y empiezan a adquirir relevancia los términos “indexación”, “citación” e “impacto citacional”, entendidos como medidas de calidad, validez y confiabilidad, que se atribuyen puntualmente a las revistas científicas en las que se publiquen los avances. Frente a la proliferación de revistas indexadas en los años ochenta, estos canales de difusión dejaron de ser institucionales, para dar vía a modelos editoriales heterogéneos, exogámicos, y de amplia visibilidad internacional.
De estas iniciativas surgen las clasificaciones y jerarquías, o ránquines, que dan cuenta de los investigadores, grupos, publicaciones, instituciones y espacios geográficos más representativos y confiables, que servirán posteriormente para generar estímulos a la investigación, atraer talento, ampliar las condiciones de financiación y potenciar la visibilidad. Esto, esencialmente, bajo las nociones de calidad e impacto que se conciben actualmente como métricas tradicionales.
La noción de calidad del modelo tradicional no está definida exclusivamente en el hecho de presentar soluciones a problemas específicos en un área disciplinar; se trata, en realidad, de un conjunto de indicadores que dan cuenta de la pertinencia de la propuesta investigativa para un contexto determinado (alcance local, regional o internacional), la idoneidad del método científico empleado, la profundidad de su análisis y la replicabilidad de sus resultados, la cantidad de indexaciones o sellos de calidad que promueven la publicación, y, esencialmente, la cantidad de citas provenientes del mismo entorno de validación, de las que se infiere que la investigación es útil, en la medida en que sustente otros procesos investigativos avalados bajo el mismo sistema. Bajo estos parámetros, solo aquellas tipologías que se estiman citables (artículos originales, de revisión o reflexión resultados de investigación) reciben reconocimiento y una ponderación de impacto.
Las métricas alternativas
A partir del año 2010, los conceptos “altmetría” “altmetrics” y “métricas alternativas” empiezan a aparecer como tendencias de investigación cienciométrica, y se consolidan propuestas como PLOS ALM, Altmetric o PLUM X que buscan apoyar el descubrimiento, la trazabilidad y el análisis sobre la actividad científica no tradicional (citación) cuyo origen es el registro de información en plataformas digitales. En este sentido, adquieren relevancia las capturas de contenido (agregar a favoritos, exportaciones, seguidores, lectores, adhesiones a bibliotecas particulares en Mendeley), las menciones (noticias, blogs especializados, comentarios, referencias en Wikipedia, reseñas, interacciones de programadores y usuarios en Stack Exchange), las redes sociales (cantidad de me gusta, enlaces compartidos, trinos, recomendaciones, ratings), y citas, pero de una manera más comprensiva (analiza otras fuentes como Crossref, SciELO, Pubmed, oficinas de registros de patentes y políticas públicas).
Estos indicadores ofrecen una apertura hacia un público más amplio, y no especializado, y se convierten en elementos adicionales (y complementarios) para hallar, recuperar, seleccionar y evaluar una investigación. El refinamiento de estos sistemas alternativos es tal, que no se requiere una mención explícita a la dirección URL, el código DOI, el título de la obra o la normalización del nombre de los autores para que la información correspondiente se despliegue y se vincule a cada producto de investigación. Las revistas científicas interesadas en esta tecnología deben incorporar un complemento en su plataforma web (una incrustación en código HTML). Los lectores podrán acceder a este despliegue de información a través de las galeradas o páginas finales y formatos de lectura de los artículos publicados.
La altmetría en el sistema de revistas PUJ
La más reciente actualización de la plataforma de divulgación Open Journal Systems, que aloja el sistema de revistas científicas de la Javeriana, incluye una muy completa batería de indicadores alternativos que amplían la experiencia de consulta de los lectores de sus veintiséis títulos indexados. Se ofrecen simultáneamente los indicadores tradicionales derivados de la citación, como los cuartiles de Scimago Journal Rank, y las métricas a nivel de artículo a través de Almetric. Un click en las medallas de impacto alternativo redirige al usuario a la plataforma de Digital Science, y desde allí, podrá acceder a la información demográfica, editorial, temporal, disciplinar y contextual de las interacciones trazadas. Pronto, se incorporarán otras herramientas interoperables de seguimiento como Plum X, Cited by Crossref y CrossMark.[4]
Los desafíos de la altmetría
A raíz de la implementación de las métricas alternativas, se han presentado discusiones acerca del significado y las equivalencias de las interacciones. ¿Qué significa el indicador? ¿Cómo se pondera un trino frente a una mención en un blog o una mención en un canal de noticias? ¿Genera mayor incidencia una cita en una patente o un documento de política pública?
A su vez, se presentan renuencias sobre la solidez y la confiabilidad de este modelo de seguimiento al impacto investigativo. Las tipologías de interacciones alternativas ofrecen niveles de complejidad disímiles (hacer una publicación en Facebook no requiere el mismo esfuerzo que un artículo en un medio de divulgación científica). Adicionalmente, estos indicadores no obedecen a fechas de corte y, debido a su naturaleza, son fácilmente manipulables.
Debido a su implementación reciente, las métricas alternativas aún no cuentan con una validación extendida como el factor de impacto IF o el impacto SJR, que pondera el prestigio de la fuente citante. La capacidad de hacer un seguimiento detallado a las interacciones alternativas en torno a una investigación, un autor, una revista o una institución depende en gran medida de licenciamientos o modelos comerciales que no todos los actores del Sistema pueden solventar. Por estas razones, su alcance y trazabilidad aún se perciben limitados.
Conclusiones
Los grandes actores de la publicación científica están adoptando métricas alternativas en sus baterías de indicadores, que complementan la información contextual y ofrecen nuevas perspectivas del impacto de los trabajos. Como un valor agregado significativo, operan de manera inmediata, y se actualizan con mayor celeridad que cualquier sistema de indexación o índice citacional.
Existe una gran ventaja en que sean generadas por el comportamiento de los usuarios, pero los detractores argumentan que se trata de métricas líquidas, fugaces y no reproducibles. En todo caso, la comunidad académica internacional está empezando a estudiar sus efectos y, aunque no son reconocidas aún por agencias evaluadoras, se tienen muy presentes en iniciativas como la Declaración DORA, alineada con el Plan S en Europa, que busca la publicación en acceso abierto de la investigación financiada con recursos públicos.
Aunque el sistema de Revistas Científicas de la Pontificia Universidad Javeriana se enmarca en el contexto de la indexación, y cuenta con logros significativos en posicionamiento y visibilidad internacional a través de la validación académica tradicional, reconoce el potencial de las métricas alternativas como vehículos para estimular otras formas de apropiar y divulgar el conocimiento científico, la cultura y la innovación, y emplea todos los medios a su alcance para garantizar una comprensión integral de su ejercicio académico, divulgativo y social.
En la foto: Favio Andrés Flórez Carranza, coordinador de publicaciones de Editorial, en conferencia métricas en el Congreso de Investigación
[1] Figura 1Martín-Martín, A., Orduna-Malea, E., Ayllón, J. M., & Delgado López-Cózar (2016). The counting house, measuring those who count: Presence of Bibliometrics, Scientometrics, Informetrics, Webometrics and Altmetrics in Google Scholar Citations, ResearcherID, ResearchGate, Mendeley, & Twitter. https://doi.org/10.13140/RG.2.1.4814.4402/1
[2]Figura 2 https://www.digital-science.com/products/altmetric/
[3] Figura 3 https://libguides.library.uu.nl/researchimpact/altmetrics