Archivos Latinoamericanos de Producción Animal. 2022. 31 (3)
http://www.doi.org/10.53588/alpa.310301
225
Impacto científico de los investigadores: ¿aporte vs índice h?
Rodolfo Ungerfeld1
Recibido: 2023-05-20. Revisado: 2023-07-05. Aceptado: 2023-07-11
1Autor para la correspondencia: rungerfeld@gmail.com
U. A. Fisiología, Departamento de Biociencias Veterinarias, Facultad de Veterinaria,
Universidad de la República, Uruguay
Scientific impact of researchers: contribution vs h-index?
Abstract. In recent years, the use of impact indexes by institutions to evaluate scientific journals, the productivity of
institutions, or researchers, has increased. This article discusses the validity of the use of these indicators to assess the
academic trajectory of researchers. The most widely used indicator to evaluate researchers is the h-index, which is
based on the number of articles cited at least a minimum number of times h. This index does not consider the
production that is below that value, the impact or individual contribution of the researcher, the author’s positions in
the articles, the time during which those articles were published, the subject area, or the time that some articles require
in some topics to effectively impact at the level of the scientific community. Einstein's citation profile and Watson and
Crick's (1953) article describing the DNA double helix are used as examples showing that the greatest impact may not
be immediate and may require years of development in the scientific area, despite that its importance was key to its
development. The indices are ways of quantifying impacts, but their use and abuse, and especially their use to consider
aspects that are not what they measure, can lead to wrong conclusions. Although they are part of the tools available to
measure scientific productivity, they must be considered based on what they measure based on the inputs and criteria
on which they are based. Therefore, it is important that scientific evaluation systems put them in context when
considering them for the evaluation of academic performance.
Keywords: bibliometrics, scientific evaluation, scientific productivity, researcher performance
Resumen. Durante los últimos años aumentó el uso de los índices de impacto por parte de instituciones para evaluar a
las revistas científicas, la productividad de las instituciones, o a los investigadores. En el presente artículo se discute la
validez del uso de estos indicadores para evaluar la trayectoria académica de los investigadores. El indicador más
utilizado para evaluar a los investigadores es el índice h, el que se basa en la cantidad de artículos citados al menos una
mínima cantidad de veces h. Este índice no considera la producción que está por debajo de ese valor, el impacto o
aporte individual del investigador, su ubicación como autor en los artículos, los años de trabajo del mismo, el área
temática, o el tiempo que requieren algunos artículos, en algunos temas, para efectivamente impactar a nivel de la
comunidad científica. Se utiliza el perfil de citas de Einstein y del artículo de Watson y Crick (1953) en que se describe la
doble hélice del ADN como ejemplos que muestran que el mayor impacto puede no ser inmediato y requerir años de
desarrollo del área, a pesar de que su importancia fuera clave para el desarrollo de la misma. Los índices son formas de
cuantificar impactos, pero el uso y abuso de los mismos, y sobre todo el uso para considerar aspectos que no son los que
miden, puede llevar a conclusiones equivocadas. Si bien son parte de las herramientas disponibles para medir
productividad científica, los mismos deben ser considerados en función de lo que efectivamente miden en base a los
insumos y criterios en que se basan. Por tanto, es importante que los sistemas de evaluación científica los pongan en
contexto al considerarlos para la evaluación del desempeño académico.
Palabras clave: bibliometría, evaluación científica, productividad científica, desempeño de investigadores
Ungerfeld
226
Impacto científico dos pesquisadores: contribuição vs h-index?
Resumo.Nos últimos anos, aumentou o uso de índices de impacto por instituições para avaliar periódicos científicos, a
produtividade das instituições ou dos pesquisadores. Este artigo discute a validade do uso desses indicadores para avaliar
a trajetória acadêmica de pesquisadores. O indicador mais utilizado para avaliar pesquisadores é o índice h, que se baseia
no número de artigos citados pelo menos um número mínimo de vezes h. Este índice não considera a produção abaixo
desse valor, o impacto ou contribuição individual do pesquisador, sua posição como autor nos artigos, seus anos de
trabalho, a área temática ou o tempo que alguns artigos exigem, em alguns tópicos, para impactar efetivamente a nível da
comunidade científica. O perfil de citações de Einstein e o artigo de Watson e Crick (1953) descrevendo a dupla hélice do
DNA são usados como exemplos mostrando que o maior impacto pode não ser imediato e pode exigir anos de
desenvolvimento da área, apesar de sua importância ter sido fundamental para seu desenvolvimento. Os índices são
formas de quantificar impactos, mas seu uso e abuso, e principalmente para considerar aspectos que não são o que eles
medem, pode levar a conclusões equivocadas. Embora façam parte das ferramentas disponíveis para medir a
produtividade científica, devem ser consideradas com base no que realmente medem com base nos insumos e critérios
nos quais se baseiam. Portanto, é importante que os sistemas de avaliação científica os coloquem em contexto ao
considerá-los para a avaliação do desempenho acadêmico.
Palavras-chave: bibliometria, avaliação científica, produtividade científica, desempenho do pesquisador
Introducción
El sistema de publicación científica se encuentra en una
etapa de transformación, donde en forma rápida se pasó
de un sistema donde la mayoría de las revistas tenían
accesos por suscripción a un sistema cada vez más
abierto, lo que asocia con el pasaje de un sistema de
publicación sin costo para los autores a un sistema con
pago por la publicación. Al mismo tiempo, y asociado
con el pago por publicación, se registra una aparición y
desaparición sistemática de revistas depredadoras, pero
también de editoriales y revistas ilegítimas, todo esto
vinculado también con un aumento sistemático y
sostenido en la cantidad de artículos que reciben las
revistas científicas. En este marco, en el caso de muchos
sistemas de evaluación, los indicadores bibliométricos de
las publicaciones cobran cada vez más relevancia y son
utilizados frecuentemente como único indicador de la
calidad del impacto científico.
En este artículo se discute el aporte, la validez, el uso y el
abuso de los mismos para evaluar a los investigadores.
Factor de impacto
El avance de la mayor parte de las ciencias duras se basa en
cuantificar respuestas, por lo que, como era esperable, ese
mismo criterio comenzó a aplicarse desde hace varias
cadas a los resultados de las publicaciones cienficas. El
impacto de una revista, un arculo, un autor, o una
institución comen a considerarse y evaluarse a través de la
cantidad de veces que es citada en otros trabajos científicos.
El principal indicador considerado histórica-mente es el
factor de impacto (FI), que considera el promedio de citas
que reciben los artículos publicados en uno en una revista
durante los dos años anteriores. Para entenderlo mejor, el FI
de 2023 de la revista Archivos Latinoamericanos de
Producción Animal (ALPA) se calcula como:
𝐹𝐼2023 =cantidad de citas que recibieron los artículos publicados en ALPA en 2020 y 2021 durante 2023
cantidad de arculos que publicó ALPA en 2020 y 2021
Este es un indicador muy lido, dado que se basa en el
impacto científico que tuvieron en promedio los artículos
publicados en esa revista durante los dos años anteriores.
Las limitaciones del FI han sido discutidas en
profundidad, estando centradas en las diferencias de los
valores en los campos de conocimiento (Althouse et al.,
2009), o en la inmediatez o lentitud del impacto de
acuerdo a los ritmos con que se avanza en cada campo de
conocimiento. También hay otros factores que sesgan el
FI, siendo mayor si es un artículo de revisión (Ketcham y
Crawford, 2007), lo que llevó a que muchas revistas estén
constantemente tratando de publicar muchos artículos de
este tipo independientemente de que los autores tengan
aportes en el tema, lo que seguramente impactará
negativamente a corto plazo en las citas que reciben
muchos de estos artículos. Otros factores que inciden son
la cantidad de autores del artículo (Choueiry, 2023), las
redes de colaboración “invisibles”, etc. Sin embargo, el FI
dice muy poco acerca del aporte de cada artículo, ya que la
cantidad de citas que reciben los artículos publicados por
una misma revista pueden tener una alta variabilidad. En
forma similar, cuando este tipo de índices se aplican en
ISSNL 1022 1301. Archivos Latinoamericanos de Producción Animal. 2023. 31 (3):225-229
forma rígida a la evaluación de instituciones, y más
particularmente de los investigadores pueden llevar a que
se impulsen políticas científicas en las que la posibilidad
de publicación de los artículos en revistas de alto impacto
cobre mayor importancia que la calidad de los aportes
científicos. Es importante tener presente que, como en
cualquier dato cuantitativo, cuánto más pequeña sea la
muestra, mayor probabilidad hay de que los sesgos sean
mayores, lo que se acentúa cuando se lleva los
indicadores a niveles individuales, por investigador.
¿Cómo se vincula esto con la evaluación de los
investigadores?
En cada vez más países se considera el FI de las revistas
donde un autor publicó sus trabajos como un dato
relevante. En este contexto, es importante considerar que
este es un indicador relativo, y que comparar resultados
de investigadores en base al mismo puede sesgar el tipo
de investigación que se realiza, la publicabilidad de los
mismos, etc. Por eso, desde hace unos años surgió como
una alternativa para evaluar a los investigadores el índice
h, el que fue adoptado por varios sistemas de evaluación
de investigadores. Además, si bien existen muchas
métricas de impacto de las publicaciones como el FI
mencionado anteriormente, hasta que surgió esta
propuesta no había indicadores dirigidos a evaluar el
impacto individual del investigador. En este artículo se
plantea discutir el significado y la utilidad del mismo para
evaluar investigadores, y el riesgo de basar la evaluación
del desempeño personal solamente en base a indicadores
como este.
El índice h fue inicialmente propuesto por Jorge Hirsch,
un físico argentino residente en Estados Unidos, en 2005
(Hirsch, 2005). El valor del índice h corresponde a la
cantidad de trabajos con al menos la misma cantidad de
citas. Es decir, un autor tendrá h=10 si publicó al menos
10 artículos que hasta ese momento hayan sido citados en
al menos otros 10 artículos. A partir de esta fórmula,
algunas bases de datos pertenecientes diferentes empresas
como Google Scholar, Scopus o Web of Knowledge
(WOK, Institute for Scientific Information) procesan la
información y calculan los índices h de los investigadores,
los que tienen pequeñas diferencias de acuerdo a las
publicaciones que incluya cada base.
Frente a los indicadores cuantitativos tradicionales para
evaluar a los investigadores (cantidad total de artículos o
cantidad total de citas), este índice introduce como
variable la distribución del impacto que pueden tener las
Impacto científico de los investigadores
publicaciones del autor. Sin embargo, como todo índice
tiene sus importantes limitaciones, las que deben
considerarse para ponerlo en contexto.
¿Cuáles son las principales limitantes del índice h?
Existen varios cuestionamientos al índice h, los que no
implican que el mismo no pueda ser un insumo de
interés, sino que cuestionan el uso del mismo como un
indicador de calidad en los aportes científicos de un
autor. Tal como lo plantea Kreiner (2016), no es viable
cuantificar la calidad científica -algo que de acuerdo al
autor no puede ser medido- con un valor numérico. Más
allá de las discusiones sobre la posibilidad de medir la
calidad o los aportes científicos conceptuales, es
importante considerar las limitantes que plantean
indicadores como el índice h, ya que frecuentemente son
utilizados sin que se tenga claro que es lo que
efectivamente mide.
Hay uno que surge en forma inmediata, que es que el
índice no considera ni la cantidad de artículos ni la
cantidad de citas que tienen los artículos que están por
encima o por debajo del índice. Por ejemplo, siguiendo
con el ejemplo anterior, dos autores pueden tener un h=
10, teniendo uno 100 artículos de los que 10 tengan más
de 10 citas, y otro tenga 10 artículos citado cada uno en
otro. El índice será el mismo independiente de que el
primer autor tenga otros 90 artículos, y que cada uno de
estos pueda tener 9 citas. Su índice h, y por tanto, la
contribución científica de ambos medida a partir del
índice h sería la misma.
Un segundo aspecto que influye en forma muy clara es el
tiempo de actividad del investigador. El índice no
considera ni los momentos de publicación ni los
momentos de haber sido citados, sino solamente el total.
Por tanto, un científico puede tener un índice claramente
superior a otro debido simplemente a tener más tiempo
de trabajo acumulado, pese a que sus contribuciones y
aportes recientes fueran mucho menores.
Un tercer punto relevante es el área temática, ya que un
autor o un grupo de trabajo puede estar haciendo
contribuciones de alto interés en temas en que haya muy
pocos grupos trabajando a nivel internacional, con lo que
la probabilidad de que sus trabajos sean citados es mucho
más baja. Por el contrario, si son temas que estén en
auge, con muchos grupos trabajando y produciendo, la
probabilidad de ser rápidamente citados es mucho mayor,
pese a que esto no necesariamente se relacione con la
calidad científica de los aportes al conocimiento.
227
ISSNL 1022 1301. Archivos Latinoamericanos de Producción Animal. 2023. 31 (3):225-229
Otro aspecto relevante es que el cálculo considera los
artículos en que la persona es autor, independientemente
de la cantidad de autores y del rol del autor en los
mismos. Por ejemplo, es frecuente que en muchos
laboratorios haya personal que participa en los trabajos
sin un rol central en los mismos, pero que el mismo sea
suficiente para participar en las autorías, sin ser autores
de referencia en ningún caso. En muchos casos se ven
autores que aparecen repetidamente, en muchos artículos,
siempre en posiciones intermedias entre los autores, sin
tener contribuciones como autores de referencia
(primero, último, correspondencia). Sin embargo, la
participación reiterada en grupos muy productivos puede
permitirles tener valores altos de índice h, siendo su
contribución muchas veces menor a la de autores con
roles de mayor protagonismo, pero con menos
publicaciones. Como ejemplo extremo, si dos autores del
mismo grupo participan en las mismas publicaciones,
pero uno lidera proyectos, dirige a los estudiantes, genera
la mayor parte de las ideas, etc., y el otro es un integrante
del equipo que participa lo suficiente para ser autor de los
trabajos, pero sin un aporte sustancial, su índice h sería el
mismo. De hecho, el reconocimiento científico parece
ajustarse mejor al índice cuando este se calcula dividiendo
el impacto por la cantidad de autores que considerando el
impacto para todos los autores independientemente de la
cantidad que sean (Koltun y Hafner, 2021).
Por otra parte, el tiempo necesario para poder evaluar el
impacto científico de los trabajos de investigación
muchas veces está condicionado por otros trabajos que
permitan implementar su uso o aplicación, lo que en
muchos campos del conocimiento puede llevar muchos
años. Para ejemplificar esto tomé los datos de las citas
recibidas por algunas publicaciones de autores de
referencia. Por ejemplo, en 1953 Watson y Crick
publicaron el artículo que sentó las bases para el
desarrollo de la mayor parte de la biotecnología actual al
describir la estructura molecular de los ácidos nucleicos.
Un trabajo que de acuerdo a muchas políticas científicas
actuales sería descartado por no tener aplicación
directa En la Figura 1A se presenta la cantidad de
veces que ese trabajo fue citado cada año desde 1970 de
acuerdo a la base bibliográfica Scopus. Si revisamos las
citas por década, pasó de ser citado 198 veces en toda la
década del 70 a ser citado casi 4000 veces en la década del
2010. ¿El aporte de Watson y Crick es como el vino, que
mejora con el tiempo, o simplemente el mismo fue la
base que permitió un muy importante desarrollo
científico durante décadas, y por tanto su impacto
bibliográfico aumenta en forma sostenida? De acuerdo a
los criterios exclusivamente cualitativos, este artículo
hubiera sido simplemente uno más ya que no fue
altamente citado en su momento. Un ejemplo similar lo
constituye un artículo de Einstein y Straus publicado en
1945. En total, durante el periodo 1970-1989, fue citado
30 veces. Una visión simplista podría plantear que en
1980 ya habían pasado 35 años desde su publicación, y
que, por tanto, su impacto se habría diluido. Sin
embargo, el resultado fue el opuesto, ya que en la década
de 2010 la cantidad de citas se multiplicó por 10. El
mismo autor, Einstein, murió en 1955. Varios años
después, en la cada de 1970, el total de sus artículos fue
citado 83 veces por año en promedio, contra las casi
1600 de promedio anual que tuvo en la última década
(Figura 1B). ¿Es que los trabajos de Einstein aportaron
muy poco en su momento, y mucho ahora? ¿O que la
forma de medir el impacto de esta forma muchas veces se
distancia del aporte o de la calidad científica de los
mismos? ¿Cuántos trabajos pasan años desapercibidos
antes de comenzar a generar un impacto directo, y, por
tanto, empezar a ser citados? ¿Los aportes de esos
autores, entonces, no existieron en su momento?
Figura 1. Cantidad de citas recibidas a lo largo del
tiempo por A) Watson y Crick (1953) y B) total de citas
de A. Einstein. Los datos fueron calculados a partir de la
base Scopus.
Ungerfeld
228
ISSNL 1022 1301. Archivos Latinoamericanos de Producción Animal. 2023. 31 (3):225-229
Frente a los cuestionamientos al uso sistematizado del
índice h han surgido propuestas de índices alternativos,
cada uno con sus ventajas y desventajas. El cálculo del
índice G otorga mayor peso a los artículos con mayor
cantidad de citas (Egghe, 2006). Otro indicador, el índice
P (Horzyk, 2014), considera para el cálculo solamente las
citas recibidos de distintos autores, disminuyendo la
incidencia de las “escuelas invisibles” de citas. El índice
i10 fue propuesto por Google Scholar (2011) como la
cantidad de artículos que fueron citados al menos 10
veces, que, si bien considera algunos aspectos
cuestionados del índice h, tampoco considera muchos de
los anteriormente mencionados. Bornman (2013)
propuso el índice Ptop 10%, el que solamente considera el
impacto del 10% de los artículos más citados en el año en
el área. Otro indicador más reciente es el índice k, que
considera en su cálculo la cantidad de autores de cada
artículo (Kaptay, 2020). Otros índices pueden ser
consultados en Alonso et al. (2009), pero más al del
desarrollo de la bibliometría como forma de evaluar la
productividad de los investigadores, el índice h sigue
siendo el más utilizado en las evaluaciones de los
científicos a pesar de que se conoce claramente cuáles son
sus limitantes.
Entonces
Entonces, volviendo al principio, los índices son formas
de cuantificar impactos, pero el uso y abuso de los
mismos, y sobre todo el uso para considerar aspectos que
no son los que miden, puede llevar a conclusiones
equivocadas. Si bien son parte de las herramientas
disponibles para medir productividad científica, los
mismos deben ser considerados en función de lo que
efectivamente miden en base a los insumos y criterios en
que se basan. Por tanto, es importante que los sistemas
de evaluación científica los pongan en contexto al
considerarlos para la evaluación del desempeño
académico.
Alonso, S., Cabrerizo, F.J., Herrera-Viedma, E., Herrera,
F. 2009. h-index: A review focused in its variants,
computation and standardization for different
scientific fields. Journal of Informetrics, 3273-289.
https://doi.org/10.1016/j.joi.2009.04.001.
Althouse, B.M., West, J.D., Bergstrom, C.T., y
Bergstrom, T. 2009. Differences in impact factor
across fields and over time. Journal of the American
Society for Information Science and Technology,
60:27-34.https://doi.org/10.1002/asi.20936
Bornmann, L. 2013. A better alternative to the h index.
Journal of Informetrics, 7:100.
https://doi.org/10.1016/j.joi.2012.09.004
Choueiry, G. 2023. Does the number of authors matter?
Data from 101,580 research papers. In: Quantifying
Health. https://quantifyinghealth.com/number-of-
authors-of-research-papers/ Accedido el 13 de marzo
de 2023.
Egghe, L. 2006. Theory and practise of the g-index.
Scientometrics, 69:131152.
https://doi.org/10.1007/s11192-006-0144-7
Einstein, A. y Straus, E.G. 1945. The influence of the
expansion of space on the gravitation fields
surrounding the individual stars. Reviews of Modern
Physics, 17:120-124.
https://doi.org/10.1103/RevModPhys.17.120
Google Scholar. 2011. Google Scholar citations open to
all. https://scholar.googleblog.com/2011/11/google-
scholar-citations-open-to-all.html Accedido el 11 de
julio de 2023.
Literatura Citada
Hirsch, J.E. 2005.An index to quantify an individual's
scientific research output. Proceedings of the
National Academy of Sciences USA, 102:16569-
16572.10.1073/pnas.0507655102. Horzak, A. 2014.
P-INDEX - a fair alternative to H-INDEX.
https://home.agh.edu.pl/~horzyk/papers/P-
index.pdf Accedido el 11 de julio de 2023.
Kaptay, G. 2020. The k-index is introduced to replace the
h-index to evaluate better the scientific excellence of
individuals. Heliyon, 6:e04415.
https://doi.org/10.1016/j.heliyon.2020.e04415
Ketcham, C. y Crawford, J. 2007. The impact of review
articles. Laboratory Investigation, 87:11741185.
https://doi.org/10.1038/labinvest.3700688
Koltun, V. y Hafner, D. 2021. The h-index is no longer
an effective correlate of scientific reputation. PLoS
ONE, 16:e0253397.
https://doi.org/10.1371/journal.pone.0253397
Kreiner, G. 2016. The slavery of the h-indexMeasuring
the unmeasurable. Frontiers on Human
Neuroscience, 10:556.
https://doi.org/10.3389/fnhum.2016.00556
Watson, J.D. y Crick, F.H.C. 1953. Molecular structure of
nucleic acids: A structure for deoxyribose nucleic acid.
Nature, 171:737-738.
https://doi.org/10.1038/171737a0
Impacto científico de los investigadores 229
ISSNL 1022 1301. Archivos Latinoamericanos de Producción Animal. 2023. 31 (3):225-229