Los rankings son productos que ordenan en torno a un valor a una población. Para que un ranking tenga validez y represente fidedignamente se necesita de las siguientes cuestiones:

  • Que la población que se estudie sea homogénea. Por ejemplo, que todos los elementos del ranking hayan tenido unas condiciones similares, misma ventana temporal para hacer méritos, igualdad para hacerlos, etc.
  • Que el/los elementos de ordenación representen de forma fidedigna el concepto por el cuál se autordena el ranking.
  • Que exista una masa de datos suficiente que permita ordenar a los elementos del ranking..
  • Que el elemento que se quiera estudiar tenga la suficiente graduación como para distinguir entre elementos y no se acumulen elementos con idénticos valores y por tanto posiciones.

La realidad es que estas condiciones se dan en pocos listados y sin embargo aceptamos los rankings con sus defectos. Cuando se reduce una realidad compleja y multidimensional a una sola dimensión da como resultado pérdida de información, pese a todo, ¡nos gustan tanto los rankings! Es por ello que es importante analizar críticamente estos productos.

La presente propuesta de compara dos productos muy diferentes pero que atienden a una misma población, la comunidad española de investigadores en Comunicación vista desde In-Cites (WoS-Internacional) y Dialnet Métricas (Dialnet España).  Mientras que In-Cites WOS (SCIE, SSCI y A&HCI) representa a los trabajos publicados en la élite de revistas internacionales, Dialnet Métricas es un producto que aspira a representar exhaustivamente la producción científica española en Ciencias Sociales en el ámbito nacional. Es decir, dos dimensiones diferentes pero complementarias de una misma realidad. Si le hemos dado mucha importancia a la dimensión internacional no debemos obviar que la mayor parte de las comunidades de investigadores publican principalmente en revistas nacionales, por lo que esta información es sustancial apra evalaur nuestro sistema.

Una búsqueda en In-Cites limitándonos a autores con filiación española y en la categoría “Communication” nos devuelve  4456 perfiles diferentes muchos de ellos duplicados y triplicados resultados, de los cuales se copia el Top 10 ordenados por número de citas . El problema en los rankings suele estar en las colas, las cabeceras suelen redundar en los mismos actores. In-Cites genera un informa para, cualquier investigador que trabaje en un centro español y que haya publicado en la categoría “Communication”. Por tanto, no hay una identificación precisa de la comunidad de investigadores de Comunicación. Es llamativo que los dos investigadores con más citas sean extranjeros que trabajen en centros españoles, así como la presencia en el Top de citas de profesores de otras áreas, un bibliómetra (Daniel Torres-Salinas) y un físico (Juan Miguel Campanario). Otra curiosidad del top ten es que un trabajo altamente citado posiciona a su autora, Ann Majchrzak como la décima más citada.

El caso de Dialnet Métricas es diferente, en primer lugar, el área de Comunicación se divide en dos categorías “Periodismo y Comunicación Audiovisual que aglutinan a 1266 investigadores conjuntamente. La asignación de áreas tiene que ver con los datos de perfiles de Dialnet, por lo que la selección es muy precisa. Sólo un investigador parece estar en el top de ambos rankings, Juan José Igartua. En el top sólo aparecen dos mujeres Carmen Marta-Lazo y Carmen Costa-Sánchez.

Enlace Periodismo (https://dialnet.unirioja.es/metricas/ambito/13/area/1960) Enlace Comunicación Audiovisual  (https://dialnet.unirioja.es/metricas/ambito/13/area/1961).

Ventajas de In-Cites.

  • Permite restringir los informes a áreas, combinarlos con otras categorías, mostrar por periodos de tiempo, incluso realizar búsquedas por conjunto de autores (nombres e identificadores individuales).
  • Los resultados se pueden descargar en formatos tabulados.
  • Reflejan una producción científica muy homogénea, la de la élite de las revistas internacionales.
  • Aporta múltiples indicadores.

Problemas con In-Cites para ordenar investigadores.:

  • Los nombres no están normalizados, por lo que aparecen más de una versión, de los mismos, en este Top 10 se han tenido que unificas los diferentes perfiles.
  • Algunas afiliaciones no corresponden con la realidad.
  • Se pueden introducir investigadores de otras áreas, como en el caso de Daniel Torres y J.M. Campanario, que han publicado artículos de Documentación en “El Profesional de la Información”, revista que está en dos categorías diferentes “Library & Information Science” y “Communication”. Por tanto, la presencia en más de una categoría temática de las revistas utilizadas como fuente pueden alterar significativamente los resultados.
  • El propio sistema de búsqueda y creación de informes de In-Cites excluye los artículos publicados en otras áreas fuera de “Communication” aún siendo trabajos de Comunicación o de profesores de Comunicación. In-Cites podría aprovechar los perfiles de Publons que son gestionados por los autores para asignar más exhaustivamente las áreas, pero para eso se necesita que estos perfiles tengan un uso masivo. Por ejemplo, el profesor Igartua registra más de 20 artículos publicados en revistas indexadas en JCR, pero el informe sólo muestra los publicados en la categoría “Communication”.

Ventajas de Dialnet Métricas

  • No sólo registran artículos, sino que también registran otras tipologías de documentos como libros, capítulos de libro y tesis.
  • La transparencia del sistema y su conectividad con otras tipologías de datos permiten realizar análisis profundo de las comunidades.
  • Control muy exhaustivo de los investigadores, no existen duplicidades, al menos no se han detectado en Comunicación.
  • Visualiza una realidad donde los investigadores españoles participan masivamente, la producción a nivel nacional, algo que pese a ser el fenómeno mayoritario en las disciplinas de Ciencias Sociales es obviado.

Problemas con Dialnet Métricas:

  • Omiten la producción de impacto publicada fuera de España que es quizás lo más significativo para un investigador.
  • Algunas de las asignaciones de área no son correctas, la asignación entre Periodismo y Comunicación Audiovisual/Publicidad no queda del todo clara, pero este es un problema heredado…
  • Algunas de las asignaciones de universidad no están actualizadas.
  • Confunde actas de congresos con capítulos de libros.
  • Pobreza en los indicadores. Aunque aporta datos muy interesantes como la “edad” de los investigadores sería muy importante que en el Ranking se incluyesen indicadores que permitiesen relativizar los indicadores brutos como el impacto normalizado por categorías.

En definitiva, estos dos productos nos permiten aproximarnos mejor a un conjunto de datos difícilmente comprensible y además, de forma combinada, se puede obtener una visión muy completa de las comunidades de investigadores en Ciencias Sociales, sin embargo utilizan dos aproximaciones muy diferentes y en general ofrecen datos diferentes. Esperamos ilusionados el crecimiento de la plataforma Dialnet en número de áreas así como la corrección de errores e implementación de mejoras. Lo interesante es que tanto Clarivate como la Fundación Dialnet han mostrado que la mejora continua es un objetivo diario, por lo que estamos muy confiados en que pronto podremos usar ambos productos con garantías para estudiar mejor las comunidades científicas españolas.

Comments are closed

Entradas recientes