Blog de la Revista Comunicar

Las revistas Iberoamericanas de Educación y Comunicación en Scimago Journal Rank (Scopus)

El pasado mes de Junio, después de aparecer la actualización de los Journal Citation Reports, apareció también la actualización de Scimago Journal Rank (Grupo Scimago). En este producto, también aparece la revista Comunicar como la revista Iberoamericana líder en las áreas de Comunicación y Educación. La base de datos Scopus se caracteriza por contener un mayor volumen de revistas científicas que Web of Science Core Collection. En el ámbito iberoamericano es especialmente llamativo. Por ejemplo, en la categoría Communication aparecen 18 revistas, mientras que en Communication de Web of Sciences sólo está presente en la actualidad una revista, Comunicar.No obstante, Web of Science pretende registrar sólo aquellas revistas que pertenecen a la élite más citada, mientras que en Scopus prima la exhaustividad y la representación internacional.

Otro aspecto que cabe resaltar más allá de la mejor representación iberoamericana, es la predominancia de España y Brasil en Educación y Comunicación. Hay que destacar que Brasil apenas tiene representación en Web of Science. No obstante, sucede que las pocas revistas que están en JCR en este listado ocupan posiciones privilegiadas. No sería de extrañar que viendo el impacto de «Comunicación y Sociedad» regresase el próximo curso a Web of Science.

Tabla 1. Revistas Iberoamericanas de Comunicación en Scimago Journal Rank 2014

imagecomunicacionsjrnjcr

 

Tabla 2. Revistas Iberoamericanas de Educación en Scimago Journal Rank 2014

imageducacionsjr

Evaluación de revistas científicas por FECYT: exigencia, calidad formal y discutible impacto científico

sellosfecyt

Desde hace unas semanas, tenemos el listado provisional de las revistas que obtienen el sello FECYT, que ha incrementado su importancia en el contexto de las revistas españolas, debido a la desactualización de otros productos de evaluación científica como IN-RECS, DICE o RESH. No obstante, como herramienta de evaluación de la calidad tiene como limitación que solo arroja luz sobre la calidad de las revistas que lo poseen, sin aportar más información que permita distinguirlas entre sí, generando una dicotomía que, mal interpretada, puede conducir a interpretaciones peligrosas en la evaluación de revistas españolas (no todo es blanco o negro).

La evaluación que realiza la FECYT a las revistas aspirantes es un proceso complejo y amplio, midiendo diferentes dimensiones como son:

  • Calidad formal: Cumplimiento de los principales criterios formales de calidad científica de las publicaciones.
  • Procesos: La FECYT audita las revistas, comprobando si aquellos procesos a los que se compromete son llevados a cabo (evaluaciones de trabajos, edición de ejemplares, etc.).
  • Impacto científico: La FECYT, contabiliza y pondera las citas de cada revista. Para que una revista acredite impacto en el área debe superar una horquilla establecida para su área.

Este último apartado es muy discutible tal como se realiza. Se ponderan las citas según la supuesta calidad de la revista que la emite en relación a los productos que la indexen. El constructo de ponderación (Tabla 1) que realizan sobre las revistas es impreciso en algunos aspectos, y la valoración de los productos utilizados es desacertada desde el punto de vista contextual, pero repasemos esta información punto por punto.

tabla1a

En primer lugar no se indica la ventana de citación. ¿Qué años se miden? Si estamos utilizando INRECS 2006-2009 ¿Significa eso que se tienen en cuenta artículos publicados en 2008 y anteriores? ¿Tiene sentido que un sello de calidad de revistas del año 2014 tenga en cuenta el impacto de trabajos de 2008? Cabe destacar que tampoco se indica qué hacen con las auto-citas.

Pero quizás el apartado más controvertido sea el valor que se le ha dado a los diferentes productos, las reglas de cálculo:

  1. ¿Web of Science es lo mismo que Scopus? Por supuesto que no, claramente WoS es mucho más exigente y elitista que Scopus, pensemos que una de las puertas para entrar en Scopus es ser editada por Elsevier (bajo pago) ¿Por qué igualar estos productos? ¿Es lo mismo posicionarse en el cuarto cuartil de Scopus que de WOS? Para ilustrar la diferencia entre los cuartiles entre WoS y Scopus podemos ver en la tabla 2 cómo se posicionan las revistas españolas de educación en los dos productos.tabla2a
  2. Citas WOS. ¿A qué se refiere esta categoría? ¿A las revistas que aún no tienen calculado el impacto? ¿A las revistas de la base de datos Arts & Humanities Citation Index? ¿Significa que una revista de Arts & Humanities Citation Index (pongamos por ejemplo la prestigiosa revista Film Quaterly) vale menos que una revista indexada en ERIH?
  3. Citas familia IN-REC. Estos productos destacaban por su exhaustividad a la hora de analizar revistas, exhaustividad que hacía que hubiese una gran variedad de revistas en relación a su calidad ¿Qué sentido tiene utilizar este producto si no se utilizan las distinciones de cuartiles? ¿Es lo mismo una cita de la revista Trípodos (primer cuartil de Comunicación) a la revista de la SEECI (última posición)?
  4. Citas SciELO. Por fin aparece SciELO como base de datos referente, y lo hace por encima de la familia INREC. En el área de Ciencias Sociales, el referente para Iberoamérica han sido mayoritariamente revistas españolas. Ponderar SciELO (sin calcular el impacto de sus revistas) por encima de IN-RECS es una decisión precipitada y arbitraria, sobre todo porque en España tenemos revistas de gran calidad en Ciencias Sociales, con mayor impacto internacional (hasta ahora) que no tienen posibilidad de entrar en este producto.
  5. Categoría ERIH. Las revistas ERIH se clasifican en tres categorías, NAT, INT1 e INT2, y la diferencia entre estas categorías es exponencial. La simplificación que realiza la FECYT no se justifica (sólo distingue dos categorías, uniendo las categorías INT). Por otra parte, los valores asignados no tienen lógica en el contexto del resto de productos. ¿Tiene más valor la revista Comunicar por pertenecer a la categoría INT de ERIH (12 puntos) que por pertenecer a Web of Science (3 puntos)?

A modo de conclusión, unas breves reflexiones:

  • Siguen siendo necesarios productos de evaluación que aporten información sobre la calidad de las revistas españolas más allá de WOS y Scopus.
  • La ponderación del impacto de las revistas de FECYT es imprecisa e incorrecta, en primer lugar por la falta de precisión al utilizar productos como INRECS o ERIH (no utilizan correctamente las categorías). Para usar mal estos productos, casi mejor no usarlos. En segundo lugar, y este es uno de los principales problemas, porque en conjunto, las puntuaciones que se asignan a los diferentes productos no tienen lógica.
  • Salta SciELO a la palestra. ¿Se debe usar este producto para evaluar revistas, profesores, centros en España? Por otra parte puntuar a SciELO por encima de revistas que aparecen en INRECS en primer cuartil es un error, pero claro, el sistema tampoco distingue entre cuartiles. Hacemos un flaco favor a las revistas españolas de Ciencias Sociales si la FECYT comienza a utilizar como producto de evaluación a una base de datos que veta a las revistas españolas.

Matriz de Indicadores de Revistas Españolas de Comunicación – 2013

metaranking

El objetivo de este breve informe es poner en contexto las principales revistas españolas de Comunicación en relación con sus indicadores generados en los productos de evaluación de revistas más utilizados y a la vez comparar los diferentes productos a raíz de sus resultados. Para ello se han utilizado los siguientes productos de evaluación de revistas y sus indicadores: Web of Science, Google Scholar Metrics, Scopus, IN-RECS, RESH, LatindexMIAR, CIRC, ERIH y la obtención del sello FECYT. También, en aquellos productos que generan ranking de revistas se ha indicado la posición de las revistas. La muestra elegida son aquellas revistas españolas que aparecen en el Índice H de las Revistas de Comunicación según Google Scholar Metrics para el año 2013.

Descargar Informe

pdf

Las revistas de Educación españolas en el Scimago Journal Rank 2012

scopuscimago

Igual que hicimos hace unas semanas con las revistas de Comunicación, hoy os traemos la posición de las revistas españolas de Educación en Scopus, el principal producto competidor de Web of Science. En la página del Scimago Journal Rank podemos consultar los rankings de revistas, hecho que seguro será muy útil para próximas convocatorias de sexenios y acreditaciones.

http://www.scimagojr.com/

Pero antes de ponernos a analizar las revistas de Educación en SJR 2012, volvemos a repasar las características principales del indicador. El Scimago Journal Rank es el principal indicador análogo/alternativo al Impact Factor, usado en Web of Science, pero se diferencia en tres factores clave:

  1. Se calcula sobre tres años (como IN-RECS), mientras que en Web of Science se utiliza una ventana de citación de dos años.
  2. No todas las citas valen igual, las revistas mejor posicionadas (según valores de centralidad, similar al eigenfactor) emiten citas con mayor valor, en este sentido se parece al PageRank de Google. Este hecho hace que sea un indicador difícilmente replicable, ya que se debe poseer el conjunto de datos para calcular el peso que va a tener cada revista, mientras que el Impact Factor es en este aspecto mucho más transparente, puesto que todas las revista valen lo mismo.
  3. En el cálculo no se tienen en cuenta las autocitas, esto les facilita mucho la vida a los chicos de Elsevier, evitando tener que controlar un gran grupo de las revistas “tramposas” y por tanto su expulsión. Esto se traduce en que en ranking de revistas creado por Scimago es inmune a la manipulación del impacto a través del incremento de autocitación, pero no así a los llamados “citation cartel“.
  4. Pues bien, ahora que conocemos algo mejor este indicador, vamos a conocer las posiciones temporales de las revistas españolas de Comunicación en Scopus según el SJR 2012.

Tabla 1. Revistas españolas de Educación según el SJR 2012

SJREducación2012

Si comparamos la cobertura que tienen las revistas de Educación en Web of Science y Scopus, veremos que en Scopus hay el doble (20 frente a 10), esto se explica porque Scopus es una base de datos más exhaustiva (menos exigente) y además sus categorías están menos definidas en cuanto a contenidos, por lo que hay un gran número de revistas que no son específicas de la materia (como «Intangible Capital«, creando categorías muy voluminosas, como ejemplo Educación tiene 617 revistas. 

En primer lugar hay que destacar que en promedio, las revistas españolas han mejorado su posición respecto al año 2011, no obstante la gran mayoría de revistas españolas de Educación pertenecen al tercer y cuarto cuartil, con la salvedad de «Revista de Psicodidáctica» (Q1) e «Infancia y Aprendizaje» (Q2). En el caso de «Comunicar«, aumenta su SJR, lo que hace que adelante 55 puestos respecto al año anterior. En la cola podemos encontrar a «Profesorado» y «Revista de Investigacion Educativa» que siguen sin tener impacto calculado.

Potencialmente, las revistas de Educación españolas deben situarse mejor en Scopus que en Web of Science, por el sencillo hecho de que la comunidad española tiene un mayor número de revistas, por lo que potencialmente recibe un mayor número de citas, para estas revistas, debido principalmente a los componentes idiomático y cultural, suelen recibir más citas de las revistas de su entorno que de las revistas anglosajonas, mayoría en estas bases de datos.