Blog de la Revista Comunicar

Evaluación de revistas científicas por FECYT: exigencia, calidad formal y discutible impacto científico

sellosfecyt

Desde hace unas semanas, tenemos el listado provisional de las revistas que obtienen el sello FECYT, que ha incrementado su importancia en el contexto de las revistas españolas, debido a la desactualización de otros productos de evaluación científica como IN-RECS, DICE o RESH. No obstante, como herramienta de evaluación de la calidad tiene como limitación que solo arroja luz sobre la calidad de las revistas que lo poseen, sin aportar más información que permita distinguirlas entre sí, generando una dicotomía que, mal interpretada, puede conducir a interpretaciones peligrosas en la evaluación de revistas españolas (no todo es blanco o negro).

La evaluación que realiza la FECYT a las revistas aspirantes es un proceso complejo y amplio, midiendo diferentes dimensiones como son:

  • Calidad formal: Cumplimiento de los principales criterios formales de calidad científica de las publicaciones.
  • Procesos: La FECYT audita las revistas, comprobando si aquellos procesos a los que se compromete son llevados a cabo (evaluaciones de trabajos, edición de ejemplares, etc.).
  • Impacto científico: La FECYT, contabiliza y pondera las citas de cada revista. Para que una revista acredite impacto en el área debe superar una horquilla establecida para su área.

Este último apartado es muy discutible tal como se realiza. Se ponderan las citas según la supuesta calidad de la revista que la emite en relación a los productos que la indexen. El constructo de ponderación (Tabla 1) que realizan sobre las revistas es impreciso en algunos aspectos, y la valoración de los productos utilizados es desacertada desde el punto de vista contextual, pero repasemos esta información punto por punto.

tabla1a

En primer lugar no se indica la ventana de citación. ¿Qué años se miden? Si estamos utilizando INRECS 2006-2009 ¿Significa eso que se tienen en cuenta artículos publicados en 2008 y anteriores? ¿Tiene sentido que un sello de calidad de revistas del año 2014 tenga en cuenta el impacto de trabajos de 2008? Cabe destacar que tampoco se indica qué hacen con las auto-citas.

Pero quizás el apartado más controvertido sea el valor que se le ha dado a los diferentes productos, las reglas de cálculo:

  1. ¿Web of Science es lo mismo que Scopus? Por supuesto que no, claramente WoS es mucho más exigente y elitista que Scopus, pensemos que una de las puertas para entrar en Scopus es ser editada por Elsevier (bajo pago) ¿Por qué igualar estos productos? ¿Es lo mismo posicionarse en el cuarto cuartil de Scopus que de WOS? Para ilustrar la diferencia entre los cuartiles entre WoS y Scopus podemos ver en la tabla 2 cómo se posicionan las revistas españolas de educación en los dos productos.tabla2a
  2. Citas WOS. ¿A qué se refiere esta categoría? ¿A las revistas que aún no tienen calculado el impacto? ¿A las revistas de la base de datos Arts & Humanities Citation Index? ¿Significa que una revista de Arts & Humanities Citation Index (pongamos por ejemplo la prestigiosa revista Film Quaterly) vale menos que una revista indexada en ERIH?
  3. Citas familia IN-REC. Estos productos destacaban por su exhaustividad a la hora de analizar revistas, exhaustividad que hacía que hubiese una gran variedad de revistas en relación a su calidad ¿Qué sentido tiene utilizar este producto si no se utilizan las distinciones de cuartiles? ¿Es lo mismo una cita de la revista Trípodos (primer cuartil de Comunicación) a la revista de la SEECI (última posición)?
  4. Citas SciELO. Por fin aparece SciELO como base de datos referente, y lo hace por encima de la familia INREC. En el área de Ciencias Sociales, el referente para Iberoamérica han sido mayoritariamente revistas españolas. Ponderar SciELO (sin calcular el impacto de sus revistas) por encima de IN-RECS es una decisión precipitada y arbitraria, sobre todo porque en España tenemos revistas de gran calidad en Ciencias Sociales, con mayor impacto internacional (hasta ahora) que no tienen posibilidad de entrar en este producto.
  5. Categoría ERIH. Las revistas ERIH se clasifican en tres categorías, NAT, INT1 e INT2, y la diferencia entre estas categorías es exponencial. La simplificación que realiza la FECYT no se justifica (sólo distingue dos categorías, uniendo las categorías INT). Por otra parte, los valores asignados no tienen lógica en el contexto del resto de productos. ¿Tiene más valor la revista Comunicar por pertenecer a la categoría INT de ERIH (12 puntos) que por pertenecer a Web of Science (3 puntos)?

A modo de conclusión, unas breves reflexiones:

  • Siguen siendo necesarios productos de evaluación que aporten información sobre la calidad de las revistas españolas más allá de WOS y Scopus.
  • La ponderación del impacto de las revistas de FECYT es imprecisa e incorrecta, en primer lugar por la falta de precisión al utilizar productos como INRECS o ERIH (no utilizan correctamente las categorías). Para usar mal estos productos, casi mejor no usarlos. En segundo lugar, y este es uno de los principales problemas, porque en conjunto, las puntuaciones que se asignan a los diferentes productos no tienen lógica.
  • Salta SciELO a la palestra. ¿Se debe usar este producto para evaluar revistas, profesores, centros en España? Por otra parte puntuar a SciELO por encima de revistas que aparecen en INRECS en primer cuartil es un error, pero claro, el sistema tampoco distingue entre cuartiles. Hacemos un flaco favor a las revistas españolas de Ciencias Sociales si la FECYT comienza a utilizar como producto de evaluación a una base de datos que veta a las revistas españolas.

SciELO aterriza en Web of Science

scielo

Ya podemos consultar en España SciELO desde Web of Science (Thomson Reuters), en América Latina el lanzamiento fue hace unos meses. SciELO (Scientific Electronic Library Online) es una base de datos de revistas científicas con cobertura en América Latina, España, Portugal, el Caribe y Sudáfrica. SciELO surge como un programa brasileño coordinado por FAPESP (Fundaçao de amparo a pesquisa do Estado de Sáo Paulo), para la publicación cooperativa de revistas Open Access que ha ido creciendo hasta poseer en la actualidad 650 títulos.  Cabe decir, que España realiza su aportación en revistas biosanitarias (de momento).

Parece que Thomson Reuters ha vuelto a salir victorioso de otra batalla. La principal lucha que existía entre Web of Science y su principal competidor Scopus gira en torno a dos argumentos simples Precisión y Exhaustividad

  • Precisión. Nos referimos en este caso a la capacidad de incluir las mejores revistas y sobre todo de excluir a aquellas revistas, en definitiva, cuando consultamos estos productos lo que deseamos ver son la élite de revistas científicas.
  • Exhaustividad. El otro concepto, casi contrapuesto es la exhaustividad, es decir, la cobertura que las bases de datos tienen de las diferentes áreas temáticas y geográficas. El lema actual de Scopus es «The largest abstract and citation database of peer-reviewed literature».

Hasta hace poco, el principal argumento de Scopus frente a Web of Science es que poseía más revistas, 1/3 aproximadamente. Web of Science efectivamente posee áreas geográficas poco representadas (este problema también está presente en Scopus, pero en menor grado), aunque en el 2008 hubo un interés por parte de Web of Science de  aumentar la cobertura en determinadas regiones (España se vio muy beneficiada de esta política). El principal caballo de batalla de Thomson Reuters ha sido no “dejar pasar” a revistas que no mereciesen pertenecer a la élite y en expulsar a aquellas revistas “tramposas” o devaluadas, mientras que Scopus es acusada de no tener un proceso de inclusión claro, con el fin de aumentar el número de sus revistas.

Pero con la integración de bases de datos externas como Chinese Science Citation Index y Scielo Citation Index, Thomson ha superado la cobertura, sin necesidad de incluir en su “Colección principal” a las nuevas revistas, que por tanto no serán incluidas en los Journal Citation Reports. Es decir, Thomson Reuters ofrece un control bibliográfico superior a su rival, sin necesidad de sacrificar la calidad de su producto clave, los Journal Citation Reports, en torno al cual se articula las políticas científicas en muchos países.

¿Y esto en qué nos afecta? En primer lugar refuerza a la comunidad latinoamericana, potenciando su visualización internacional, algo que beneficia a todos. En segundo lugar y siendo prácticos, los autores y editores podrán tener un mayor control sobre sus revistas y trabajos, y aquellos que nos dedicamos a los estudios bibliométricos podremos estudiar estas revistas con mayor facilidad, por lo que supone Thomson Reuter como base de datos con un alto nivel de normalización y automatización.

En fin, solamente queda dejar un listado de las revistas de Comunicación y Educación presentes en SciELO, cabe destacar que no hay ninguna revista española en Comunicación, y sólo una en Educación (FEM Revista de la Fundación Educación Médica), mientras que las revistas brasileñas son mayoría (no hay que olvidar que en origen es un producto brasileño). Termino haciendo una predicción, las revistas españolas se multiplicarán en los próximos meses en esta base de datos.

COMMUNICATION

ar

CUADERNOS DEL CENTRO DE ESTUDIOS EN DISEÑO Y COMUNICACIÓN ENSAYOS

br

INTERCOM REVISTA BRASILEIRA DE CIENCIAS DA COMUNICAÇAO

br

OPINIAO PUBLICA

co

SIGNO Y PENSAMIENTO

co

PALABRA CLAVE

co

ANAGRAMAS RUMBOS Y SENTIDOS DE LA COMUNICACIÓN

mx

COMUNICACIÓN Y SOCIEDAD

Education & Educational Research

ar

CIENCIA DOCENCIA Y TECNOLOGIA

br

INTERFACE COMUNICAÇAO SAUDE EDUCAÇAO

br

REVISTA BRASILEIRA DE EDUCACAO ESPECIAL

br

EDUCAÇAO E REALIDADE

br

EDUCAÇAO E SOCIEDADE

br

BOLEMA BOLETIM DE EDUCAÇAO MATEMATICA

br

REVISTA BRASILEIRA DE ENSINO DE FISICA

br

PRO POSIÇOES

br

REVISTA BRASILEIRA DE EDUCAÇAO

br

CADERNOS CEDES

br

EDUCACAO E PESQUISA

br

AVALIAÇAO REVISTA DA AVALIAÇAO DA EDUCAÇAO SUPERIOR CAMPINAS

br

HISTORIA DA EDUCAÇAO

br

CADERNOS DE PESQUISA

br

REVISTA BRASILEIRA DE ESTUDOS PEDAGOGICOS

br

EDUCAR EM REVISTA

br

CIENCIA EDUCAÇAO BAURU

br

TRABALHO EDUCAÇAO E SAUDE

br

EDUCAÇAO EM REVISTA

br

ENSAIO AVALIAÇAO E POLITICAS PUBLICAS EM EDUCAÇAO

co

REVISTA COLOMBIANA DE EDUCACIÓN

co

EDUCACIÓN Y EDUCADORES

co

PROFILE ISSUES IN TEACHERS PROFESSIONAL DEVELOPMENT

cr

REVISTA ELECTRÓNICA EDUCARE

cr

ACTUALIDADES INVESTIGATIVAS EN EDUCACION

cl

ESTUDIOS PEDAGÓGICOS VALDIVIA

cl

CALIDAD EN LA EDUCACIÓN

es

FEM REVISTA DE LA FUNDACIÓN EDUCACIÓN MÉDICA

mx

PERFILES EDUCATIVOS

mx

REVISTA ELECTRÓNICA DE INVESTIGACIÓN EDUCATIVA

mx

REVISTA LAT. DE INVESTIGACIÓN EN MATEMÁTICA EDUCATIVA

mx

SINÉCTICA

pt

REVISTA PORTUGUESA DE EDUCAÇAO

pt

REVISTA LUSOFONA DE EDUCAÇAO

za

YESTERDAY AND TODAY

za

SOUTH AFRICAN JOURNAL OF EDUCATION

ve

REVISTA DE PEDAGOGÍA

ve

PARADIGMA

ve

INVESTIGACIÓN Y POSTGRADO