Autor: Rafael Repiso – Tradução: Lilian Ribeiro

Os rankings são produtos que se ajustam ao valor de uma população. Para que um ranking seja válido e seja considerado uma representação confiável, são necessárias as seguintes questões:

• Que a população estudada seja homogênea. Por exemplo, que todos os elementos do ranking estejam em condições semelhantes, mesma janela de tempo para merecer, igualdade para fazê-los, etc.
• Que os elementos de gerenciamento representem o conceito pelo qual a classificação é autorizada.
• Que exista uma massa suficiente de dados que permite a classificação dos elementos de classificação.
• Que o elemento a ser estudado possua graduação suficiente para distinguir entre elementos e que não se acumulem elementos com valores idênticos e, portanto, posições.

A realidade é que essas condições são dadas em poucas listagens e, no entanto, aceitamos as classificações com seus defeitos. Quando uma realidade complexa e multidimensional é reduzida a uma única dimensão, resulta em perda de informações, apesar de tudo, gostamos muito de rankings! É por isso que é importante analisar criticamente esses produtos.

A presente proposta compara dois produtos muito diferentes que atendem à mesma população, a comunidade espanhola de pesquisadores em Comunicação, vista de In-Cites (WoS-Internacional) e Dialnet Metrics (Dialnet Espanha). Enquanto o In-Cites WOS (SCIE, SSCI e A & HCI) representa os trabalhos publicados na elite de periódicos internacionais, o Dialnet Metrics é um produto que aspira a representar exaustivamente a produção científica espanhola em ciências sociais em nível nacional. Ou seja, duas dimensões diferentes, mas complementares da mesma realidade. Se demos muita importância à dimensão internacional, não devemos esquecer que a maioria das comunidades de pesquisadores publica principalmente em periódicos nacionais, portanto essas informações são substanciais para avaliar o nosso sistema.

Uma pesquisa no In-Cites, limitada a autores com afiliação espanhola e na categoria “Comunicação”, fornece 4456 perfis diferentes, muitos deles resultados duplicados e triplicados, dos quais se copia os Top 10  por número de citações. O problema nos rankings geralmente está nas filas, os cabeçalhos geralmente resultam nos mesmos atores. O In-Cites gera informações para qualquer pesquisador que trabalha em um centro espanhol e publicou na categoria “Comunicação”. Portanto, não há identificação precisa da comunidade de pesquisadores da comunicação. É surpreendente que os dois pesquisadores com mais nomeações sejam estrangeiros que trabalham em centros espanhóis, além da presença no top de citações de professores de outras áreas, um bibliometrista (Daniel Torres-Salinas) e um físico (Juan Miguel Campanario). Outra curiosidade dos Top 10 é que um trabalho altamente citado posiciona sua autora, Ann Majchrzak, como a décima mais citada.

O caso da Dialnet Metrics é diferente: primeiro, a área de Comunicação é dividida em duas categorias: “Jornalismo e Comunicação Audiovisual que reúne 1266 pesquisadores. A atribuição de áreas tem a ver com os dados do perfil Dialnet, portanto a seleção é muito precisa. Apenas um pesquisador parece estar no top de ambos os rankings, Juan José Igartua.  No top aparecem apenas duas mulheres, Carmen Marta-Lazo e Carmen Costa-Sánchez .

Link para Jornalismo

Link para  Comunicação Audiovisual   

Vantagens de In-Cites:

• Permite restringir relatórios a áreas, combiná-los com outras categorias, mostrar por períodos de tempo, até pesquisar por conjunto de autores (nomes e identificadores individuais).
• Os resultados podem ser baixados em formatos tabulados.
• Refletem uma produção científica muito homogênea, a da elite de periódicos internacionais.
• Fornecem vários indicadores.

 Problemas com In-Cites para organizar os pesquisadores:

Os nomes não são padronizados, portanto, há mais de uma versão deles. Neste Top 10, você teve que unificar os diferentes perfis. Algumas afiliações não correspondem à realidade.

Pesquisadores de outras áreas podem ser apresentados, como no caso de Daniel Torres e J.M. Campanario, que publicou artigos de documentação na “The Information Professional”, uma revista que está em duas categorias diferentes “Library & Information Science” e “Communication”. Portanto, a presença em mais de uma categoria temática dos periódicos utilizados como fonte pode alterar significativamente os resultados.

O próprio sistema de pesquisa e criação de relatórios de In-Cites exclui artigos publicados em outras áreas fora de “Comunicação”, mesmo sendo trabalhos de Comunicação ou de professores de Comunicação. O In-Cites pode tirar proveito dos perfis do Publons gerenciados pelos autores para atribuir mais completamente as áreas, mas para isso é necessário que esses perfis tenham um uso massivo. Por exemplo, o professor Igartua registra mais de 20 artigos publicados em periódicos indexados no JCR, mas o relatório mostra apenas aqueles publicados na categoria “Comunicação”.

Vantagens do Dialnet Métricas

 Não apenas registram artigos, mas também registram outros tipos de documentos, como livros, capítulos de livros e teses.

• A transparência do sistema e sua conectividade com outros tipos de dados permitem uma análise profunda das comunidades.
• Controle muito exaustivo dos pesquisadores, não há duplicações, pelo menos em Comunicação elas não foram detectadas.
• Visualiza uma realidade em que os pesquisadores espanhóis participam massivamente, a produção em nível nacional, algo que, apesar de ser o fenômeno majoritário nas disciplinas das ciências sociais realmente óbvio.

Problemas com Dialnet Métricas:

• Omitem a produção de impacto publicada fora da Espanha, que talvez seja a mais significativa para um pesquisador.
• Algumas tarefas da área não estão corretas, a tarefa entre Jornalismo e Comunicação / Publicidade Audiovisual não é totalmente clara, mas esse é um problema herdado …
• Algumas das atribuições da universidade não são atualizadas.
• Confunde Atas de Congressos com os capítulos dos livros.
• Pobreza nos indicadores. Embora forneça dados muito interessantes, como a “idade” dos pesquisadores, seria muito importante que o Ranking incluísse indicadores que permitam relativizar os indicadores brutos, como o impacto normalizado por categorias.

Em resumo, esses dois produtos permitem que nos aproximemos melhor de um conjunto de dados difícil de entender e, em conjunto, é possível ter uma visão muito completa das comunidades de pesquisadores em Ciências Sociais. No entanto, eles usam duas abordagens muito diferentes e, em geral, oferecem dados diferentes. Esperamos ansiosamente o crescimento da plataforma Dialnet em várias áreas, bem como a correção de erros e a implementação de melhorias. O interessante é que tanto a Clarivate quanto a Fundação Dialnet mostraram que a melhoria contínua é um objetivo diário, por isso estamos muito confiantes de que em breve poderemos usar os dois produtos com garantias para estudar melhor as comunidades científicas espanholas.