Opinião

A encruzilhada

blog.f1000research.com

Miguel Centeno Brito

A ciência contemporânea enfrenta um conjunto de novos desafios que podem limitar a sua legitimidade, o seu valor e alcance. Estas notas abordam alguns destes riscos tentando apontar possíveis caminhos para os ultrapassar.

1.A revisão pelos pares

A revisão pelos pares é um dos pilares de desenvolvimento e legitimação da ciência. Como mecanismo de validação da qualidade científica dos artigos publicados e projetos aprovados, a revisão pelos pares é o “garante” do rigor científico.

Problemas

Muitas das limitações do mecanismo de revisão pelos pares no âmbito académico são há muito reconhecidas. Por ser um processo que se baseia apenas na opinião de dois ou três sujeitos é muito suscetível a erros/desleixo individuais2, favorecendo autores consagrados e discriminando investigadores de países ou instituições cientificamente periféricos3, podendo mesmo ser uma barreira à inovação e novo conhecimento (todos conhecem exemplos de artigos famosos, de “Prémios Nobel”, que foram rejeitados por não se enquadrarem no paradigma vigente).

É também difícil evitar conflitos de interesse. Quantas vezes já vimos, em revisões dos nossos artigos ou em artigos de que somos revisores, recomendações desavergonhadas para a inclusão de citações a referências que claramente são escritos pelo próprio revisor. Se um revisor é um concorrente direto dos autores do artigo – o que é uma situação comum já que presumivelmente é um especialista na matéria pelo que o editor faz bem em o convidar para rever o artigo – pode dificultar ou impedir a publicação do trabalho para ganhar tempo para publicar o seu trabalho. Ou, mais grave ainda, mesmo que não tenha acontecido connosco, já todos ouvimos queixas de algum colega que verificou que um determinado trabalho foi recusado para publicação para depois o ler publicado pelo próprio (presumível) revisor.

Ainda assim, e numa adulteração das sábias palavras de Churchill num outro contexto, o peer review é genericamente percecionado como o pior das formas de garantia de qualidade científica tirando todas as outras.

A recente evolução da ciência nos últimos anos levanta contudo novos desafios à revisão científica pelos pares que importa discutir. Com o crescimento acentuado do número de publicações e revistas científicas e a crescente especialização da investigação, parece haver cada vez menos especialistas disponíveis para rever artigos e projetos. Isto pode introduzir grandes atrasos no processo de revisão, enquanto os editores procuram revisores adequados e disponíveis ou, mais grave, pode fazer com que os trabalhos sejam analisados por revisores menos qualificados para o fazer. De facto, no trabalho diário de investigação, todos nós nos deparamos hoje em dia com a falta de rigor na revisão pelos pares de que resultam publicações com padrões de qualidade muito diverso (incluindo irrelevância ou mera repetição de resultados já publicados, limitações metodológicas graves, conclusões não fundamentadas, etc.), mesmo em revistas de elevada reputação. Uma outra evidência da falência do processo de revisão pelos pares verifica-se nas interações com os revisores durante o processo de submissão dos nossos próprios manuscritos, em que é cada vez mais comum depararmo-nos com comentários (tanto positivos como negativos, embora tenhamos tendência a lembrarmo-nos mais dos segundos) que frequentemente revelam que os revisores não leram com atenção, ou não perceberam, o que escrevemos. Um outro sintoma é, cada vez mais, sermos convidados por editores distraídos, ou incompetentes, para avaliar artigos em temas que claramente extravasam a nossa área de expertise.

Um outro fator que contribui para este cenário é o facto de, cada vez mais, serem os investigadores com menos experiência e um conhecimento menos profundo dos assuntos que mais se envolvem no processo de revisão, até porque são talvez os que têm mais disponibilidade e tempo para o fazer4.

Possíveis soluções

Neste cenário de aceleração do ritmo de publicações científicas e incapacidade de resposta efetiva do tradicional mecanismo de revisão pelos pares, há alguns caminhos possíveis para atualizar o peer review de forma a continuar a proteger a qualidade e rigor científico dos trabalhos publicados.

Uma abordagem possível, já testada em algumas publicações, é a introdução de mais opacidade no sistema de revisão, através de soluções tipo double blind refereeing em que nem o revisor nem o autor sabem quem são os seus interlocutores. É uma forma de responder à discriminação, deliberada ou inconsciente, de investigadores menos consagrados. Mas é uma solução de alcance limitado; em áreas científicas restritas muitas vezes os investigadores conseguem reconhecer o trabalho dos outros mesmo sem a sua identificação explícita. E não responde aos outros desafios identificados acima.

Uma outra abordagem, diametralmente oposta, é a introdução de mais transparência no processo de revisão. Isso pode ser feito através da identificação dos revisores para os autores (chamado open peer review) o que de alguma forma reequilibra o balanço de poder na relação entre os dois agentes durante o processo de revisão5. Ou, uma solução mais radical, pode-se argumentar pela identificação dos revisores no próprio artigo, responsabilizando-os assim pela qualidade do seu trabalho de revisão. Um dos efeitos desta solução seria certamente a redução do número de investigadores disponíveis para se envolver no processo de revisão, já que não estariam protegidos pelo anonimato. Por outro lado, teria a vantagem de permitir que a quantidade e qualidade do trabalho de revisão pudesse ser contabilizado como indicador de desempenho dos revisores, o que talvez pudesse de alguma forma compensar o impacto do efeito anterior.

Uma outra abordagem mais revolucionária seria a importação de modelos de crowd refereering das plataformas digitais de compras, hotéis, restaurantes, etc.. O modelo poderia passar pela disponibilização do manuscrito (preprint) numa plataforma digital com acesso aberto. Os leitores deixariam a sua opinião, apenas indicativa (e.g. número de estrelas) ou mais aprofundada, com comentários e discussão, anónimos ou assinados, e os autores poderiam ir reformulando o texto para responder aos pontos assinalados. Seria um processo muito mais transparente e dinâmico; um artigo poderia nunca ser “definitivo”. Uma variante possível deste modelo seria a sua articulação com o tradicional processo de revisão: os preprints com melhores rankings poderiam ser revistos por pares antes da “publicação definitiva”6.

Muitos detalhes deste modelo de crowd refereeing exigem maturação e afinação, de forma a credibilizar o processo (como ponderar o voto de um verdadeiro especialista no assunto?) e minimizar as possibilidades de fraudes (e.g. auto aplauso e/ou críticas injustas aos trabalhos dos concorrentes) como de resto acontece com os revisores da Wikipedia ou da Bookings.com. Mas o seu impacto seria revolucionário na forma de organização da ciência global, pois só faz sentido num cenário de acesso livre às publicações científicas e os tradicionais indicadores de desempenho (publicações, citações, etc.) teriam de ser totalmente revistos.

2.Indicadores bibliométricos

A utilização de indicadores bibliométricos facilita a avaliação de desempenho dos cientistas (de unidades de investigação, universidades e até países) e é hoje comum como critério determinante para júris de contratações, promoções, provas académicas (e.g. doutoramento) e avaliação de projetos científicos.

Problemas

É natural que não existam indicadores objetivos, quantitativos e completos que consigam refletir a qualidade da ciência praticada por um cientista ou uma equipa de cientistas (algo cuja definição é obviamente subjetiva).

O indicador mais utilizado é o registo do número de publicações científicas em revistas com revisão científica. Trata-se de um indicador que ignora a qualidade (leia-se exigência e/ou reputação) das revistas pelo que por vezes é restringido a revistas reconhecidas por determinadas bases de dados, ou em outros casos a revistas do 1.º quartil da área científica a que se refere a publicação7.

Por outro lado, uma avaliação de desempenho assente no número de publicações é um incentivo à fragmentação dos resultados. Cada artigo só precisa de apresentar um resultado novo pelo que é preferível fragmentar os resultados em pedaços pequenos, em que cada um apresenta um quantum publicável (definido como a quantidade mínima de inovação que garanta a sua publicação) o que dificulta o desenvolvimento global dessa área do conhecimento.

O reconhecimento unânime - quantidade é distinto de qualidade -, e os avanços tecnológicos para a análise de big data, abriu portas a outros indicadores baseados nas citações de artigos como uma medida de impacto científico.

A utilização das citações de artigos como base para medida da sua influência é há muito reconhecida como interessante mas como tendo limitações importantes, porque muito do trabalho anterior acaba por não ser explicitamente reconhecido/citado em publicações científicas8.

No mundo das citações, e num contexto de grande prolixidade de artigos científicos, os autores têm naturalmente tendência a citar as referências citadas pelos trabalhos que leram, o que distorce a relevância das diversas contribuições na área. É uma nova encarnação do efeito de Matthews, em que alguns artigos são mais citados apenas porque tinham sido mais citados até então9.

Tal como para os indicadores baseados no número de artigos, a contagem de citações depende criticamente da base de dados utilizada. Podemos ter, por exemplo, as citações SCOPUS, que reúne revistas consensualmente consideradas como sérias mas exclui outras fontes importantes como livros e teses académicas – que seriam indicadores evidentes da qualidade e relevância científica de um artigo. Ou podemos ter as citações do SCHOLAR do Google, que já inclui livros e teses mas considera uma miríade de revistas de qualidade muito duvidosa e sem peer review, publicadas por editoras predadoras10.

Mais importante, a utilização de métricas de citações de artigos introduz (des) incentivos que podem ser considerados perniciosos para o desenvolvimento da ciência. Por exemplo, ao ignorar as citações de livros académicos, estes indicadores desencorajam o esforço profundo de consolidação e exposição de ideias que normalmente associamos à elaboração de um livro.

Uma outra vítima colateral é a publicação de resultados negativos que, embora seja um dos alicerces do método científico, é fortemente desencorajada porque atrai menos citações. Por outro lado, temas científicos alinhados com os interesses mais populares no sistema científico anglo-saxónico dominante tem maior probabilidade de ser aceite e citado (ou seja, mais impacto) do que investigação em temas com relevância local.

Um dos efeitos do uso de indicadores baseados em citações é a crescente popularidade de artigos de revisão da literatura. Os artigos de revisão são potenciais atractores de citações (particularmente num cenário atual em que existe uma proliferação de artigos de tal ordem que dificilmente alguém consegue ler tudo o que existe sobre um determinado tema). Assim, escrever artigos de revisão torna-se uma atividade de investigação per se. Pode-se mesmo imaginar uma carreira científica de alto impacto sem produção de qualquer conhecimento, apenas como agregador de informação alheia em artigos de revisão. Mais, quando uma contribuição relevante é citada em dois ou três artigos de revisão com sucesso pode cair no esquecimento e deixar de ser citada nos trabalhos seguintes.

Soluções

Apesar de todas as limitações acima enunciadas, os indicadores bibliométricos têm um papel relevante nos processos de avaliação do desempenho científicos de pessoas e instituições. Porém, os riscos associados à sua excessiva valorização, tanto do ponto de vista da injustiça na avaliação como nos comportamentos que encoraja, recomenda que sejam utilizados com parcimónia e nunca como fator decisivo na avaliação. Um bom exemplo é a utilização de indicadores bibliométricos considerados mínimos como fator de elegibilidade para uma dada posição, como é caso de Itália11.

Em alternativa, ou complementarmente, deve ser levado em consideração a avaliação qualitativas dos melhores (ou mais representativos) artigos12, eventualmente selecionados pelo próprio candidato/avaliado. Naturalmente que este é um caso mais fácil de enunciar do que implementar. Por exemplo, como é que se garante num concurso que o júri analisou profundamente os trabalhos dos candidatos? Será necessário que as atas do concurso discutam detalhadamente as limitações e méritos dos artigos avaliados?

Num cenário imaginado de crowd refereeing, em que os artigos estão disponíveis em plataformas públicas que registam os comentários, revisões e avaliação de todos, as construções de indicadores baseados na reação dos leitores poderia ser um bom proxy para a avaliar a relevância, qualidade e até impacto das contribuições científicas de cada um.

Em jeito de conclusão, apresenta-se uma visão da ciência atual como submergida pela proliferação de publicações científicas irrelevantes e fragmentadas, sem revisão rigorosa e eficiente pelos pares, que resulta diretamente dos excessos do modelo publish or perish condimentado pelo uso abusivo de indicadores bibliométricos na avaliação do desempenho.

Neste contexto, importa explorar caminhos alternativos que devolvam a credibilidade e o potencial criador à atividade científica. Estas novas abordagens passam naturalmente pela vontade e capacidade de inovação das agências financiadoras de ciência (que neste sector é quem define as regras), sociedades científicas e outras organizações transversais, mas também pela iniciativa de todos os atores, incluindo direções das instituições, dirigentes de unidades de investigação e até cientistas individuais nas suas decisões quando decidem acolher um colaborador ou revêm um artigo científico.

 

1 As notas que seguem sumarizam algumas das reflexões do autor e não das instituições a que está afiliado ou representa.

2 A revisão por um número pequeno de especialistas pode ser menos competente do que a revisão por muita gente, ainda que menos capaz: Herron, D.M. Surg Endosc (2012) 26: 2275. doi:10.1007/s00464-012-2171-1.

3 Este fenómeno é por isso muitas vezes denominado efeito de Matthew (os ricos ficam cada vez mais ricos e os pobres mais pobres). No contexto do reconhecimento do trabalho científico é também popular o chamado corolário de Matilde: o trabalho de uma mulher em ciência quase sempre é ignorado.

4 O processo de revisão pelos pares é tradicionalmente reservado e de natureza confidencial. O recente aparecimento da plataforma pública PUBLONS, que pretende valorizar de alguma forma o esforço de revisão de artigos, evidencia alguma destas tendências, mostrando por exemplo “revisores de sucesso” (medidos pelo número de revisões feitas no último trimestre) que ainda não terminaram o PhD. Também mostra revisores que revêm centenas de artigos por ano o que sugere que não investem muito tempo ou cuidado nas revisões que submetem (ou então não fazem mais nada!).

5 Algumas experiências revelaram resultados inconclusivos (http://blogs.scientificamerican.com/information-culture/an-introduction-to-open-peer-review/) embora pareça haver a emergência de um consenso no sentido dos méritos do open peer review http://www.utpjournals.press/doi/pdf/10.3138/jsp.44-4-001.

6 A revista PLOS ONE está a introduzir uma variação sobre este modelo mas apenas para pós-publicação (http://www.nature.com/nature/peerreview/debate/nature04992.html) o que, embora não resolva os problemas acima identificados, pode ajudar os leitores (e.g. estudantes de pós-graduação) a distinguir a literatura científica mais relevante numa determinada área de interesse.

7 A recente proliferação de novas revistas científicas de qualidade duvidosa “empurrou” a generalidade das revistas com alguma revisão pelos pares para o 1.º e 2.º quartis pelo que se trata de um indicador com cada vez menos significado.

8MacRoberts, M. H. and MacRoberts, B. R. (1989), Problems of citation analysis: A critical review. J. Am. Soc. Inf. Sci., 40: 342–349. Para além da avaliação da citação como medida da “influência” de um artigo, MacRoberts também discute o desafio das auto citações, algo que hoje já é frequentemente descontado no cálculo destes indicadores de impacto – o que nem sempre é um exercício legítimo pois pode fazer todo o sentido a citação de trabalhos anteriores dos autores, especialmente num ambiente de fragmentação de resultados.

9Se todos os autores escolhessem aleatoriamente três artigos e citassem, aleatoriamente, um quarto das suas referências, um artigo com mais citações teria maior probabilidade de ser citado. Curiosamente, este efeito produz a distribuição de citações que existe (http://arxiv.org/abs/cond-mat/0305150).

10Revistas de acesso aberto que cobram custos de publicação mas não garantem o processo de revisão científica. Uma lista atualizada de editoras e revistas de qualidade duvidosa está disponível em https://scholarlyoa.com/publishers/.

11Nos concursos para posições académicas (equivalentes a professores associados ou catedráticos) considera-se como critério de elegibilidade que os “indicadores” (publicações e citações) estejam acima de mediana (top 50%) http://abilitazione.miur.it/public/index.php?lang=eng.

12Ou contribuições científicas noutros formatos, e.g. livros e teses académicas, provas de agregação, etc..

Miguel Centeno Brito, professor do DEGGE Ciências e investigador do IDL
Um grupo de membros de Instituições do Ensino Superior, onde se inclui CIÊNCIAS, está reunido em frente a um jardim, em visita à Siemens

 A iniciativa teve como objetivo aproximar a academia do tecido empresarial.

Nuno Gonçalves alcança o segundo lugar na competição 3MT ULisboa.

Nuno Gonçalves foi distinguido com o segundo lugar, na final da competição ‘Três Minutos de Tese – 3MT ULisboa’, que se realizou esta quint

Inês Ventura

Inês Ventura, a desenvolver o seu doutoramento no Centro de Ciências do Mar e do Ambiente (MARE) e no Instituto de Biossistemas e Ciências Integrativas (

Universidade de Lisboa

A Universidade de Lisboa alcança a 260ª posição no QS World University Rankings (SUR) 2025, tornando-se na universidade portuguesa mais bem classificada neste ranking.

Signatários do acordo

Dia 5 de junho foi assinado o acordo para a construção do espectrógrafo ANDES (ArmazoNes high Dispersion Echelle Spectrograph – Espectrógrafo Echelle de alta dispersão do Armazones), entre o Observatório Europeu do Sul (

 Luís Carriço, Diretor de CIÊNCIAS, e David Gonçalves, Dean do Instituto da Ciência e do Ambiente da Universidade de São José (USJ) assinam acordo sentados a uma mesa

CIÊNCIAS assinou no dia 5 de junho um acordo de cooperação com o Instituto da Ciência e do Ambiente da Universidade de São José (USJ), com vista à cooperação científica em várias áreas de interesse comum.

Equipa do projeto 'Ciências em Harmonia'

Esta terça-feira, 28 de maio, o projeto ‘Ciências em Harmonia’ assinalou o seu primeiro ano de atividades: um marco comemorado com um convívio informal com a comunidade, que

António Branco

António Branco, docente do Departamento de Informática de CIÊNCIAS, foi um dos oradores convidados da conferência que

Sabemos que no futuro um sismo de magnitude significativa voltará a atingir Lisboa. Não sabemos é quando. E se o pudéssemos prever? E se existisse uma probabilidade forte de ser já em 2027?

Ana Santos, finalista 3MT ULisboa

Ao longo dos próximos dias, daremos a conhecer os quatro finalistas de CIÊNCIAS que irão participar na final da competição

Painel e sessão de Perguntas & Respostas | Estreia de documentário

Perto de 120 pessoas assistiram este sábado, 25 de maio, à estreia do documentário ‘O que se esconde na luz? A ciência da missão espacial Euclid’, produzido pelo Instituto de Astrofísica e Ciências do Espaço (IA).

Investigadores do Instituto Dom Luiz, de CIÊNCIAS, instalaram um sismómetro na Escola Básica Professor Delfim Santos, que se encontra a menos de um quilómetro do Estádio da Luz, em Lisboa, onde vão ter lugar os concertos.

Banner Bênção de Finalistas & Queima das Fitas 2024

Este fim de semana a Alameda da Universidade de Lisboa vai voltar a encher-se de finalistas de CIÊNCIAS e de tantas outras faculdades e universidades. A cerimónia de Bênção de Finalistas decorre amanhã dia 25 de maio, a partir das 11h30.

 

3MT ULisboa 2024

Quatro dos doze finalistas da competição ‘Três Minutos de Tese – Universidade de Lisboa’ são de CIÊNCIAS.

Pinguins-de-adélia

Num artigo agora publicado na Science, investigadores de instituições de renome a nível mundial propõem uma estratégia para envolver todas as partes interessadas na governança do Oceano Antártico através de um processo de ordenamento do espaço marinho (OEM) inteligente do ponto de vista climático.

Impressão artística da missão Euclides no espaço.

A 25 de maio (sábado), às 21h00, vamos ver e compreender as novas imagens de entre as maiores alguma vez feitas do Universo, no Grande Auditório de CIÊNCIAS (Edifício C3). A entrada é livre.

Redes Doutorais Marie Curie Projeto PROMOTE

CIÊNCIAS vai participar numa das propostas vencedoras do concurso 2023 das Redes Doutorais de Ações Marie Skłodowska-Curie (MSCA DN).

Foto de entrega de prémio aos vencedores

No âmbito do projeto Invasives e como atividade inserida na

Dia Nacional dos Cientistas - 16 de maio

O Dia Nacional dos Cientistas foi instituído em 2016 por Resolução da Assembleia da República com o objetivo de reconhecer e celebrar a contribuição vital dos cientistas para o progresso da sociedade.

CIÊNCIAS e OKEANOS em parceria para monitorizar biodiversidade e alterações dos ecossistemas marinhos

Projeto internacional SEAGHOSTS visa a monitorização e conservação das populações de painhos, as aves marinhas mais pequenas do planeta.

Reitoria da ULisboa

O CWUR 2024 avaliou de entre 20.966 instituições de ensino superior e atribuiu à ULisboa o 211.º lugar (top 1.1%) e a 80.ª posição no panorama europeu.

Páginas