Opinião

A encruzilhada

blog.f1000research.com

Miguel Centeno Brito

A ciência contemporânea enfrenta um conjunto de novos desafios que podem limitar a sua legitimidade, o seu valor e alcance. Estas notas abordam alguns destes riscos tentando apontar possíveis caminhos para os ultrapassar.

1.A revisão pelos pares

A revisão pelos pares é um dos pilares de desenvolvimento e legitimação da ciência. Como mecanismo de validação da qualidade científica dos artigos publicados e projetos aprovados, a revisão pelos pares é o “garante” do rigor científico.

Problemas

Muitas das limitações do mecanismo de revisão pelos pares no âmbito académico são há muito reconhecidas. Por ser um processo que se baseia apenas na opinião de dois ou três sujeitos é muito suscetível a erros/desleixo individuais2, favorecendo autores consagrados e discriminando investigadores de países ou instituições cientificamente periféricos3, podendo mesmo ser uma barreira à inovação e novo conhecimento (todos conhecem exemplos de artigos famosos, de “Prémios Nobel”, que foram rejeitados por não se enquadrarem no paradigma vigente).

É também difícil evitar conflitos de interesse. Quantas vezes já vimos, em revisões dos nossos artigos ou em artigos de que somos revisores, recomendações desavergonhadas para a inclusão de citações a referências que claramente são escritos pelo próprio revisor. Se um revisor é um concorrente direto dos autores do artigo – o que é uma situação comum já que presumivelmente é um especialista na matéria pelo que o editor faz bem em o convidar para rever o artigo – pode dificultar ou impedir a publicação do trabalho para ganhar tempo para publicar o seu trabalho. Ou, mais grave ainda, mesmo que não tenha acontecido connosco, já todos ouvimos queixas de algum colega que verificou que um determinado trabalho foi recusado para publicação para depois o ler publicado pelo próprio (presumível) revisor.

Ainda assim, e numa adulteração das sábias palavras de Churchill num outro contexto, o peer review é genericamente percecionado como o pior das formas de garantia de qualidade científica tirando todas as outras.

A recente evolução da ciência nos últimos anos levanta contudo novos desafios à revisão científica pelos pares que importa discutir. Com o crescimento acentuado do número de publicações e revistas científicas e a crescente especialização da investigação, parece haver cada vez menos especialistas disponíveis para rever artigos e projetos. Isto pode introduzir grandes atrasos no processo de revisão, enquanto os editores procuram revisores adequados e disponíveis ou, mais grave, pode fazer com que os trabalhos sejam analisados por revisores menos qualificados para o fazer. De facto, no trabalho diário de investigação, todos nós nos deparamos hoje em dia com a falta de rigor na revisão pelos pares de que resultam publicações com padrões de qualidade muito diverso (incluindo irrelevância ou mera repetição de resultados já publicados, limitações metodológicas graves, conclusões não fundamentadas, etc.), mesmo em revistas de elevada reputação. Uma outra evidência da falência do processo de revisão pelos pares verifica-se nas interações com os revisores durante o processo de submissão dos nossos próprios manuscritos, em que é cada vez mais comum depararmo-nos com comentários (tanto positivos como negativos, embora tenhamos tendência a lembrarmo-nos mais dos segundos) que frequentemente revelam que os revisores não leram com atenção, ou não perceberam, o que escrevemos. Um outro sintoma é, cada vez mais, sermos convidados por editores distraídos, ou incompetentes, para avaliar artigos em temas que claramente extravasam a nossa área de expertise.

Um outro fator que contribui para este cenário é o facto de, cada vez mais, serem os investigadores com menos experiência e um conhecimento menos profundo dos assuntos que mais se envolvem no processo de revisão, até porque são talvez os que têm mais disponibilidade e tempo para o fazer4.

Possíveis soluções

Neste cenário de aceleração do ritmo de publicações científicas e incapacidade de resposta efetiva do tradicional mecanismo de revisão pelos pares, há alguns caminhos possíveis para atualizar o peer review de forma a continuar a proteger a qualidade e rigor científico dos trabalhos publicados.

Uma abordagem possível, já testada em algumas publicações, é a introdução de mais opacidade no sistema de revisão, através de soluções tipo double blind refereeing em que nem o revisor nem o autor sabem quem são os seus interlocutores. É uma forma de responder à discriminação, deliberada ou inconsciente, de investigadores menos consagrados. Mas é uma solução de alcance limitado; em áreas científicas restritas muitas vezes os investigadores conseguem reconhecer o trabalho dos outros mesmo sem a sua identificação explícita. E não responde aos outros desafios identificados acima.

Uma outra abordagem, diametralmente oposta, é a introdução de mais transparência no processo de revisão. Isso pode ser feito através da identificação dos revisores para os autores (chamado open peer review) o que de alguma forma reequilibra o balanço de poder na relação entre os dois agentes durante o processo de revisão5. Ou, uma solução mais radical, pode-se argumentar pela identificação dos revisores no próprio artigo, responsabilizando-os assim pela qualidade do seu trabalho de revisão. Um dos efeitos desta solução seria certamente a redução do número de investigadores disponíveis para se envolver no processo de revisão, já que não estariam protegidos pelo anonimato. Por outro lado, teria a vantagem de permitir que a quantidade e qualidade do trabalho de revisão pudesse ser contabilizado como indicador de desempenho dos revisores, o que talvez pudesse de alguma forma compensar o impacto do efeito anterior.

Uma outra abordagem mais revolucionária seria a importação de modelos de crowd refereering das plataformas digitais de compras, hotéis, restaurantes, etc.. O modelo poderia passar pela disponibilização do manuscrito (preprint) numa plataforma digital com acesso aberto. Os leitores deixariam a sua opinião, apenas indicativa (e.g. número de estrelas) ou mais aprofundada, com comentários e discussão, anónimos ou assinados, e os autores poderiam ir reformulando o texto para responder aos pontos assinalados. Seria um processo muito mais transparente e dinâmico; um artigo poderia nunca ser “definitivo”. Uma variante possível deste modelo seria a sua articulação com o tradicional processo de revisão: os preprints com melhores rankings poderiam ser revistos por pares antes da “publicação definitiva”6.

Muitos detalhes deste modelo de crowd refereeing exigem maturação e afinação, de forma a credibilizar o processo (como ponderar o voto de um verdadeiro especialista no assunto?) e minimizar as possibilidades de fraudes (e.g. auto aplauso e/ou críticas injustas aos trabalhos dos concorrentes) como de resto acontece com os revisores da Wikipedia ou da Bookings.com. Mas o seu impacto seria revolucionário na forma de organização da ciência global, pois só faz sentido num cenário de acesso livre às publicações científicas e os tradicionais indicadores de desempenho (publicações, citações, etc.) teriam de ser totalmente revistos.

2.Indicadores bibliométricos

A utilização de indicadores bibliométricos facilita a avaliação de desempenho dos cientistas (de unidades de investigação, universidades e até países) e é hoje comum como critério determinante para júris de contratações, promoções, provas académicas (e.g. doutoramento) e avaliação de projetos científicos.

Problemas

É natural que não existam indicadores objetivos, quantitativos e completos que consigam refletir a qualidade da ciência praticada por um cientista ou uma equipa de cientistas (algo cuja definição é obviamente subjetiva).

O indicador mais utilizado é o registo do número de publicações científicas em revistas com revisão científica. Trata-se de um indicador que ignora a qualidade (leia-se exigência e/ou reputação) das revistas pelo que por vezes é restringido a revistas reconhecidas por determinadas bases de dados, ou em outros casos a revistas do 1.º quartil da área científica a que se refere a publicação7.

Por outro lado, uma avaliação de desempenho assente no número de publicações é um incentivo à fragmentação dos resultados. Cada artigo só precisa de apresentar um resultado novo pelo que é preferível fragmentar os resultados em pedaços pequenos, em que cada um apresenta um quantum publicável (definido como a quantidade mínima de inovação que garanta a sua publicação) o que dificulta o desenvolvimento global dessa área do conhecimento.

O reconhecimento unânime - quantidade é distinto de qualidade -, e os avanços tecnológicos para a análise de big data, abriu portas a outros indicadores baseados nas citações de artigos como uma medida de impacto científico.

A utilização das citações de artigos como base para medida da sua influência é há muito reconhecida como interessante mas como tendo limitações importantes, porque muito do trabalho anterior acaba por não ser explicitamente reconhecido/citado em publicações científicas8.

No mundo das citações, e num contexto de grande prolixidade de artigos científicos, os autores têm naturalmente tendência a citar as referências citadas pelos trabalhos que leram, o que distorce a relevância das diversas contribuições na área. É uma nova encarnação do efeito de Matthews, em que alguns artigos são mais citados apenas porque tinham sido mais citados até então9.

Tal como para os indicadores baseados no número de artigos, a contagem de citações depende criticamente da base de dados utilizada. Podemos ter, por exemplo, as citações SCOPUS, que reúne revistas consensualmente consideradas como sérias mas exclui outras fontes importantes como livros e teses académicas – que seriam indicadores evidentes da qualidade e relevância científica de um artigo. Ou podemos ter as citações do SCHOLAR do Google, que já inclui livros e teses mas considera uma miríade de revistas de qualidade muito duvidosa e sem peer review, publicadas por editoras predadoras10.

Mais importante, a utilização de métricas de citações de artigos introduz (des) incentivos que podem ser considerados perniciosos para o desenvolvimento da ciência. Por exemplo, ao ignorar as citações de livros académicos, estes indicadores desencorajam o esforço profundo de consolidação e exposição de ideias que normalmente associamos à elaboração de um livro.

Uma outra vítima colateral é a publicação de resultados negativos que, embora seja um dos alicerces do método científico, é fortemente desencorajada porque atrai menos citações. Por outro lado, temas científicos alinhados com os interesses mais populares no sistema científico anglo-saxónico dominante tem maior probabilidade de ser aceite e citado (ou seja, mais impacto) do que investigação em temas com relevância local.

Um dos efeitos do uso de indicadores baseados em citações é a crescente popularidade de artigos de revisão da literatura. Os artigos de revisão são potenciais atractores de citações (particularmente num cenário atual em que existe uma proliferação de artigos de tal ordem que dificilmente alguém consegue ler tudo o que existe sobre um determinado tema). Assim, escrever artigos de revisão torna-se uma atividade de investigação per se. Pode-se mesmo imaginar uma carreira científica de alto impacto sem produção de qualquer conhecimento, apenas como agregador de informação alheia em artigos de revisão. Mais, quando uma contribuição relevante é citada em dois ou três artigos de revisão com sucesso pode cair no esquecimento e deixar de ser citada nos trabalhos seguintes.

Soluções

Apesar de todas as limitações acima enunciadas, os indicadores bibliométricos têm um papel relevante nos processos de avaliação do desempenho científicos de pessoas e instituições. Porém, os riscos associados à sua excessiva valorização, tanto do ponto de vista da injustiça na avaliação como nos comportamentos que encoraja, recomenda que sejam utilizados com parcimónia e nunca como fator decisivo na avaliação. Um bom exemplo é a utilização de indicadores bibliométricos considerados mínimos como fator de elegibilidade para uma dada posição, como é caso de Itália11.

Em alternativa, ou complementarmente, deve ser levado em consideração a avaliação qualitativas dos melhores (ou mais representativos) artigos12, eventualmente selecionados pelo próprio candidato/avaliado. Naturalmente que este é um caso mais fácil de enunciar do que implementar. Por exemplo, como é que se garante num concurso que o júri analisou profundamente os trabalhos dos candidatos? Será necessário que as atas do concurso discutam detalhadamente as limitações e méritos dos artigos avaliados?

Num cenário imaginado de crowd refereeing, em que os artigos estão disponíveis em plataformas públicas que registam os comentários, revisões e avaliação de todos, as construções de indicadores baseados na reação dos leitores poderia ser um bom proxy para a avaliar a relevância, qualidade e até impacto das contribuições científicas de cada um.

Em jeito de conclusão, apresenta-se uma visão da ciência atual como submergida pela proliferação de publicações científicas irrelevantes e fragmentadas, sem revisão rigorosa e eficiente pelos pares, que resulta diretamente dos excessos do modelo publish or perish condimentado pelo uso abusivo de indicadores bibliométricos na avaliação do desempenho.

Neste contexto, importa explorar caminhos alternativos que devolvam a credibilidade e o potencial criador à atividade científica. Estas novas abordagens passam naturalmente pela vontade e capacidade de inovação das agências financiadoras de ciência (que neste sector é quem define as regras), sociedades científicas e outras organizações transversais, mas também pela iniciativa de todos os atores, incluindo direções das instituições, dirigentes de unidades de investigação e até cientistas individuais nas suas decisões quando decidem acolher um colaborador ou revêm um artigo científico.

 

1 As notas que seguem sumarizam algumas das reflexões do autor e não das instituições a que está afiliado ou representa.

2 A revisão por um número pequeno de especialistas pode ser menos competente do que a revisão por muita gente, ainda que menos capaz: Herron, D.M. Surg Endosc (2012) 26: 2275. doi:10.1007/s00464-012-2171-1.

3 Este fenómeno é por isso muitas vezes denominado efeito de Matthew (os ricos ficam cada vez mais ricos e os pobres mais pobres). No contexto do reconhecimento do trabalho científico é também popular o chamado corolário de Matilde: o trabalho de uma mulher em ciência quase sempre é ignorado.

4 O processo de revisão pelos pares é tradicionalmente reservado e de natureza confidencial. O recente aparecimento da plataforma pública PUBLONS, que pretende valorizar de alguma forma o esforço de revisão de artigos, evidencia alguma destas tendências, mostrando por exemplo “revisores de sucesso” (medidos pelo número de revisões feitas no último trimestre) que ainda não terminaram o PhD. Também mostra revisores que revêm centenas de artigos por ano o que sugere que não investem muito tempo ou cuidado nas revisões que submetem (ou então não fazem mais nada!).

5 Algumas experiências revelaram resultados inconclusivos (http://blogs.scientificamerican.com/information-culture/an-introduction-to-open-peer-review/) embora pareça haver a emergência de um consenso no sentido dos méritos do open peer review http://www.utpjournals.press/doi/pdf/10.3138/jsp.44-4-001.

6 A revista PLOS ONE está a introduzir uma variação sobre este modelo mas apenas para pós-publicação (http://www.nature.com/nature/peerreview/debate/nature04992.html) o que, embora não resolva os problemas acima identificados, pode ajudar os leitores (e.g. estudantes de pós-graduação) a distinguir a literatura científica mais relevante numa determinada área de interesse.

7 A recente proliferação de novas revistas científicas de qualidade duvidosa “empurrou” a generalidade das revistas com alguma revisão pelos pares para o 1.º e 2.º quartis pelo que se trata de um indicador com cada vez menos significado.

8MacRoberts, M. H. and MacRoberts, B. R. (1989), Problems of citation analysis: A critical review. J. Am. Soc. Inf. Sci., 40: 342–349. Para além da avaliação da citação como medida da “influência” de um artigo, MacRoberts também discute o desafio das auto citações, algo que hoje já é frequentemente descontado no cálculo destes indicadores de impacto – o que nem sempre é um exercício legítimo pois pode fazer todo o sentido a citação de trabalhos anteriores dos autores, especialmente num ambiente de fragmentação de resultados.

9Se todos os autores escolhessem aleatoriamente três artigos e citassem, aleatoriamente, um quarto das suas referências, um artigo com mais citações teria maior probabilidade de ser citado. Curiosamente, este efeito produz a distribuição de citações que existe (http://arxiv.org/abs/cond-mat/0305150).

10Revistas de acesso aberto que cobram custos de publicação mas não garantem o processo de revisão científica. Uma lista atualizada de editoras e revistas de qualidade duvidosa está disponível em https://scholarlyoa.com/publishers/.

11Nos concursos para posições académicas (equivalentes a professores associados ou catedráticos) considera-se como critério de elegibilidade que os “indicadores” (publicações e citações) estejam acima de mediana (top 50%) http://abilitazione.miur.it/public/index.php?lang=eng.

12Ou contribuições científicas noutros formatos, e.g. livros e teses académicas, provas de agregação, etc..

Miguel Centeno Brito, professor do DEGGE Ciências e investigador do IDL
Participantes do Nighttime Lettter Writing falam em círculo

No dia 21 de novembro, CIÊNCIAS acolheu a primeira edição portuguesa do Nighttime Letter Writing, um evento de escrita de cartas à mão a apelar a doações para alunos com carências económicas.

Foto Frederico Correia Cerqueira.

Frederico Correia Cerqueira, aluno do Mestrado em Engenharia Informática de CIÊNCIAS, e Manuel Santos, do Instituto Superior de Engenharia de Lisboa, desenvolveram o projeto BinBot: um robot alimentado por energia solar que pode ser a solução para revolucionar a limpeza urbana, de espaços comerciais, festivais de música e outros eventos.

Equipas do Health Crossing Borders e do Lotus.

Os pitches dos projetos Health Crossing Borders e Lotus foram distinguidos com o 1.º e o 2.º lugar, respetivamente, na categoria de estudantes da competição promovida pela H-INNOVA Health INNOVAtion HUB na Digital Health Summit 2024, que decorreu no Funchal na ilha da Madeira, nos dias 26 e 27 de novembro.

Cristina Branquinho, Sofia Augusto e Helena Cristina Serrano

Cristina Branquinho, Sofia Augusto e Helena Cristina Serrano, investigadoras de CIÊNCIAS no Centro de Ecologia, Evolução e Alterações Ambientais (CE3C), são 3 das autoras do capítulo “Drivers of change and their impacts on the WEFE nexus in the Mediterranean region”. 

Alan Phillips, investigador de Ciências, pelo sétimo ano consecutivo na lista de autores mais citados

Alan Phillips, investigador do Instituto de Biossistemas e Ciências Integrativas (BioISI), desenvolve o seu trabalho na área da Microbiologia e foi, este ano, reconhecido pela 7.ª vez consecutiva como um dos investigadores mais citados a nível mundial na categoria de Ciência Vegetal e Animal, na lista Highly Cited Researchers 2024 da Clarivate Analytics.

GEOxyz

No dia 6 de novembro, a GEOxyz, empresa de referência na área de hidrografia e serviços geofísicos e geotécnicos, abriu oficialmente um novo escritório em CIÊNCIAS.

Alunos do Colégio Moderno visitam CIÊNCIAS

Cerca de 200 alunos dos 3.º e 4.º anos participaram, nos dias 18 e 21 de novembro, em atividades de sensibilização no âmbito da Semana Europeia da Prevenção de Resíduos. Logo ao início da manhã, em ambos os dias, os mais pequeninos receberam as boas-vindas do Diretor de CIÊNCIAS, Luís Carriço.

Filipe Duarte Santos.

O Prémio Ciência Viva Media 2024 foi atribuído ao podcast 'A Escala do Clima' de Filipe Duarte Santos, geofísico e professor catedrático de CIÊNCIAS, em colaboração com o jornalista Francisco Sena Santos.

Professor Rui Agostinho

O percurso do professor Rui Agostinho foi celebrado numa sessão de homenagem com sala lotada, onde as cadeiras foram ocupadas por colegas de décadas e alunos de hoje, onde o carinho e a emoção pelo docente foram palpáveis.

Jorge Buescu

“Comunicar e divulgar Ciência de forma rigorosa é uma tarefa cada vez mais importante”. Quem o diz é o professor Jorge Buescu, matemático de CIÊNCIAS, hoje galardoado com o Grande Prémio Ciência Viva 2024.

Foto da equipa do projeto TaMuK a receber o prémio.

O projeto TaMuKTargeting Mutated KRAS, recebe o prémio Basinnov Innovation Award 2024, pelo desenvolvimento de um novo metalofármaco destinado ao tratamento de cancros com mutação na proteína KRAS, entre os quais se destacam os cancros colorretal e do pâncreas.

Semana Europeia da Prevenção de Resíduos em ciências

O programa inclui uma mini palestra com as Professoras Teresa Dias e Cristina Cruz do Departamento de Biologia Vegetal.

Logótipo da ULisboa, sobre um fundo em tons de vermelho e preto

A ULisboa destaca-se a nível mundial nas áreas de Engenharia Naval e Oceânica (4.º lugar), Engenharia Civil e Ciências Veterinárias (ambas em 44.º lugar), Engenharia Mecânica (50.º lugar), conforme divulgado pelo Global Ranking of Academic Subjects 2024 do Ranking de Shanghai.

Imagem de moléculas de CO2 e fotos dos investigadores.

A inovadora descoberta dos cientistas do Departamento de Química e Bioquímica (DQB) poderá contribuir para a diminuição das emissões de carbono da indústria e para a transição para um modelo de produção mais verde.

Foto de Maria Adelaide Ferreira a discursar na Ocean Summit

Lisboa foi palco da primeira edição da Ocean Summit, um evento que junta especialistas oriundos de quatro continentes, para falarem de inovação para a sustentabilidade do oceano.

Foto da sessão aberta ao público que decorreu em CIÊNCIAS

Entre os dias 28 e 30 de outubro o consórcio internacional responsável pela missão Ariel da Agência Espacial Europeia (ESA) reuniu-se em CIÊNCIAS e no Pavilhão do Conhecimento – Centro Ciência Viva.

Professores e Investigadores de CIÊNCIAS

Na passada quarta-feira, a região de Valência, em Espanha, foi assolada por cheias devastadoras: em 8 horas choveu o equivalente a um ano, num fenómeno provocado por uma gota fria, ou DANA - depresión aislada en niveles altos, na sigla em espanhol.

Foto de grupo dos bolseiros Gulbenkian Novos Talentos 2024 de CIÊNCIAS.

Este ano foram 13 os estudantes de CIÊNCIAS premiados com Bolsas Gulbenkian Novos Talentos, marcando uma subida em relação aos 11 do ano passado.

Imagem da Reitoria da Universidade de Lisboa com o logo do NTU Ranking.

A ULisboa continua a ser a melhor universidade portuguesa e uma das 200 melhores do mundo em várias áreas científicas investigadas em CIÊNCIAS, da Geociência à Física.

Nuno Garcia, Professor Auxiliar de CIÊNCIAS e investigador no LASIGE, foi o formador do curso.

Realizou-se hoje em CIÊNCIAS a primeira sessão de formação deste Programa, que contou com a presença da Ministra da Juventude e Modernização, Margarida Balseiro Lopes.

Primeira reunião do projeto Twinning 3BATwin

Nos dias 2 e 3 de outubro realizou-se, em CIÊNCIAS, a reunião de abertura do projeto ‘3BAtwin - Bone, Brain, Breast and Axillary Medical Microwave Imaging’, um projeto Twinning europeu coordenado pela FCiências.ID, com a coordenação científica da investigadora Raquel Conceição.

Foto de grupo da organização do evento

Terminou, no passado dia 19 de outubro, no Grande Auditório de Ciências ULisboa, a 16.ª edição do Workshop on BioMedical Engineering, um evento onde professores, investigadores e estudantes se juntam para construir um espaço “onde a Tecnologia encontra a Medicina”.

Sessão de Posters CIÊNCIAS Research & Innovation Day 2024

Centenas de participantes, entre investigadores e comunidade académica, juntaram-se no Grande Auditório para debater o tempo da Ciência e a Ciência do tempo. Salvatore Capozziello, keynote speaker, confirmou que as teorias sustentam a possibilidade de viagens no tempo.

Polvos e peixes caçam em equipa

Os investigadores Eduardo Sampaio e Rui Rosa, do MARE - Centro de Ciências do Mar e do Ambiente, provaram que os polvos e os peixes caçam em equipa de forma organizada.

Distribuição geográfica e afiliações institucionais dos membros do ERGA-Portugal

O Atlas Europeu de Genomas de Referência (ERGA) é um projeto-piloto que visa desvendar o património genómico de 98 espécies, contribuindo para o seu conhecimento e conservação.

Páginas