Opinião

A encruzilhada

blog.f1000research.com

Miguel Centeno Brito

A ciência contemporânea enfrenta um conjunto de novos desafios que podem limitar a sua legitimidade, o seu valor e alcance. Estas notas abordam alguns destes riscos tentando apontar possíveis caminhos para os ultrapassar.

1.A revisão pelos pares

A revisão pelos pares é um dos pilares de desenvolvimento e legitimação da ciência. Como mecanismo de validação da qualidade científica dos artigos publicados e projetos aprovados, a revisão pelos pares é o “garante” do rigor científico.

Problemas

Muitas das limitações do mecanismo de revisão pelos pares no âmbito académico são há muito reconhecidas. Por ser um processo que se baseia apenas na opinião de dois ou três sujeitos é muito suscetível a erros/desleixo individuais2, favorecendo autores consagrados e discriminando investigadores de países ou instituições cientificamente periféricos3, podendo mesmo ser uma barreira à inovação e novo conhecimento (todos conhecem exemplos de artigos famosos, de “Prémios Nobel”, que foram rejeitados por não se enquadrarem no paradigma vigente).

É também difícil evitar conflitos de interesse. Quantas vezes já vimos, em revisões dos nossos artigos ou em artigos de que somos revisores, recomendações desavergonhadas para a inclusão de citações a referências que claramente são escritos pelo próprio revisor. Se um revisor é um concorrente direto dos autores do artigo – o que é uma situação comum já que presumivelmente é um especialista na matéria pelo que o editor faz bem em o convidar para rever o artigo – pode dificultar ou impedir a publicação do trabalho para ganhar tempo para publicar o seu trabalho. Ou, mais grave ainda, mesmo que não tenha acontecido connosco, já todos ouvimos queixas de algum colega que verificou que um determinado trabalho foi recusado para publicação para depois o ler publicado pelo próprio (presumível) revisor.

Ainda assim, e numa adulteração das sábias palavras de Churchill num outro contexto, o peer review é genericamente percecionado como o pior das formas de garantia de qualidade científica tirando todas as outras.

A recente evolução da ciência nos últimos anos levanta contudo novos desafios à revisão científica pelos pares que importa discutir. Com o crescimento acentuado do número de publicações e revistas científicas e a crescente especialização da investigação, parece haver cada vez menos especialistas disponíveis para rever artigos e projetos. Isto pode introduzir grandes atrasos no processo de revisão, enquanto os editores procuram revisores adequados e disponíveis ou, mais grave, pode fazer com que os trabalhos sejam analisados por revisores menos qualificados para o fazer. De facto, no trabalho diário de investigação, todos nós nos deparamos hoje em dia com a falta de rigor na revisão pelos pares de que resultam publicações com padrões de qualidade muito diverso (incluindo irrelevância ou mera repetição de resultados já publicados, limitações metodológicas graves, conclusões não fundamentadas, etc.), mesmo em revistas de elevada reputação. Uma outra evidência da falência do processo de revisão pelos pares verifica-se nas interações com os revisores durante o processo de submissão dos nossos próprios manuscritos, em que é cada vez mais comum depararmo-nos com comentários (tanto positivos como negativos, embora tenhamos tendência a lembrarmo-nos mais dos segundos) que frequentemente revelam que os revisores não leram com atenção, ou não perceberam, o que escrevemos. Um outro sintoma é, cada vez mais, sermos convidados por editores distraídos, ou incompetentes, para avaliar artigos em temas que claramente extravasam a nossa área de expertise.

Um outro fator que contribui para este cenário é o facto de, cada vez mais, serem os investigadores com menos experiência e um conhecimento menos profundo dos assuntos que mais se envolvem no processo de revisão, até porque são talvez os que têm mais disponibilidade e tempo para o fazer4.

Possíveis soluções

Neste cenário de aceleração do ritmo de publicações científicas e incapacidade de resposta efetiva do tradicional mecanismo de revisão pelos pares, há alguns caminhos possíveis para atualizar o peer review de forma a continuar a proteger a qualidade e rigor científico dos trabalhos publicados.

Uma abordagem possível, já testada em algumas publicações, é a introdução de mais opacidade no sistema de revisão, através de soluções tipo double blind refereeing em que nem o revisor nem o autor sabem quem são os seus interlocutores. É uma forma de responder à discriminação, deliberada ou inconsciente, de investigadores menos consagrados. Mas é uma solução de alcance limitado; em áreas científicas restritas muitas vezes os investigadores conseguem reconhecer o trabalho dos outros mesmo sem a sua identificação explícita. E não responde aos outros desafios identificados acima.

Uma outra abordagem, diametralmente oposta, é a introdução de mais transparência no processo de revisão. Isso pode ser feito através da identificação dos revisores para os autores (chamado open peer review) o que de alguma forma reequilibra o balanço de poder na relação entre os dois agentes durante o processo de revisão5. Ou, uma solução mais radical, pode-se argumentar pela identificação dos revisores no próprio artigo, responsabilizando-os assim pela qualidade do seu trabalho de revisão. Um dos efeitos desta solução seria certamente a redução do número de investigadores disponíveis para se envolver no processo de revisão, já que não estariam protegidos pelo anonimato. Por outro lado, teria a vantagem de permitir que a quantidade e qualidade do trabalho de revisão pudesse ser contabilizado como indicador de desempenho dos revisores, o que talvez pudesse de alguma forma compensar o impacto do efeito anterior.

Uma outra abordagem mais revolucionária seria a importação de modelos de crowd refereering das plataformas digitais de compras, hotéis, restaurantes, etc.. O modelo poderia passar pela disponibilização do manuscrito (preprint) numa plataforma digital com acesso aberto. Os leitores deixariam a sua opinião, apenas indicativa (e.g. número de estrelas) ou mais aprofundada, com comentários e discussão, anónimos ou assinados, e os autores poderiam ir reformulando o texto para responder aos pontos assinalados. Seria um processo muito mais transparente e dinâmico; um artigo poderia nunca ser “definitivo”. Uma variante possível deste modelo seria a sua articulação com o tradicional processo de revisão: os preprints com melhores rankings poderiam ser revistos por pares antes da “publicação definitiva”6.

Muitos detalhes deste modelo de crowd refereeing exigem maturação e afinação, de forma a credibilizar o processo (como ponderar o voto de um verdadeiro especialista no assunto?) e minimizar as possibilidades de fraudes (e.g. auto aplauso e/ou críticas injustas aos trabalhos dos concorrentes) como de resto acontece com os revisores da Wikipedia ou da Bookings.com. Mas o seu impacto seria revolucionário na forma de organização da ciência global, pois só faz sentido num cenário de acesso livre às publicações científicas e os tradicionais indicadores de desempenho (publicações, citações, etc.) teriam de ser totalmente revistos.

2.Indicadores bibliométricos

A utilização de indicadores bibliométricos facilita a avaliação de desempenho dos cientistas (de unidades de investigação, universidades e até países) e é hoje comum como critério determinante para júris de contratações, promoções, provas académicas (e.g. doutoramento) e avaliação de projetos científicos.

Problemas

É natural que não existam indicadores objetivos, quantitativos e completos que consigam refletir a qualidade da ciência praticada por um cientista ou uma equipa de cientistas (algo cuja definição é obviamente subjetiva).

O indicador mais utilizado é o registo do número de publicações científicas em revistas com revisão científica. Trata-se de um indicador que ignora a qualidade (leia-se exigência e/ou reputação) das revistas pelo que por vezes é restringido a revistas reconhecidas por determinadas bases de dados, ou em outros casos a revistas do 1.º quartil da área científica a que se refere a publicação7.

Por outro lado, uma avaliação de desempenho assente no número de publicações é um incentivo à fragmentação dos resultados. Cada artigo só precisa de apresentar um resultado novo pelo que é preferível fragmentar os resultados em pedaços pequenos, em que cada um apresenta um quantum publicável (definido como a quantidade mínima de inovação que garanta a sua publicação) o que dificulta o desenvolvimento global dessa área do conhecimento.

O reconhecimento unânime - quantidade é distinto de qualidade -, e os avanços tecnológicos para a análise de big data, abriu portas a outros indicadores baseados nas citações de artigos como uma medida de impacto científico.

A utilização das citações de artigos como base para medida da sua influência é há muito reconhecida como interessante mas como tendo limitações importantes, porque muito do trabalho anterior acaba por não ser explicitamente reconhecido/citado em publicações científicas8.

No mundo das citações, e num contexto de grande prolixidade de artigos científicos, os autores têm naturalmente tendência a citar as referências citadas pelos trabalhos que leram, o que distorce a relevância das diversas contribuições na área. É uma nova encarnação do efeito de Matthews, em que alguns artigos são mais citados apenas porque tinham sido mais citados até então9.

Tal como para os indicadores baseados no número de artigos, a contagem de citações depende criticamente da base de dados utilizada. Podemos ter, por exemplo, as citações SCOPUS, que reúne revistas consensualmente consideradas como sérias mas exclui outras fontes importantes como livros e teses académicas – que seriam indicadores evidentes da qualidade e relevância científica de um artigo. Ou podemos ter as citações do SCHOLAR do Google, que já inclui livros e teses mas considera uma miríade de revistas de qualidade muito duvidosa e sem peer review, publicadas por editoras predadoras10.

Mais importante, a utilização de métricas de citações de artigos introduz (des) incentivos que podem ser considerados perniciosos para o desenvolvimento da ciência. Por exemplo, ao ignorar as citações de livros académicos, estes indicadores desencorajam o esforço profundo de consolidação e exposição de ideias que normalmente associamos à elaboração de um livro.

Uma outra vítima colateral é a publicação de resultados negativos que, embora seja um dos alicerces do método científico, é fortemente desencorajada porque atrai menos citações. Por outro lado, temas científicos alinhados com os interesses mais populares no sistema científico anglo-saxónico dominante tem maior probabilidade de ser aceite e citado (ou seja, mais impacto) do que investigação em temas com relevância local.

Um dos efeitos do uso de indicadores baseados em citações é a crescente popularidade de artigos de revisão da literatura. Os artigos de revisão são potenciais atractores de citações (particularmente num cenário atual em que existe uma proliferação de artigos de tal ordem que dificilmente alguém consegue ler tudo o que existe sobre um determinado tema). Assim, escrever artigos de revisão torna-se uma atividade de investigação per se. Pode-se mesmo imaginar uma carreira científica de alto impacto sem produção de qualquer conhecimento, apenas como agregador de informação alheia em artigos de revisão. Mais, quando uma contribuição relevante é citada em dois ou três artigos de revisão com sucesso pode cair no esquecimento e deixar de ser citada nos trabalhos seguintes.

Soluções

Apesar de todas as limitações acima enunciadas, os indicadores bibliométricos têm um papel relevante nos processos de avaliação do desempenho científicos de pessoas e instituições. Porém, os riscos associados à sua excessiva valorização, tanto do ponto de vista da injustiça na avaliação como nos comportamentos que encoraja, recomenda que sejam utilizados com parcimónia e nunca como fator decisivo na avaliação. Um bom exemplo é a utilização de indicadores bibliométricos considerados mínimos como fator de elegibilidade para uma dada posição, como é caso de Itália11.

Em alternativa, ou complementarmente, deve ser levado em consideração a avaliação qualitativas dos melhores (ou mais representativos) artigos12, eventualmente selecionados pelo próprio candidato/avaliado. Naturalmente que este é um caso mais fácil de enunciar do que implementar. Por exemplo, como é que se garante num concurso que o júri analisou profundamente os trabalhos dos candidatos? Será necessário que as atas do concurso discutam detalhadamente as limitações e méritos dos artigos avaliados?

Num cenário imaginado de crowd refereeing, em que os artigos estão disponíveis em plataformas públicas que registam os comentários, revisões e avaliação de todos, as construções de indicadores baseados na reação dos leitores poderia ser um bom proxy para a avaliar a relevância, qualidade e até impacto das contribuições científicas de cada um.

Em jeito de conclusão, apresenta-se uma visão da ciência atual como submergida pela proliferação de publicações científicas irrelevantes e fragmentadas, sem revisão rigorosa e eficiente pelos pares, que resulta diretamente dos excessos do modelo publish or perish condimentado pelo uso abusivo de indicadores bibliométricos na avaliação do desempenho.

Neste contexto, importa explorar caminhos alternativos que devolvam a credibilidade e o potencial criador à atividade científica. Estas novas abordagens passam naturalmente pela vontade e capacidade de inovação das agências financiadoras de ciência (que neste sector é quem define as regras), sociedades científicas e outras organizações transversais, mas também pela iniciativa de todos os atores, incluindo direções das instituições, dirigentes de unidades de investigação e até cientistas individuais nas suas decisões quando decidem acolher um colaborador ou revêm um artigo científico.

 

1 As notas que seguem sumarizam algumas das reflexões do autor e não das instituições a que está afiliado ou representa.

2 A revisão por um número pequeno de especialistas pode ser menos competente do que a revisão por muita gente, ainda que menos capaz: Herron, D.M. Surg Endosc (2012) 26: 2275. doi:10.1007/s00464-012-2171-1.

3 Este fenómeno é por isso muitas vezes denominado efeito de Matthew (os ricos ficam cada vez mais ricos e os pobres mais pobres). No contexto do reconhecimento do trabalho científico é também popular o chamado corolário de Matilde: o trabalho de uma mulher em ciência quase sempre é ignorado.

4 O processo de revisão pelos pares é tradicionalmente reservado e de natureza confidencial. O recente aparecimento da plataforma pública PUBLONS, que pretende valorizar de alguma forma o esforço de revisão de artigos, evidencia alguma destas tendências, mostrando por exemplo “revisores de sucesso” (medidos pelo número de revisões feitas no último trimestre) que ainda não terminaram o PhD. Também mostra revisores que revêm centenas de artigos por ano o que sugere que não investem muito tempo ou cuidado nas revisões que submetem (ou então não fazem mais nada!).

5 Algumas experiências revelaram resultados inconclusivos (http://blogs.scientificamerican.com/information-culture/an-introduction-to-open-peer-review/) embora pareça haver a emergência de um consenso no sentido dos méritos do open peer review http://www.utpjournals.press/doi/pdf/10.3138/jsp.44-4-001.

6 A revista PLOS ONE está a introduzir uma variação sobre este modelo mas apenas para pós-publicação (http://www.nature.com/nature/peerreview/debate/nature04992.html) o que, embora não resolva os problemas acima identificados, pode ajudar os leitores (e.g. estudantes de pós-graduação) a distinguir a literatura científica mais relevante numa determinada área de interesse.

7 A recente proliferação de novas revistas científicas de qualidade duvidosa “empurrou” a generalidade das revistas com alguma revisão pelos pares para o 1.º e 2.º quartis pelo que se trata de um indicador com cada vez menos significado.

8MacRoberts, M. H. and MacRoberts, B. R. (1989), Problems of citation analysis: A critical review. J. Am. Soc. Inf. Sci., 40: 342–349. Para além da avaliação da citação como medida da “influência” de um artigo, MacRoberts também discute o desafio das auto citações, algo que hoje já é frequentemente descontado no cálculo destes indicadores de impacto – o que nem sempre é um exercício legítimo pois pode fazer todo o sentido a citação de trabalhos anteriores dos autores, especialmente num ambiente de fragmentação de resultados.

9Se todos os autores escolhessem aleatoriamente três artigos e citassem, aleatoriamente, um quarto das suas referências, um artigo com mais citações teria maior probabilidade de ser citado. Curiosamente, este efeito produz a distribuição de citações que existe (http://arxiv.org/abs/cond-mat/0305150).

10Revistas de acesso aberto que cobram custos de publicação mas não garantem o processo de revisão científica. Uma lista atualizada de editoras e revistas de qualidade duvidosa está disponível em https://scholarlyoa.com/publishers/.

11Nos concursos para posições académicas (equivalentes a professores associados ou catedráticos) considera-se como critério de elegibilidade que os “indicadores” (publicações e citações) estejam acima de mediana (top 50%) http://abilitazione.miur.it/public/index.php?lang=eng.

12Ou contribuições científicas noutros formatos, e.g. livros e teses académicas, provas de agregação, etc..

Miguel Centeno Brito, professor do DEGGE Ciências e investigador do IDL
Ana Cachudo

Ana Cachudo, de 34 anos, natural de Lisboa, é licenciada em Química, pela Faculdade.

Foto do átrio do edifício C3

A Faculdade de Ciências comemorou no dia 29 de abril o seu 114.º aniversário com a celebração do Dia de Ciências. A cerimónia decorreu ao longo da tarde e foi marcada pelo reconhecimento da excelência, reflexão sobre os desafios futuros e pela valorização da comunidade de Ciências.

Cassilda Paz junto ao quadro

Cassilda Paz, de 59 anos, natural de Almancil, em Faro, licenciada em Matemática, nesta faculdade, é professora de Matemática na

Fotografias das Professoras Teresa Chambel, Ana Respício, Ana Paula Afonso e Cátia Pesquita

Quatro professoras do Departamento de Informática de CIÊNCIAS assinaram um artigo de opinião para assinalar o Girls in ICT Day.

Sessão da DGES no Dia Aberto de Ciências vai esclarecer tudo sobre o acesso ao ensino superior

No próximo dia 7 de maio, a Faculdade de Ciências abre portas a milhares de estudantes do ensino secundário no Dia Aberto 2025.

José Carvalho Soares

José Carvalho SoaresÉ com profundo pesar que a Faculdade de Ciências comunica o falecimento de José Carvalho Soares, professor aposentado do Departamento de Física, o

O investigador do MARE – Centro de Ciências do Mar e do Ambiente e da Faculdade de Ciências da Universidade de Lisboa (FCUL), José Ricardo Paula, foi distinguido com u

Tânia Graça veio à Faculdade de Ciências!

A saúde começa no bem-estar — e o bem-estar também passa pela saúde sexual. Foi neste espírito que o projeto Ciências em Harmonia recebeu, na passada terça-feira, 15 de abril de 2025, a sexóloga e comunicadora Tânia Graça, num evento que encheu o Grande Auditório da Faculdade de Ciências.

Desejamos a todos os membros da comunidade da Faculdade de Ciências uma Boa Páscoa junto dos seus familiares e amigos.

Avaliação de Unidades de I&D 2023/2024

Já estão disponíveis os resultados do processo de avaliação das Unidades de I&D 2023/2024 da Fundação para a Ciência e Tecnologia (FCT), realizado por painéis de especialistas internacionais independentes. As avaliações, divulgadas no passado dia 15 de abril, revelam que, de um total de 13 Centros de I&D de CIÊNCIAS, 12 foram classificados como Excelente ou Muito Bom.

O primeiro prémio da 6.ª edição do Concurso de Ideias para a Sustentabilidade foi atribuído ao projeto ‘Keyhole Garden - A chave para a fertilidade’. A proposta, redigida pelos guardiões da HortaFCUL em colaboração com Cristina Cruz, professora de CIÊNCIAS e investigadora no CE3C - Centro de Ecologia, Evolução e Alterações Ambientais, sugere a criação de hortas-compostores à porta dos bares e cafetarias do campus, como uma forma de aproveitar os resíduos orgânicos trazidos pelos membros da nossa comunidade académica.

Mergulho científico em campanha de monitorização da biodiversidade subaquática ao largo da costa da Ilha da Madeira

O Laboratório Associado ARNET – Aquatic Research NETwork | Rede de Investigação Aquática é uma rede multi-institucional, de dimensão nacional, estabelecida em 11 instituições nacionais e composta por 742 investigadores.

CIÊNCIAS integra o consórcio que, no âmbito de um memorando de entendimento, assinado no passado dia 9 de abril, no Palácio dos Marqueses de Pombal, em Oeiras, dará origem ao futuro Instituto para o Desenvolvimento Sustentável, uma iniciativa inovadora que reúne a Câmara Municipal de Oeiras, várias Escolas e a própria Reitoria da Universidade de Lisboa (FCUL, ISEG, IST, ISA), e a empresa intermunicipal TRATOLIXO.

Foto de Maria Helena Garcia no laboratório.

Maria Helena Garcia dedicou a sua carreira ao estudo de compostos metálicos, como o ruténio para memórias óticas de computadores. A partir de 2004, entrou na área dos metalofármacos destinados a tratar o cancro.

Pessoas na jobshop Ciências 2025

O maior evento de empregabilidade da Faculdade reuniu mais de 1500 estudantes, recém-graduados dos vários cursos de CIÊNCIAS, que puderam participar em workshops, debates, sessões com alumni, entrevistas, networking sunset e contactar diretamente com as empresas e recrutadores. Nesta edição estiveram presentes cerca de 80 empresas e entidades convidadas. Cerca de 695 estudantes submeteram currículos e participaram em entrevistas de recrutamento. Leia a reportagem e conheça a opinião de quem participou no evento.

Universidade de Groningen visita CIÊNCIAS

Boas Práticas - A shared learning experience at CIÊNCIAS ULisboa.

No arranque desta Primavera, CIÊNCIAS acolheu a visita exploratória por parte de um grupo de 12 estudantes universitários, pertencentes aos órgãos de Direção das Faculdades e da Universidade de Groningen, nos Países Baixos.

Tomada de posse do conselho científico

Decorreu na passada segunda-feira, 7 de abril, na reitoria da Universidade de Lisboa, a tomada de posse dos novos membros do Conselho Científico (CC).

Novo DataLab powered by Fidelidade reforça inovação e conhecimento nas áreas de Matemática Aplicada, Estatística e Analítica Avançada.

Olimpíadas Regionais de Física

No passado sábado, 29 de março, CIÊNCIAS acolheu as Olimpíadas Regionais de Física, um evento organizado pela Sociedade Portuguesa de Física que reuniu mais de 200 alunos do ensino básico e secundário de diversas escolas, acompanhados por mais de 80 professores. Durante a manhã, os participantes enfrentaram desafios teóricos e experimentais, pondo à prova os seus conhecimentos e criatividade na resolução de problemas científicos. O principal objetivo da competição foi estimular o interesse dos jovens pela Física e promover o pensamento crítico. Enquanto os alunos realizavam as provas, os professores acompanhantes tiveram a oportunidade de assistir a palestras ministradas pelos docentes do Departamento de Física Francisco Lobo e Nuno Matela, que abordaram temas como Ondas Gravitacionais e Imagem Médica.

Futurália

CIÊNCIAS marcou novamente presença na Futurália, a maior feira nacional dedicada à educação, formação e empregabilidade que vai já na 16ª edição. Foram milhares os visitantes, especialmente estudantes, que estiveram entre 26 e 29 de março na FIL – Feira Internacional de Lisboa.

CHILL - CHIcken Tractors as an efficient and sustainable Link in closed Loop agriculture

A história da capoeira móvel no PermaLab, integrada na HortaFCUL, é um exemplo vivo de como os princípios da permacultura podem transformar desafios em oportunidades. Desde a sua implementação em 2018, este galinheiro móvel, ou chicken tractor em inglês, foi concebido para unir sustentabilidade, inovação e comunidade, desempenhando um papel fulcral no ecossistema agrícola do projeto.

Professor António Casimiro coordenador científico do curso e Professor Associado do Departamento de Informática de CIÊNCIAS

A sessão de abertura do Cybersecurity Executive Program aconteceu em CIÊNCIAS, no passado dia 27 de março, marcando o arranque da 4ª edição desta formação. O Cybersecurity Executive Program é uma iniciativa conjunta de CIÊNCIAS e da consultora Premivalor Consulting, que se destina a formar e sensibilizar decisores e executivos C-level, de organizações públicas, privadas, civis e do setor militar, para as questões da cibersegurança.

Carlos Corela na entrega do prémio.

A Associação Portuguesa de Meteorologia e Geofísica (APMG) atribuiu ao investigador Carlos Corela o Prémio de Carreira Técnica para a Geofísica. A entrega desta distinção decorreu durante o jantar de confraternização do 13.º Simpósio de Meteorologia e Geofísica, durante o qual o investigador foi homenageado.

Equipa do projeto MIMESIS

A Fundação Ana Mendonça (FAM) anunciou a doação de €25.000,00 ao projeto MIMESIS –Bioadesivos inspirados na natureza para aplicações biomédicas e biotecnológicas, coordenado por Romana Santos, professora da CIÊNCIAS e investigadora no Centro de Ciências do Mar e Ambiente (MARE ULisboa), nomeadamente no grupo de investigação em bioadesão e biomimética.

Sala com alunos e jornalistas do Portugal em Direto

Cerca de 250 pessoas participaram nas várias atividades realizadas no Dia Internacional da Matemática em CIÊNCIAS 2025, o Dia do Pi, comemorado a 14, 15 e 19 de março. Leia alguns testemunhos de quem participou e organizou as atividades.

Páginas