Opinião

A encruzilhada

blog.f1000research.com

Miguel Centeno Brito

A ciência contemporânea enfrenta um conjunto de novos desafios que podem limitar a sua legitimidade, o seu valor e alcance. Estas notas abordam alguns destes riscos tentando apontar possíveis caminhos para os ultrapassar.

1.A revisão pelos pares

A revisão pelos pares é um dos pilares de desenvolvimento e legitimação da ciência. Como mecanismo de validação da qualidade científica dos artigos publicados e projetos aprovados, a revisão pelos pares é o “garante” do rigor científico.

Problemas

Muitas das limitações do mecanismo de revisão pelos pares no âmbito académico são há muito reconhecidas. Por ser um processo que se baseia apenas na opinião de dois ou três sujeitos é muito suscetível a erros/desleixo individuais2, favorecendo autores consagrados e discriminando investigadores de países ou instituições cientificamente periféricos3, podendo mesmo ser uma barreira à inovação e novo conhecimento (todos conhecem exemplos de artigos famosos, de “Prémios Nobel”, que foram rejeitados por não se enquadrarem no paradigma vigente).

É também difícil evitar conflitos de interesse. Quantas vezes já vimos, em revisões dos nossos artigos ou em artigos de que somos revisores, recomendações desavergonhadas para a inclusão de citações a referências que claramente são escritos pelo próprio revisor. Se um revisor é um concorrente direto dos autores do artigo – o que é uma situação comum já que presumivelmente é um especialista na matéria pelo que o editor faz bem em o convidar para rever o artigo – pode dificultar ou impedir a publicação do trabalho para ganhar tempo para publicar o seu trabalho. Ou, mais grave ainda, mesmo que não tenha acontecido connosco, já todos ouvimos queixas de algum colega que verificou que um determinado trabalho foi recusado para publicação para depois o ler publicado pelo próprio (presumível) revisor.

Ainda assim, e numa adulteração das sábias palavras de Churchill num outro contexto, o peer review é genericamente percecionado como o pior das formas de garantia de qualidade científica tirando todas as outras.

A recente evolução da ciência nos últimos anos levanta contudo novos desafios à revisão científica pelos pares que importa discutir. Com o crescimento acentuado do número de publicações e revistas científicas e a crescente especialização da investigação, parece haver cada vez menos especialistas disponíveis para rever artigos e projetos. Isto pode introduzir grandes atrasos no processo de revisão, enquanto os editores procuram revisores adequados e disponíveis ou, mais grave, pode fazer com que os trabalhos sejam analisados por revisores menos qualificados para o fazer. De facto, no trabalho diário de investigação, todos nós nos deparamos hoje em dia com a falta de rigor na revisão pelos pares de que resultam publicações com padrões de qualidade muito diverso (incluindo irrelevância ou mera repetição de resultados já publicados, limitações metodológicas graves, conclusões não fundamentadas, etc.), mesmo em revistas de elevada reputação. Uma outra evidência da falência do processo de revisão pelos pares verifica-se nas interações com os revisores durante o processo de submissão dos nossos próprios manuscritos, em que é cada vez mais comum depararmo-nos com comentários (tanto positivos como negativos, embora tenhamos tendência a lembrarmo-nos mais dos segundos) que frequentemente revelam que os revisores não leram com atenção, ou não perceberam, o que escrevemos. Um outro sintoma é, cada vez mais, sermos convidados por editores distraídos, ou incompetentes, para avaliar artigos em temas que claramente extravasam a nossa área de expertise.

Um outro fator que contribui para este cenário é o facto de, cada vez mais, serem os investigadores com menos experiência e um conhecimento menos profundo dos assuntos que mais se envolvem no processo de revisão, até porque são talvez os que têm mais disponibilidade e tempo para o fazer4.

Possíveis soluções

Neste cenário de aceleração do ritmo de publicações científicas e incapacidade de resposta efetiva do tradicional mecanismo de revisão pelos pares, há alguns caminhos possíveis para atualizar o peer review de forma a continuar a proteger a qualidade e rigor científico dos trabalhos publicados.

Uma abordagem possível, já testada em algumas publicações, é a introdução de mais opacidade no sistema de revisão, através de soluções tipo double blind refereeing em que nem o revisor nem o autor sabem quem são os seus interlocutores. É uma forma de responder à discriminação, deliberada ou inconsciente, de investigadores menos consagrados. Mas é uma solução de alcance limitado; em áreas científicas restritas muitas vezes os investigadores conseguem reconhecer o trabalho dos outros mesmo sem a sua identificação explícita. E não responde aos outros desafios identificados acima.

Uma outra abordagem, diametralmente oposta, é a introdução de mais transparência no processo de revisão. Isso pode ser feito através da identificação dos revisores para os autores (chamado open peer review) o que de alguma forma reequilibra o balanço de poder na relação entre os dois agentes durante o processo de revisão5. Ou, uma solução mais radical, pode-se argumentar pela identificação dos revisores no próprio artigo, responsabilizando-os assim pela qualidade do seu trabalho de revisão. Um dos efeitos desta solução seria certamente a redução do número de investigadores disponíveis para se envolver no processo de revisão, já que não estariam protegidos pelo anonimato. Por outro lado, teria a vantagem de permitir que a quantidade e qualidade do trabalho de revisão pudesse ser contabilizado como indicador de desempenho dos revisores, o que talvez pudesse de alguma forma compensar o impacto do efeito anterior.

Uma outra abordagem mais revolucionária seria a importação de modelos de crowd refereering das plataformas digitais de compras, hotéis, restaurantes, etc.. O modelo poderia passar pela disponibilização do manuscrito (preprint) numa plataforma digital com acesso aberto. Os leitores deixariam a sua opinião, apenas indicativa (e.g. número de estrelas) ou mais aprofundada, com comentários e discussão, anónimos ou assinados, e os autores poderiam ir reformulando o texto para responder aos pontos assinalados. Seria um processo muito mais transparente e dinâmico; um artigo poderia nunca ser “definitivo”. Uma variante possível deste modelo seria a sua articulação com o tradicional processo de revisão: os preprints com melhores rankings poderiam ser revistos por pares antes da “publicação definitiva”6.

Muitos detalhes deste modelo de crowd refereeing exigem maturação e afinação, de forma a credibilizar o processo (como ponderar o voto de um verdadeiro especialista no assunto?) e minimizar as possibilidades de fraudes (e.g. auto aplauso e/ou críticas injustas aos trabalhos dos concorrentes) como de resto acontece com os revisores da Wikipedia ou da Bookings.com. Mas o seu impacto seria revolucionário na forma de organização da ciência global, pois só faz sentido num cenário de acesso livre às publicações científicas e os tradicionais indicadores de desempenho (publicações, citações, etc.) teriam de ser totalmente revistos.

2.Indicadores bibliométricos

A utilização de indicadores bibliométricos facilita a avaliação de desempenho dos cientistas (de unidades de investigação, universidades e até países) e é hoje comum como critério determinante para júris de contratações, promoções, provas académicas (e.g. doutoramento) e avaliação de projetos científicos.

Problemas

É natural que não existam indicadores objetivos, quantitativos e completos que consigam refletir a qualidade da ciência praticada por um cientista ou uma equipa de cientistas (algo cuja definição é obviamente subjetiva).

O indicador mais utilizado é o registo do número de publicações científicas em revistas com revisão científica. Trata-se de um indicador que ignora a qualidade (leia-se exigência e/ou reputação) das revistas pelo que por vezes é restringido a revistas reconhecidas por determinadas bases de dados, ou em outros casos a revistas do 1.º quartil da área científica a que se refere a publicação7.

Por outro lado, uma avaliação de desempenho assente no número de publicações é um incentivo à fragmentação dos resultados. Cada artigo só precisa de apresentar um resultado novo pelo que é preferível fragmentar os resultados em pedaços pequenos, em que cada um apresenta um quantum publicável (definido como a quantidade mínima de inovação que garanta a sua publicação) o que dificulta o desenvolvimento global dessa área do conhecimento.

O reconhecimento unânime - quantidade é distinto de qualidade -, e os avanços tecnológicos para a análise de big data, abriu portas a outros indicadores baseados nas citações de artigos como uma medida de impacto científico.

A utilização das citações de artigos como base para medida da sua influência é há muito reconhecida como interessante mas como tendo limitações importantes, porque muito do trabalho anterior acaba por não ser explicitamente reconhecido/citado em publicações científicas8.

No mundo das citações, e num contexto de grande prolixidade de artigos científicos, os autores têm naturalmente tendência a citar as referências citadas pelos trabalhos que leram, o que distorce a relevância das diversas contribuições na área. É uma nova encarnação do efeito de Matthews, em que alguns artigos são mais citados apenas porque tinham sido mais citados até então9.

Tal como para os indicadores baseados no número de artigos, a contagem de citações depende criticamente da base de dados utilizada. Podemos ter, por exemplo, as citações SCOPUS, que reúne revistas consensualmente consideradas como sérias mas exclui outras fontes importantes como livros e teses académicas – que seriam indicadores evidentes da qualidade e relevância científica de um artigo. Ou podemos ter as citações do SCHOLAR do Google, que já inclui livros e teses mas considera uma miríade de revistas de qualidade muito duvidosa e sem peer review, publicadas por editoras predadoras10.

Mais importante, a utilização de métricas de citações de artigos introduz (des) incentivos que podem ser considerados perniciosos para o desenvolvimento da ciência. Por exemplo, ao ignorar as citações de livros académicos, estes indicadores desencorajam o esforço profundo de consolidação e exposição de ideias que normalmente associamos à elaboração de um livro.

Uma outra vítima colateral é a publicação de resultados negativos que, embora seja um dos alicerces do método científico, é fortemente desencorajada porque atrai menos citações. Por outro lado, temas científicos alinhados com os interesses mais populares no sistema científico anglo-saxónico dominante tem maior probabilidade de ser aceite e citado (ou seja, mais impacto) do que investigação em temas com relevância local.

Um dos efeitos do uso de indicadores baseados em citações é a crescente popularidade de artigos de revisão da literatura. Os artigos de revisão são potenciais atractores de citações (particularmente num cenário atual em que existe uma proliferação de artigos de tal ordem que dificilmente alguém consegue ler tudo o que existe sobre um determinado tema). Assim, escrever artigos de revisão torna-se uma atividade de investigação per se. Pode-se mesmo imaginar uma carreira científica de alto impacto sem produção de qualquer conhecimento, apenas como agregador de informação alheia em artigos de revisão. Mais, quando uma contribuição relevante é citada em dois ou três artigos de revisão com sucesso pode cair no esquecimento e deixar de ser citada nos trabalhos seguintes.

Soluções

Apesar de todas as limitações acima enunciadas, os indicadores bibliométricos têm um papel relevante nos processos de avaliação do desempenho científicos de pessoas e instituições. Porém, os riscos associados à sua excessiva valorização, tanto do ponto de vista da injustiça na avaliação como nos comportamentos que encoraja, recomenda que sejam utilizados com parcimónia e nunca como fator decisivo na avaliação. Um bom exemplo é a utilização de indicadores bibliométricos considerados mínimos como fator de elegibilidade para uma dada posição, como é caso de Itália11.

Em alternativa, ou complementarmente, deve ser levado em consideração a avaliação qualitativas dos melhores (ou mais representativos) artigos12, eventualmente selecionados pelo próprio candidato/avaliado. Naturalmente que este é um caso mais fácil de enunciar do que implementar. Por exemplo, como é que se garante num concurso que o júri analisou profundamente os trabalhos dos candidatos? Será necessário que as atas do concurso discutam detalhadamente as limitações e méritos dos artigos avaliados?

Num cenário imaginado de crowd refereeing, em que os artigos estão disponíveis em plataformas públicas que registam os comentários, revisões e avaliação de todos, as construções de indicadores baseados na reação dos leitores poderia ser um bom proxy para a avaliar a relevância, qualidade e até impacto das contribuições científicas de cada um.

Em jeito de conclusão, apresenta-se uma visão da ciência atual como submergida pela proliferação de publicações científicas irrelevantes e fragmentadas, sem revisão rigorosa e eficiente pelos pares, que resulta diretamente dos excessos do modelo publish or perish condimentado pelo uso abusivo de indicadores bibliométricos na avaliação do desempenho.

Neste contexto, importa explorar caminhos alternativos que devolvam a credibilidade e o potencial criador à atividade científica. Estas novas abordagens passam naturalmente pela vontade e capacidade de inovação das agências financiadoras de ciência (que neste sector é quem define as regras), sociedades científicas e outras organizações transversais, mas também pela iniciativa de todos os atores, incluindo direções das instituições, dirigentes de unidades de investigação e até cientistas individuais nas suas decisões quando decidem acolher um colaborador ou revêm um artigo científico.

 

1 As notas que seguem sumarizam algumas das reflexões do autor e não das instituições a que está afiliado ou representa.

2 A revisão por um número pequeno de especialistas pode ser menos competente do que a revisão por muita gente, ainda que menos capaz: Herron, D.M. Surg Endosc (2012) 26: 2275. doi:10.1007/s00464-012-2171-1.

3 Este fenómeno é por isso muitas vezes denominado efeito de Matthew (os ricos ficam cada vez mais ricos e os pobres mais pobres). No contexto do reconhecimento do trabalho científico é também popular o chamado corolário de Matilde: o trabalho de uma mulher em ciência quase sempre é ignorado.

4 O processo de revisão pelos pares é tradicionalmente reservado e de natureza confidencial. O recente aparecimento da plataforma pública PUBLONS, que pretende valorizar de alguma forma o esforço de revisão de artigos, evidencia alguma destas tendências, mostrando por exemplo “revisores de sucesso” (medidos pelo número de revisões feitas no último trimestre) que ainda não terminaram o PhD. Também mostra revisores que revêm centenas de artigos por ano o que sugere que não investem muito tempo ou cuidado nas revisões que submetem (ou então não fazem mais nada!).

5 Algumas experiências revelaram resultados inconclusivos (http://blogs.scientificamerican.com/information-culture/an-introduction-to-open-peer-review/) embora pareça haver a emergência de um consenso no sentido dos méritos do open peer review http://www.utpjournals.press/doi/pdf/10.3138/jsp.44-4-001.

6 A revista PLOS ONE está a introduzir uma variação sobre este modelo mas apenas para pós-publicação (http://www.nature.com/nature/peerreview/debate/nature04992.html) o que, embora não resolva os problemas acima identificados, pode ajudar os leitores (e.g. estudantes de pós-graduação) a distinguir a literatura científica mais relevante numa determinada área de interesse.

7 A recente proliferação de novas revistas científicas de qualidade duvidosa “empurrou” a generalidade das revistas com alguma revisão pelos pares para o 1.º e 2.º quartis pelo que se trata de um indicador com cada vez menos significado.

8MacRoberts, M. H. and MacRoberts, B. R. (1989), Problems of citation analysis: A critical review. J. Am. Soc. Inf. Sci., 40: 342–349. Para além da avaliação da citação como medida da “influência” de um artigo, MacRoberts também discute o desafio das auto citações, algo que hoje já é frequentemente descontado no cálculo destes indicadores de impacto – o que nem sempre é um exercício legítimo pois pode fazer todo o sentido a citação de trabalhos anteriores dos autores, especialmente num ambiente de fragmentação de resultados.

9Se todos os autores escolhessem aleatoriamente três artigos e citassem, aleatoriamente, um quarto das suas referências, um artigo com mais citações teria maior probabilidade de ser citado. Curiosamente, este efeito produz a distribuição de citações que existe (http://arxiv.org/abs/cond-mat/0305150).

10Revistas de acesso aberto que cobram custos de publicação mas não garantem o processo de revisão científica. Uma lista atualizada de editoras e revistas de qualidade duvidosa está disponível em https://scholarlyoa.com/publishers/.

11Nos concursos para posições académicas (equivalentes a professores associados ou catedráticos) considera-se como critério de elegibilidade que os “indicadores” (publicações e citações) estejam acima de mediana (top 50%) http://abilitazione.miur.it/public/index.php?lang=eng.

12Ou contribuições científicas noutros formatos, e.g. livros e teses académicas, provas de agregação, etc..

Miguel Centeno Brito, professor do DEGGE Ciências e investigador do IDL
imagem científica

Ganna Rozhnova, líder do Infectious Disease Dynamics Lab do Instituto de Biossistemas e Ciências Integrativas (BioISI), polo da Faculdade, coordena um estudo, publicado na revista Nature Communications, que relata o impacto de uma potencial cura do VIH na dinâmica de transmissão do vírus, utilizando um modelo matemático.

Cientistas a bordo do RV Sarmiento de Gamboa

Catarina Guerreiro, investigadora da Faculdade de Ciências e do projeto CHASE, integrou uma expedição, no âmbito do projeto Ocean ICU, com a missão de avaliar o papel da variabilidade regional no Atlântico Oriental na formação das complexas bombas de carbono do oceano.

Luis Carriço e José Manuel Rebordão

No Dia de Ciências 2025 a Direção da Faculdade de Ciências homenageou o investigador José Manuel Rebordão reconhecendo o seu impacto na Comunidade de Ciências 2024, e anunciando a nova designação da sala 01.03.23 da FCiências.ID como Auditório José Manuel Rebordão.

Participantes do BRIDges: Boosting research in interdisciplinary domains

BRIDges: Boosting research in interdisciplinary domains ocorreu no passado dia 14 de maio, no campus da Faculdade.

CIÊNCIAS lança Rotas para a Sustentabilidade para promover sistemas alimentares sustentáveis em 17 municípios

A Faculdade de Ciências dá início a uma nova fase do projeto GrowLIFE com o lançamento das Rotas para a Sustentabilidade, uma iniciativa que visa fortalecer práticas alimentares sustentáveis e promover cadeias curtas de abastecimento em Portugal.

Rita Eusébio

Rita Eusébio é uma das finalistas de Ciências da competição “Três Minutos de Tese – Universidade de Lisboa” - 3MT ULisboa 2025, que se realiza a 22 de maio, pelas 18h00, no Pavilhão de Portugal.

Campus da Faculdade

O Dia Mundial da Reciclagem celebra-se a 17 de maio, uma data instituída pela Organização das Nações Unidas para a Educação, a Ciência e a Cultura (UNESCO) para relembrar a importância de reduzir, reutilizar e reciclar os resíduos. Na Faculdade de Ciências acreditamos que cada ação conta. A reciclagem é mais que um hábito, é um compromisso com o futuro. É a prova de que pequenas escolhas, ajudam a transformar o presente num futuro mais sustentável.

Pessoas posam para fotografia

O 1.º Workshop de Investigação na RAEGE Açores ocorreu entre 8 e 11 de maio de 2025 nas instalações da RAEGE na ilha de Santa Maria.

Foto de Manuel Abreu a receber a Menção Honrosa.

O projeto ESPRESSO recebeu uma menção honrosa do Prémio de Inovação em Ciências e Tecnologias Espaciais 2025. A participação do Instituto de Astrofísica e Ciências do Espaço (IA) no projeto ESPRESSO, através de equipas da Faculdade de Ciências da Universidade de Lisboa e da Faculdade de Ciências da Universidade do Porto, recebeu a única menção honrosa do Prémio de Inovação em Ciências e Tecnologias Espaciais da Agência Espacial Portuguesa (PT Space).

João Duarte assume presidência de divisão da União Europeia de Geociências.

João C. Duarte, coordenador do Doutoramento em Geologia da Faculdade de Ciências e investigador no Instituto Dom Luiz, foi nomeado Presidente da Divisão de Tectónica e Geologia Estrutural da União Europeia de Geociências (EGU).

Foto de José Mariano Gago

A Faculdade de Ciências reconhece e celebra a excelência dos nossos cientistas que inspiram e impulsionam o avanço contínuo da ciência, conhecimento e inovação.

Tartaruga no oceano

Acaba de ser publicado na revista npj Ocean Sustainability do grupo Nature um artigo liderado por Catarina Frazão Santos, professora da Ciências, que estabelece um novo rumo para a proteção dos oceanos.

Joel Laia

Entrevista com Joel Laia, um dos finalistas de Ciências da competição “Três Minutos de Tese – Universidade de Lisboa” - 3MT ULisboa 2025, que se realiza a 22 de maio, pelas 18h00, no Pavilhão de Portugal. O jovem frequenta o programa de doutoramento em Biodiversidade, Genética e Evolução.

árvores caídas na Alameda da Universidade

Reflexão sobre o desenho urbano e o planeamento do espaço público: áreas verdes saudáveis requerem complexidade ecológica, e não apenas árvores espalhadas como ornamentos urbanos. Artigo da autoria de António Vaz Pato e David Avelar, guardiões da HortaFCUL

Rita Eusébio e Joel Laia

Esta é já a 3.ª edição que a ULisboa promove e Ciências esteve envolvida desde o início, com estudantes finalistas e premiados em todas as edições.

Atividades do Dia Aberto

A 24.ª edição do Dia Aberto juntou mais de 2500 alunos dos ensinos básico e secundário de cerca de 350 escolas de norte a sul do País e dos Açores. O programa incluiu cerca de 150 atividades. Leia os testemunhos de quem participou no evento e consulte a fotogaleria.

Cecília Rodrigues, Luís Carriço, Conceição Freitas e Luis Ferreira

Conceição Freitas, professora da Faculdade, tomou posse como presidente do Conselho Científico (CC) da CIÊNCIAS, no passado dia 7 de maio, na Reitoria da ULisboa. Este é o segundo mandato de Conceição Freitas como presidente do CC.

Jorge Relvas e Rui Agostinho

No Dia de Ciências 2025 a Direção da Faculdade de Ciências homenageou o professor aposentado Rui Agostinho reconhecendo o seu impacto na sociedade 2024. A apresentação da distinção coube a Jorge Relvas, subdiretor da Faculdade. Leia o discurso de agradecimento de Rui Agostinho na notícia.

Pessoas na biblioteca

A Faculdade de Ciências da Universidade de Lisboa (ULisboa) integra o top 10 do estudo “RepScore™ 2025 - Reputação das marcas em Portugal”, na categoria ensino superior, da consultora OnStrategy.

Ana Cachudo

Ana Cachudo, de 34 anos, natural de Lisboa, é licenciada em Química, pela Faculdade. Este ano letivo, começou a dar aulas de Físico-Química, Física e Química no Colégio Vasco da Gama. Ana Cachudo assistiu à palestra da Faculdade com entusiamo durante o Futura-te, uma atividade do Colégio. Enquanto aluna foi monitora do Dia Aberto. Agora pensa trazer os alunos à Faculdade porque se trata de uma atividade interessante.

Foto do átrio do edifício C3

A Faculdade de Ciências comemorou no dia 29 de abril o seu 114.º aniversário com a celebração do Dia de Ciências. A cerimónia decorreu ao longo da tarde e foi marcada pelo reconhecimento da excelência, reflexão sobre os desafios futuros e pela valorização da comunidade de Ciências.

Cassilda Paz junto ao quadro

Cassilda Paz, de 59 anos, natural de Almancil, em Faro, licenciada em Matemática, nesta faculdade, é professora de Matemática na Escola Secundária de Camões, em Lisboa, desde 2013. Antes, esteve 20 anos na Escola Artística António Arroio e um ano na Escola Filipa de Lencastre. A sua profissão ajuda a definir gerações.

Fotografias das Professoras Teresa Chambel, Ana Respício, Ana Paula Afonso e Cátia Pesquita

Quatro professoras do Departamento de Informática de CIÊNCIAS assinaram um artigo de opinião para assinalar o Girls in ICT Day.

Sessão da DGES no Dia Aberto de Ciências vai esclarecer tudo sobre o acesso ao ensino superior

No próximo dia 7 de maio, a Faculdade de Ciências abre portas a milhares de estudantes do ensino secundário no Dia Aberto 2025.

José Carvalho Soares

José Carvalho SoaresÉ com profundo pesar que a Faculdade de Ciências comunica o falecimento de José Carvalho Soares, professor aposentado do Departamento de Física, o

Páginas