Opinião

A encruzilhada

blog.f1000research.com

Miguel Centeno Brito

A ciência contemporânea enfrenta um conjunto de novos desafios que podem limitar a sua legitimidade, o seu valor e alcance. Estas notas abordam alguns destes riscos tentando apontar possíveis caminhos para os ultrapassar.

1.A revisão pelos pares

A revisão pelos pares é um dos pilares de desenvolvimento e legitimação da ciência. Como mecanismo de validação da qualidade científica dos artigos publicados e projetos aprovados, a revisão pelos pares é o “garante” do rigor científico.

Problemas

Muitas das limitações do mecanismo de revisão pelos pares no âmbito académico são há muito reconhecidas. Por ser um processo que se baseia apenas na opinião de dois ou três sujeitos é muito suscetível a erros/desleixo individuais2, favorecendo autores consagrados e discriminando investigadores de países ou instituições cientificamente periféricos3, podendo mesmo ser uma barreira à inovação e novo conhecimento (todos conhecem exemplos de artigos famosos, de “Prémios Nobel”, que foram rejeitados por não se enquadrarem no paradigma vigente).

É também difícil evitar conflitos de interesse. Quantas vezes já vimos, em revisões dos nossos artigos ou em artigos de que somos revisores, recomendações desavergonhadas para a inclusão de citações a referências que claramente são escritos pelo próprio revisor. Se um revisor é um concorrente direto dos autores do artigo – o que é uma situação comum já que presumivelmente é um especialista na matéria pelo que o editor faz bem em o convidar para rever o artigo – pode dificultar ou impedir a publicação do trabalho para ganhar tempo para publicar o seu trabalho. Ou, mais grave ainda, mesmo que não tenha acontecido connosco, já todos ouvimos queixas de algum colega que verificou que um determinado trabalho foi recusado para publicação para depois o ler publicado pelo próprio (presumível) revisor.

Ainda assim, e numa adulteração das sábias palavras de Churchill num outro contexto, o peer review é genericamente percecionado como o pior das formas de garantia de qualidade científica tirando todas as outras.

A recente evolução da ciência nos últimos anos levanta contudo novos desafios à revisão científica pelos pares que importa discutir. Com o crescimento acentuado do número de publicações e revistas científicas e a crescente especialização da investigação, parece haver cada vez menos especialistas disponíveis para rever artigos e projetos. Isto pode introduzir grandes atrasos no processo de revisão, enquanto os editores procuram revisores adequados e disponíveis ou, mais grave, pode fazer com que os trabalhos sejam analisados por revisores menos qualificados para o fazer. De facto, no trabalho diário de investigação, todos nós nos deparamos hoje em dia com a falta de rigor na revisão pelos pares de que resultam publicações com padrões de qualidade muito diverso (incluindo irrelevância ou mera repetição de resultados já publicados, limitações metodológicas graves, conclusões não fundamentadas, etc.), mesmo em revistas de elevada reputação. Uma outra evidência da falência do processo de revisão pelos pares verifica-se nas interações com os revisores durante o processo de submissão dos nossos próprios manuscritos, em que é cada vez mais comum depararmo-nos com comentários (tanto positivos como negativos, embora tenhamos tendência a lembrarmo-nos mais dos segundos) que frequentemente revelam que os revisores não leram com atenção, ou não perceberam, o que escrevemos. Um outro sintoma é, cada vez mais, sermos convidados por editores distraídos, ou incompetentes, para avaliar artigos em temas que claramente extravasam a nossa área de expertise.

Um outro fator que contribui para este cenário é o facto de, cada vez mais, serem os investigadores com menos experiência e um conhecimento menos profundo dos assuntos que mais se envolvem no processo de revisão, até porque são talvez os que têm mais disponibilidade e tempo para o fazer4.

Possíveis soluções

Neste cenário de aceleração do ritmo de publicações científicas e incapacidade de resposta efetiva do tradicional mecanismo de revisão pelos pares, há alguns caminhos possíveis para atualizar o peer review de forma a continuar a proteger a qualidade e rigor científico dos trabalhos publicados.

Uma abordagem possível, já testada em algumas publicações, é a introdução de mais opacidade no sistema de revisão, através de soluções tipo double blind refereeing em que nem o revisor nem o autor sabem quem são os seus interlocutores. É uma forma de responder à discriminação, deliberada ou inconsciente, de investigadores menos consagrados. Mas é uma solução de alcance limitado; em áreas científicas restritas muitas vezes os investigadores conseguem reconhecer o trabalho dos outros mesmo sem a sua identificação explícita. E não responde aos outros desafios identificados acima.

Uma outra abordagem, diametralmente oposta, é a introdução de mais transparência no processo de revisão. Isso pode ser feito através da identificação dos revisores para os autores (chamado open peer review) o que de alguma forma reequilibra o balanço de poder na relação entre os dois agentes durante o processo de revisão5. Ou, uma solução mais radical, pode-se argumentar pela identificação dos revisores no próprio artigo, responsabilizando-os assim pela qualidade do seu trabalho de revisão. Um dos efeitos desta solução seria certamente a redução do número de investigadores disponíveis para se envolver no processo de revisão, já que não estariam protegidos pelo anonimato. Por outro lado, teria a vantagem de permitir que a quantidade e qualidade do trabalho de revisão pudesse ser contabilizado como indicador de desempenho dos revisores, o que talvez pudesse de alguma forma compensar o impacto do efeito anterior.

Uma outra abordagem mais revolucionária seria a importação de modelos de crowd refereering das plataformas digitais de compras, hotéis, restaurantes, etc.. O modelo poderia passar pela disponibilização do manuscrito (preprint) numa plataforma digital com acesso aberto. Os leitores deixariam a sua opinião, apenas indicativa (e.g. número de estrelas) ou mais aprofundada, com comentários e discussão, anónimos ou assinados, e os autores poderiam ir reformulando o texto para responder aos pontos assinalados. Seria um processo muito mais transparente e dinâmico; um artigo poderia nunca ser “definitivo”. Uma variante possível deste modelo seria a sua articulação com o tradicional processo de revisão: os preprints com melhores rankings poderiam ser revistos por pares antes da “publicação definitiva”6.

Muitos detalhes deste modelo de crowd refereeing exigem maturação e afinação, de forma a credibilizar o processo (como ponderar o voto de um verdadeiro especialista no assunto?) e minimizar as possibilidades de fraudes (e.g. auto aplauso e/ou críticas injustas aos trabalhos dos concorrentes) como de resto acontece com os revisores da Wikipedia ou da Bookings.com. Mas o seu impacto seria revolucionário na forma de organização da ciência global, pois só faz sentido num cenário de acesso livre às publicações científicas e os tradicionais indicadores de desempenho (publicações, citações, etc.) teriam de ser totalmente revistos.

2.Indicadores bibliométricos

A utilização de indicadores bibliométricos facilita a avaliação de desempenho dos cientistas (de unidades de investigação, universidades e até países) e é hoje comum como critério determinante para júris de contratações, promoções, provas académicas (e.g. doutoramento) e avaliação de projetos científicos.

Problemas

É natural que não existam indicadores objetivos, quantitativos e completos que consigam refletir a qualidade da ciência praticada por um cientista ou uma equipa de cientistas (algo cuja definição é obviamente subjetiva).

O indicador mais utilizado é o registo do número de publicações científicas em revistas com revisão científica. Trata-se de um indicador que ignora a qualidade (leia-se exigência e/ou reputação) das revistas pelo que por vezes é restringido a revistas reconhecidas por determinadas bases de dados, ou em outros casos a revistas do 1.º quartil da área científica a que se refere a publicação7.

Por outro lado, uma avaliação de desempenho assente no número de publicações é um incentivo à fragmentação dos resultados. Cada artigo só precisa de apresentar um resultado novo pelo que é preferível fragmentar os resultados em pedaços pequenos, em que cada um apresenta um quantum publicável (definido como a quantidade mínima de inovação que garanta a sua publicação) o que dificulta o desenvolvimento global dessa área do conhecimento.

O reconhecimento unânime - quantidade é distinto de qualidade -, e os avanços tecnológicos para a análise de big data, abriu portas a outros indicadores baseados nas citações de artigos como uma medida de impacto científico.

A utilização das citações de artigos como base para medida da sua influência é há muito reconhecida como interessante mas como tendo limitações importantes, porque muito do trabalho anterior acaba por não ser explicitamente reconhecido/citado em publicações científicas8.

No mundo das citações, e num contexto de grande prolixidade de artigos científicos, os autores têm naturalmente tendência a citar as referências citadas pelos trabalhos que leram, o que distorce a relevância das diversas contribuições na área. É uma nova encarnação do efeito de Matthews, em que alguns artigos são mais citados apenas porque tinham sido mais citados até então9.

Tal como para os indicadores baseados no número de artigos, a contagem de citações depende criticamente da base de dados utilizada. Podemos ter, por exemplo, as citações SCOPUS, que reúne revistas consensualmente consideradas como sérias mas exclui outras fontes importantes como livros e teses académicas – que seriam indicadores evidentes da qualidade e relevância científica de um artigo. Ou podemos ter as citações do SCHOLAR do Google, que já inclui livros e teses mas considera uma miríade de revistas de qualidade muito duvidosa e sem peer review, publicadas por editoras predadoras10.

Mais importante, a utilização de métricas de citações de artigos introduz (des) incentivos que podem ser considerados perniciosos para o desenvolvimento da ciência. Por exemplo, ao ignorar as citações de livros académicos, estes indicadores desencorajam o esforço profundo de consolidação e exposição de ideias que normalmente associamos à elaboração de um livro.

Uma outra vítima colateral é a publicação de resultados negativos que, embora seja um dos alicerces do método científico, é fortemente desencorajada porque atrai menos citações. Por outro lado, temas científicos alinhados com os interesses mais populares no sistema científico anglo-saxónico dominante tem maior probabilidade de ser aceite e citado (ou seja, mais impacto) do que investigação em temas com relevância local.

Um dos efeitos do uso de indicadores baseados em citações é a crescente popularidade de artigos de revisão da literatura. Os artigos de revisão são potenciais atractores de citações (particularmente num cenário atual em que existe uma proliferação de artigos de tal ordem que dificilmente alguém consegue ler tudo o que existe sobre um determinado tema). Assim, escrever artigos de revisão torna-se uma atividade de investigação per se. Pode-se mesmo imaginar uma carreira científica de alto impacto sem produção de qualquer conhecimento, apenas como agregador de informação alheia em artigos de revisão. Mais, quando uma contribuição relevante é citada em dois ou três artigos de revisão com sucesso pode cair no esquecimento e deixar de ser citada nos trabalhos seguintes.

Soluções

Apesar de todas as limitações acima enunciadas, os indicadores bibliométricos têm um papel relevante nos processos de avaliação do desempenho científicos de pessoas e instituições. Porém, os riscos associados à sua excessiva valorização, tanto do ponto de vista da injustiça na avaliação como nos comportamentos que encoraja, recomenda que sejam utilizados com parcimónia e nunca como fator decisivo na avaliação. Um bom exemplo é a utilização de indicadores bibliométricos considerados mínimos como fator de elegibilidade para uma dada posição, como é caso de Itália11.

Em alternativa, ou complementarmente, deve ser levado em consideração a avaliação qualitativas dos melhores (ou mais representativos) artigos12, eventualmente selecionados pelo próprio candidato/avaliado. Naturalmente que este é um caso mais fácil de enunciar do que implementar. Por exemplo, como é que se garante num concurso que o júri analisou profundamente os trabalhos dos candidatos? Será necessário que as atas do concurso discutam detalhadamente as limitações e méritos dos artigos avaliados?

Num cenário imaginado de crowd refereeing, em que os artigos estão disponíveis em plataformas públicas que registam os comentários, revisões e avaliação de todos, as construções de indicadores baseados na reação dos leitores poderia ser um bom proxy para a avaliar a relevância, qualidade e até impacto das contribuições científicas de cada um.

Em jeito de conclusão, apresenta-se uma visão da ciência atual como submergida pela proliferação de publicações científicas irrelevantes e fragmentadas, sem revisão rigorosa e eficiente pelos pares, que resulta diretamente dos excessos do modelo publish or perish condimentado pelo uso abusivo de indicadores bibliométricos na avaliação do desempenho.

Neste contexto, importa explorar caminhos alternativos que devolvam a credibilidade e o potencial criador à atividade científica. Estas novas abordagens passam naturalmente pela vontade e capacidade de inovação das agências financiadoras de ciência (que neste sector é quem define as regras), sociedades científicas e outras organizações transversais, mas também pela iniciativa de todos os atores, incluindo direções das instituições, dirigentes de unidades de investigação e até cientistas individuais nas suas decisões quando decidem acolher um colaborador ou revêm um artigo científico.

 

1 As notas que seguem sumarizam algumas das reflexões do autor e não das instituições a que está afiliado ou representa.

2 A revisão por um número pequeno de especialistas pode ser menos competente do que a revisão por muita gente, ainda que menos capaz: Herron, D.M. Surg Endosc (2012) 26: 2275. doi:10.1007/s00464-012-2171-1.

3 Este fenómeno é por isso muitas vezes denominado efeito de Matthew (os ricos ficam cada vez mais ricos e os pobres mais pobres). No contexto do reconhecimento do trabalho científico é também popular o chamado corolário de Matilde: o trabalho de uma mulher em ciência quase sempre é ignorado.

4 O processo de revisão pelos pares é tradicionalmente reservado e de natureza confidencial. O recente aparecimento da plataforma pública PUBLONS, que pretende valorizar de alguma forma o esforço de revisão de artigos, evidencia alguma destas tendências, mostrando por exemplo “revisores de sucesso” (medidos pelo número de revisões feitas no último trimestre) que ainda não terminaram o PhD. Também mostra revisores que revêm centenas de artigos por ano o que sugere que não investem muito tempo ou cuidado nas revisões que submetem (ou então não fazem mais nada!).

5 Algumas experiências revelaram resultados inconclusivos (http://blogs.scientificamerican.com/information-culture/an-introduction-to-open-peer-review/) embora pareça haver a emergência de um consenso no sentido dos méritos do open peer review http://www.utpjournals.press/doi/pdf/10.3138/jsp.44-4-001.

6 A revista PLOS ONE está a introduzir uma variação sobre este modelo mas apenas para pós-publicação (http://www.nature.com/nature/peerreview/debate/nature04992.html) o que, embora não resolva os problemas acima identificados, pode ajudar os leitores (e.g. estudantes de pós-graduação) a distinguir a literatura científica mais relevante numa determinada área de interesse.

7 A recente proliferação de novas revistas científicas de qualidade duvidosa “empurrou” a generalidade das revistas com alguma revisão pelos pares para o 1.º e 2.º quartis pelo que se trata de um indicador com cada vez menos significado.

8MacRoberts, M. H. and MacRoberts, B. R. (1989), Problems of citation analysis: A critical review. J. Am. Soc. Inf. Sci., 40: 342–349. Para além da avaliação da citação como medida da “influência” de um artigo, MacRoberts também discute o desafio das auto citações, algo que hoje já é frequentemente descontado no cálculo destes indicadores de impacto – o que nem sempre é um exercício legítimo pois pode fazer todo o sentido a citação de trabalhos anteriores dos autores, especialmente num ambiente de fragmentação de resultados.

9Se todos os autores escolhessem aleatoriamente três artigos e citassem, aleatoriamente, um quarto das suas referências, um artigo com mais citações teria maior probabilidade de ser citado. Curiosamente, este efeito produz a distribuição de citações que existe (http://arxiv.org/abs/cond-mat/0305150).

10Revistas de acesso aberto que cobram custos de publicação mas não garantem o processo de revisão científica. Uma lista atualizada de editoras e revistas de qualidade duvidosa está disponível em https://scholarlyoa.com/publishers/.

11Nos concursos para posições académicas (equivalentes a professores associados ou catedráticos) considera-se como critério de elegibilidade que os “indicadores” (publicações e citações) estejam acima de mediana (top 50%) http://abilitazione.miur.it/public/index.php?lang=eng.

12Ou contribuições científicas noutros formatos, e.g. livros e teses académicas, provas de agregação, etc..

Miguel Centeno Brito, professor do DEGGE Ciências e investigador do IDL
A colony of tiny ants swarming an area of the patio stone

O cientista José Alberto Quartau escreve um artigo em homenagem ao grande entomologista e lendário biólogo evolucionista, muitas vezes apelidado de novo Darwin e também pai da Biodiversidade, visto ter sido um dos mais apaixonados e eloquentes defensores da diversidade biológica deste planeta. "Só depois de ter adquirido conhecimentos aprofundados sobre as formigas é que Wilson se sentiu atraído por analisar as forças seletivas que moldam o comportamento social animal, bem como o do próprio homem, esse ser que continua verdadeiro enigma para tantos cientistas e filósofos", conta José Alberto Quartau.

Hands working with liquids in laboratory

A Câmara Municipal de Lisboa (CML), a Faculdade e a Associação para a Investigação e Desenvolvimento de Ciências (FCiências.ID) inauguram esta quinta-feira, dia 13 de janeiro, o BioLab Lisboa (BLL). Para Luís Carriço, diretor da Ciências ULisboa, "esta iniciativa é crucial para a integração do cidadão no ecossistema de inovação, de modo a que todos juntos possamos produzir o conhecimento que nos ajudará a criar a cidade do amanhã".

Scientists working at the laboratory

Jaime A. S. Coelho, professor do DQB Ciências ULisboa e investigador no CQE, polo desta faculdade, é o primeiro investigador a trabalhar em Portugal a ser galardoado com o Prémio Thieme Chemistry Journals. "É uma enorme honra fazer parte desta prestigiada lista em que estão presentes outros químicos internacionalmente reconhecidos, como o Dean Toste (distinguido em 2003), Nuno Maulide (distinguido em 2010), Benjamin List (distinguido em 2001, prémio Nobel da Química 2021), David MacMillan (distinguido em 1999, prémio Nobel da Química 2021), entre outros”, diz Jaime A. S. Coelho.

Worldwide connection technology interface. Global Strategy Virtual Icon.Innovation Graphs Interface

A Faculdade é um dos associados fundadores da Biodata.pt, que opera a infraestrutura distribuída portuguesa de dados biológicos e o nó português ELIXIR. “A participação da Faculdade nesta associação é de elevada importância e valor estratégico”, escrevem os cientistas Cátia Pesquita, Sofia Henriques, Vítor Sousa, Célia Miguel e Miguel Machuqueiro.

Digital Cyber Circuit Head 3d

Um dos seis novos projetos financiados pelo Programa CMU Portugal no âmbito do concurso da FCT para projetos exploratórios 2021, na área das TIC intitula-se “Agência de Adultos Idosos em Interação Humano-Robot”.

zona costeira

Trabalho de investigação liderado por grupo da Universidade de Barcelona, que conta com contribuições de quatro investigadores do IDL Ciências ULisboa, encontra evidências de ocupação Neandertal mais recuada e prolongada no tempo.

Pescoço inclinado para trás

"Esta altura do ano é ideal para parar e refletir e sobretudo agradecer aos alunos, alumni, professores, investigadores e todos os outros funcionários desta “casa”, aqueles que continuam no ativo, os que se reformaram e aos que já não estão entre nós. Há um legado, sempre", escreve Ana Subtil Simões, editora da Newsletter de Ciências.

6 investigadores

Equipa de investigadores portugueses a trabalhar no German Cancer Research Center desenvolvem técnica pioneira para o tratamento com protões do cancro da próstata.

várias imagens de engenheiros ao computador e no terreno

Último artigo de opinião no âmbito das comemorações do centenário do curso de Engenharia Geográfica/Geoespacial.

Troféu

Em 2021 a Ordem dos Engenheiros (OE) celebrou 85 anos e 152 anos enquanto associação representativa destes profissionais portugueses. Durante as comemorações, esta sociedade pública profissional distinguiu Ciências ULisboa com o Troféu OE pelo centenário da criação da licenciatura Engenharia Geográfica/Geoespacial, um dos 12 que foram atribuídos durante a Gala 85 Anos OE.

Campus da Faculdade - passagem

“O equilíbrio entre o pensamento holístico e o pragmatismo experimental, entre a intuição e a dedução, é difícil de atingir. A educação é o terreno próprio para não recearmos essa viagem”, escrevem Rui Malhó e Helder Coelho, a propósito da obra “Complexidade: implicações e políticas globais”, apresentada recentemente na Fundação Calouste Gulbenkian.

Logotipo da rubrica radar Tec Labs

Vigésima rubrica Radar Tec Labs, dedicada às atividades do Centro de Inovação da Faculdade. A empresa em destaque é a Shift.

1.ª edição das Medalhas de Mérito Científico REN - Ciência LP

Adyler Frota,  alumnus do mestrado integrado em Engenharia da Energia e Ambiente da Faculdade, foi galardoado este mês com o 2.º prémio das Medalhas de Mérito Científico REN - Ciência LP, na categoria jovens estudantes, pela tese “Otimização do Desempenho Ótico de amostras de silício cristalino por Metal Assisted Chemical Etching (MACE)” e que contou com os orientadores José Silva e Ivo Costa.

grupo de atletas da equipa AEFCL

A equipa de natação da AEFCL conquistou nove medalhas num total de 24 provas no Campeonato Nacional Universitário de Natação em Piscina Curta. A AEFCL conseguiu a sua melhor classificação de sempre nestes campeonatos.

 albatrozes-de-sobrancelha

Um estudo liderado por um estudante do doutoramento em Biologia e Ecologia das Alterações Globais sobre a influência da temperatura da água do mar nos “divórcios” de uma população de albatrozes demostrou, pela primeira vez, uma influência direta do meio ambiente nas taxas de separação desta espécie monogâmica.

Maria Amélia Martins-Loução

“O esforço contínuo em inovar e cruzar saberes vale sempre a pena”, diz a cientista Maria Amélia Martins-Loução, distinguida com o Grande Prémio Ciência Viva 2021.

Brochuras e outros brindes

"A comunicação gera representações sociopsicológicas que são usadas para diferenciar, reconhecer e memorizar os seus bens, produtos e serviços, tornando-os singulares." Mais uma rubrica em jeito de editorial, da autoria de Ana Subtil Simões, editora da Newsletter de Ciências.

Maria Manuel Torres com alunos

"A Matemática serve para fazer magia", comenta Maria Manuel Torres, professora do Departamento de Matemática, a propósito da sessão sobre investigação em Matemática pura, realizada no âmbito do "Encontro com o Cientista", uma inicativa do Pavilhão do Conhecimento - Escola Ciência Viva. A Faculdade recebeu a visita de cerca de 45 alunos, com cerca de 10 anos, acompanhados pelas suas professoras e auxiliares, assim como por técnicos da Ciência Viva.

Reboot - closing this endless crisis [terminar esta crise interminável]

A Reboot é uma associação sem fins lucrativos formada em outubro de 2020 com a missão de criar uma comunidade focada no combate à crise climática. Circular 2021 é o próximo evento organizado pela Reboot, e decorre a 1 de dezembro, na Aula Magna da Reitoria da ULisboa.

Todas as semanas são boas para dar a conhecer os cientistas e o que investigam, assim como os seus contributos para o avanço do conhecimento, ainda assim há semanas mais especiais que outras, como é o caso da Semana da Ciência e da Tecnologia.

Imagem abstrata relacionada com o cartaz promocional do ranking

Alan Phillips é distinguido, pelo 4.º ano consecutivo, como um dos cientistas mais citados na área da Ciência Vegetal e Animal a nível mundial, pelo Highly Cited Researchers da Clarivate Analytics, uma empresa norte-americana especializada em gestão de informação científica.

musaranho-de-dentes-brancos

Investigador do Centro de Estudos do Ambiente e do Mar polo da Ciências ULisboa lidera descoberta sobre o comportamento social do musaranho-de-dentes-brancos.

Mulher escreve num quadro

Quer saber quem são os cientistas mais citados a nível mundial? Aceda gratuitamente aos dados da Mendeley, publicados na Elsevier. Portugal tem 481 cientistas no ranking referente ao impacto ao longo da carreira e 703 no ranking de 2020. Ciências ULisboa apresenta melhores resultados face a 2019.

4 pessoas com colete refletor

O Gabinete de Segurança, Saúde e Sustentabilidade da Ciências ULisboa promoveu a realização do primeiro simulacro no edifício do Centro de Ciências do Mar e do Ambiente. O primeiro exercício na Faculdade ocorreu em dezembro de 2013. Até agora já foram realizados 19 simulacros.

João Carlos Ribeiro Reis, professor aposentado do Departamento de Química e Bioquímica da Faculdade, e investigador do Centro de Química Estrutural, faleceu no passado dia 5 de novembro. A Faculdade apresenta sentidas condolências aos seus familiares, amigos e colegas.

Páginas