Seminário

Are the least knowledgeable unaware of it?

A statistical revisitation of the Dunning-Kruger effect

Sala 2.2.12, Ciências ULisboa (com transmissão através de Videoconferência)

Por Joana Gonçalves de Sá (Coordinator Investigator of the Social Physics and Complexity - SPAC - research group at LIP).

It has been argued that “no problem in judgment and decision making is more prevalent and more potentially catastrophic than overconfidence”, with Nobel laureate Daniel Kahneman going as far as stating that if he could eliminate just one judgement bias, overconfidence would be his choice. Most notably, Dunning and Kruger have shown that there is little to no correlation between knowledge and confidence, with the least knowledgeable also being more likely to overestimate their skills. This can play a role in misinformation control and science communication in general, as several studies have identified evidence of the Dunning-Kruger Effect (DKE) in highly controversial anti-science movements concerning vaccinations, biotechnology use, and climate change. However, both the original Dunning and Kruger paper and early subsequent work, have been revisited for different reasons including 1) being tested mostly on small populations, often of elite college students, 2) in the USA. More recent criticism focuses on methodological issues, namely 3) ignoring a possible expected regression to the mean effect, and 4) not discriminating between lack of metacognition or just having inappropriate priors. Finally, as knowledge levels often do not follow a perfect normal distribution, 5) presenting these results in quartiles, the common practice, might hide important variance, particularly in the most extreme quartiles, where several knowledge and confidence bins are treated as one.

In this talk, I will present a different methodological and analytical approach to address the above issues. First, regarding measurement, we introduce a new method, based on the premise that “don’t know” versus “wrong” answers to knowledge questionnaires can be used as a proxy for confidence, and we examine how this non-self-reported confidence varies with knowledge. Regarding sampling, we apply our metric to several large surveys, conducted over 25 years in Europe and the USA. We also introduce a new analytical approach, whereby we analyze these surveys over its full range of variability (instead of considering only performance quartiles) and compare their results to the two described models: the metacognition model expectation that confidence should grow linearly with knowledge, and the Dunning-Kruger effect of almost no relationship between the two variables (a null model of zero correlation is also considered), as are different answering strategies.

We find that, contrary to previous work, and unlike the DKE, overconfidence is not highest among the least knowledgeable: the relationship between knowledge and confidence is non-linear, with overconfidence peaking at intermediate knowledge levels and leading to populations that have some knowledge but strongly overestimate it. Finally, we investigated public attitudes towards science and found that this intermediate knowledge group also corresponds to the one displaying the most negative attitudes.

I’ll discuss the impact of our findings in the broad field of overconfidence studies, in the context of science communication, and considering current methods of data analysis in social psychology.


Transmissão em direto via Zoom (password: 405084).

14h30
CEAUL - Centro de Estatística e Aplicações da Universidade de Lisboa / CEMAT - Centro de Matemática Computacional e Estocástica

Earth Systems Seminar, por Ana Machado (DEGGE/IDL).

Seminário do Departamento de Física de Ciências ULisboa, por Henrique Leitão (DHFC-FCUL, PI RUTTER ERC AdG).

RSS Meetup, por Nuno Lopes (IST, ULisboa).

Logótipo do evento

No dia 04 de abril, pelas 14h30, será gravado um episódio em direto do podcast "A Escala do Clima" de Filipe Duarte Santos (Professor Jubilado de CIÊNCIAS).

A iniciativa, promovida pela Rede Campus Sustentável (da qual CIÊNCIAS faz parte), é direcionada para o incentivo à colaboração entre as pessoas que pertencem a estruturas existentes ou em fase de constituição.

Fotografia de aluna

Uma iniciativa aberta a toda a comunidade académica da ULisboa.

Fotografia de coleção de insetos

The course includes several case studies of insect adaptation, and the most recent overview on insect evodevo, plasticity, ecophysiological responses and conservation under global change.

Seminário do Centro de Física Teórica e Computacional, por João Neves (CFTC).

Título/data/local do evento e fotografia aérea de vias urbanas

Conferência da redeMOV, por Gabriel Costa Valença.

Logótipo CIE

A leading venue for presenting and discussing the latest research, industrial practice and innovations in dependable and secure computing.

Logótipos do evento/Ciências ULisboa/AEFCL e data do evento, sobre fotografia de edição anterior

O maior evento de empregabilidade de CIÊNCIAS, a decorrer nos dias 08 e 09 de abril.

RSS Meetup, por Rodrigo Bruno (IST, ULisboa).

Título do evento

A collaborative initiative supported by five Portuguese research centers, aimed at strengthening and connecting the geometry research community in Portugal.

Equipa da Raiz Vertical Farms

Uma Experiência Única sobre Agricultura Urbana e Energia Renovável.

Seminário do Instituto de Astrofísica e Ciências do Espaço, por Amidou Sorgho (Instituto de Astrofísica de Andalucía - IAA-CSIC, Spain).

Título/data/local do evento e fotografia da cidade de Lisboa

The conference aims to bring together students and young researchers working in Mathematics, Statistics, and Applications with a view to fostering discussions and collaborations amongst participants.

Título "Para um ensino humanista das ciências" e logótipos das entidades organizadoras

O evento tem como tema principal "Para um ensino humanista das ciências" e conta com a participação de vários professores de CIÊNCIAS.

Microplásticos em suspensão no oceano

O curso tem como objetivo dar formação sobre a problemática da contaminação por detritos de plástico dos nossos ecossistemas, bem como alertar para os potenciais efeitos deletérios nos organismos - candidaturas até 22 de março.

Banner do Dia de Ciências 2025

A 29 de abril assinalamos o 114.º aniversário de CIÊNCIAS.

Junte-se a nós no Grande Auditório de CIÊNCIAS para uma tarde de celebração que reúne toda a comunidade da Faculdade.

Logótipo C-Academy

O curso oferece uma base sólida sobre os fundamentos e práticas essenciais para proteger sistemas e dados num mundo cada vez mais digital - candidaturas até 13 de abril.

Fotografia de fábrica a emitir poluição para a atmosfera

The course aims at enabling the participants to use different methods to measure the impacts of pollutants on ecosystems.

Um concurso de programação dirigido aos alunos do ensino secundário (11.º e 12.º anos), que visa promover a prática e o gosto pela programação.

Banner Dia Aberto de CIÊNCIAS 2025.

Bem-vindos a Ciências ULisboa!

Fotografia de Chapim-azul

The goal of this course is to provide the participants with the most recent and practical knowledge on the use of Functional Diversity.

Mão a segurar em globo de vidro

Curso acreditado pelo CCPFC para efeitos de progressão na carreira dos professores na dimensão cientifico-pedagógica dos grupos 230, 420, 510, 520 e 560, com candidaturas até 30 de abril.

Páginas