Seminário

Are the least knowledgeable unaware of it?

A statistical revisitation of the Dunning-Kruger effect

Sala 2.2.12, Ciências ULisboa (com transmissão através de Videoconferência)

Por Joana Gonçalves de Sá (Coordinator Investigator of the Social Physics and Complexity - SPAC - research group at LIP).

It has been argued that “no problem in judgment and decision making is more prevalent and more potentially catastrophic than overconfidence”, with Nobel laureate Daniel Kahneman going as far as stating that if he could eliminate just one judgement bias, overconfidence would be his choice. Most notably, Dunning and Kruger have shown that there is little to no correlation between knowledge and confidence, with the least knowledgeable also being more likely to overestimate their skills. This can play a role in misinformation control and science communication in general, as several studies have identified evidence of the Dunning-Kruger Effect (DKE) in highly controversial anti-science movements concerning vaccinations, biotechnology use, and climate change. However, both the original Dunning and Kruger paper and early subsequent work, have been revisited for different reasons including 1) being tested mostly on small populations, often of elite college students, 2) in the USA. More recent criticism focuses on methodological issues, namely 3) ignoring a possible expected regression to the mean effect, and 4) not discriminating between lack of metacognition or just having inappropriate priors. Finally, as knowledge levels often do not follow a perfect normal distribution, 5) presenting these results in quartiles, the common practice, might hide important variance, particularly in the most extreme quartiles, where several knowledge and confidence bins are treated as one.

In this talk, I will present a different methodological and analytical approach to address the above issues. First, regarding measurement, we introduce a new method, based on the premise that “don’t know” versus “wrong” answers to knowledge questionnaires can be used as a proxy for confidence, and we examine how this non-self-reported confidence varies with knowledge. Regarding sampling, we apply our metric to several large surveys, conducted over 25 years in Europe and the USA. We also introduce a new analytical approach, whereby we analyze these surveys over its full range of variability (instead of considering only performance quartiles) and compare their results to the two described models: the metacognition model expectation that confidence should grow linearly with knowledge, and the Dunning-Kruger effect of almost no relationship between the two variables (a null model of zero correlation is also considered), as are different answering strategies.

We find that, contrary to previous work, and unlike the DKE, overconfidence is not highest among the least knowledgeable: the relationship between knowledge and confidence is non-linear, with overconfidence peaking at intermediate knowledge levels and leading to populations that have some knowledge but strongly overestimate it. Finally, we investigated public attitudes towards science and found that this intermediate knowledge group also corresponds to the one displaying the most negative attitudes.

I’ll discuss the impact of our findings in the broad field of overconfidence studies, in the context of science communication, and considering current methods of data analysis in social psychology.


Transmissão em direto via Zoom (password: 405084).

14h30
CEAUL - Centro de Estatística e Aplicações da Universidade de Lisboa / CEMAT - Centro de Matemática Computacional e Estocástica
Vista a partir de cima de pessoas a trabalharem sobre uma mesa de madeira

CIÊNCIAS desenvolve um conjunto de atividades de apoio aos Doutorandos, periodicamente enquadradas no âmbito do PhD Support Programme.

Ana Quintans

Concerto no âmbito do programa Música na Universidade de Lisboa.

Esta formação é oferecida como oportunidade de aprender sobre sustentabilidade do corpo à comunidade e ao ecossistema, perante uma situação global desesperante, sonhando utopicamente com futuros mais justos e equitativos. 

Conversa com Cristina Luís (investigadora no CIUHCT - Centro Interuniversitário de História das Ciências e da Tecnologia / Ciências ULisboa).

Logótipo do LIP Summer Internship Program

Um programa destinado a estudantes de Física e Engenharia com interesse em investigação científica e tecnológica, com candidaturas até 15 de maio (nova data).

Fotografia de Chapim-azul

The goal of this course is to provide the participants with the most recent and practical knowledge on the use of Functional Diversity.

Logótipo CQE Days 2025

O encontro tem como objetivo divulgar e promover os resultados da investigação produzidos nos dois pólos do Centro de Química Estrutural (CIÊNCIAS e IST), estimulando a criatividade, o trabalho interdisciplinar e o espírito científico.

Seminário do Centro de Física Teórica e Computacional, por Susana Barbosa (INESC TEC, Porto, Portugal).

O evento reunirá alunos de Ciências ULisboa e do ISCAL, proporcionando-lhes uma oportunidade única para apresentarem e defenderem os seus projetos empreendedores num formato de pitch.

Palestra de divulgação das atividades e oportunidades do IEEE (Institute of Electrical and Electronics Engineers).

Seminário de Lógica Matemática, por Eduardo Magalhães (Universidade do Porto).

Mão a segurar em globo de vidro

Curso acreditado pelo CCPFC para efeitos de progressão na carreira dos professores na dimensão cientifico-pedagógica dos grupos 230, 420, 510, 520 e 560, com candidaturas até 30 de abril.

The aim of this event is to illustrate the importance of interdisciplinarity. To do so the meeting will bring together researchers from different areas who work in interdisciplinary fields within Ciências ULisboa

Título/data/local do evento, logótipos das entidades organizadoras e fotografia de peixe

The event aims to facilitate the exchange of information and knowledge among professionals to advance the understanding, collaboration and capabilities of aquaculture to respond to the impact of climate change in a rapidly changing global environment.

Composição do logótipo da ULisboa e de representação do rosto humano à base de relógios

22 de maio - dois dos doze finalistas da competição são alunos de CIÊNCIAS.

Uma oportunidade única para interagir com a comunidade global de computação científica, com inscrições (preço reduzido) até 02 de maio.

Logótipo Moodle

Ação de formação para docentes e investigadores de CIÊNCIAS.

Logótipo Mentimeter

Ação de formação para docentes e investigadores de CIÊNCIAS.

Título/data/local do evento e iconografia representativa de energias renováveis

Inscrições até 16 de maio! Junta-te a esta revolução energética e faz a diferença!

Curso destinado a estudantes de Mestrado e de Doutoramento, bem como a profissionais que desenvolvam investigação científica na área da saúde.

Químico a escrever fórmulas num quadro

Curso acreditado para efeitos de progressão na carreira dos professores do Ensino Básico e Secundário do Grupo 510 (CCPFC/ACC-118288/22), com candidaturas até 18 de maio.

Título/data/local do evento e fotografia do mar

Quais são os conceitos-chave para enfrentar os atuais desafios marinhos e costeiros? 

Representação de programação R

This course aims at providing students with basic knowledge of R programming, allowing them to manipulate and visualize data with R.

The conference focuses on "Algebra and its role in Computer Science", with special emphasis on the areas of study related to the work of M. V. Volkov, such as semigroups and automata.

Título/data/local do evento e fotografia do espaço

How far will you go? The IA Summer Program 2025 is your launchpad to the Universe - apply until 26 May!

Páginas