Já conhece o Albertina PT?

Primeiro grande modelo aberto de IA para a língua portuguesa

cérebro

O desenvolvimento de grandes modelos neuronais de IA generativa para a língua portuguesa ainda agora começou

Unsplash+ com Getty Images
António Branco
“Vamos continuar a desenvolver novas versões do Albertina, e também vamos desenvolver outros modelos de linguagem com arquiteturas neuronais diferentes da arquitetura da Albertina", diz António Branco
Fonte GICD DCI Ciências ULisboa

O primeiro grande modelo de Inteligência Artificial generativa para a língua portuguesa, para cada uma das variantes, do Brasil e de Portugal, gratuito, em código aberto e com acesso universal está disponível desde este mês e tem 900 milhões de parâmetros.

"Trata-se de um marco histórico muito importante na preparação tecnológica da língua portuguesa para a era digital."
António Branco

O Albertina PT destina-se a investigadores e organizações, públicas e privadas, grandes e pequenas, de todos os sectores económicos. No momento da sua publicação, o seu desempenho estabelece o estado da arte para o Português relativamente a modelos neuronais de linguagem publicados e abertos. É este tipo de modelos de linguagem que suportam toda a gama de aplicações de IA que estão a fazer furor, desde chatbots até tradução automática.

"Trata-se de um marco histórico muito importante na preparação tecnológica da língua portuguesa para a era digital", diz em comunicado de imprensa, António Branco, professor do Departamento de Informática da Ciências ULisboa, coordenador do NLX | Grupo da Fala e Linguagem Natural da Ciências ULisboa e coordenador da equipa deste projeto, desenvolvido em parceria com a Faculdade de Engenharia da Universidade do Porto (FEUP).

O Albertina PT é um codificador da família BERT, baseado na arquitetura neural Transformer e desenvolvido sobre o modelo DeBERTa.

Para António Branco, o Albertina “constitui um passo crucial para democratizar esta tecnologia, que deixa de estar confinada às bigtechs e aos laboratórios de investigação, e vê todo o seu potencial disponível para alavancar a criação de valor e a melhoria da vida das pessoas”.
O desenvolvimento de grandes modelos neuronais de IA generativa para a língua portuguesa ainda agora começou. “Vamos continuar a desenvolver novas versões do Albertina, e também vamos desenvolver outros modelos de linguagem com arquiteturas neuronais diferentes da arquitetura da Albertina, uma vez que cada um à sua maneira é mais apropriado para diferentes finalidades e condições de utilização”, acrescenta António Branco.

Os investigadores do NLX Ciências ULisboa - João Rodrigues, Luís Gomes, João Silva, António Branco e Rodrigo Santos - e os investigadores do Laboratório de Inteligência Artificial e Ciência de Computadores da FEUP - Henrique Lopes Cardoso e Tomás Osório - apresentam os resultados deste trabalho no artigo "Advancing Neural Encoding of Portuguese with Transformer Albertina PT*", submetido recentemente na arXiv.

“Este primeiro resultado e as reações que estamos a receber são muito encorajadores, e o balanço é muito positivo”, conclui António Branco.

O Albertina nos media
Expresso, Economia dia a dia, Human Resources, RTP, Correio da Manhã, Pplware Online.

Ana Subtil Simões, Gabinete de Jornalismo Ciências ULisboa
info.ciencias@ciencias.ulisboa.pt
Impressão artística da missão Euclides no espaço.

A 25 de maio (sábado), às 21h00, vamos ver e compreender as novas imagens de entre as maiores alguma vez feitas do Universo, no Grande Auditório de CIÊNCIAS (Edifício C3). A entrada é livre.

Redes Doutorais Marie Curie Projeto PROMOTE

CIÊNCIAS vai participar numa das propostas vencedoras do concurso 2023 das Redes Doutorais de Ações Marie Skłodowska-Curie (MSCA DN).

Foto de entrega de prémio aos vencedores

No âmbito do projeto Invasives e como atividade inserida na

Dia Nacional dos Cientistas - 16 de maio

O Dia Nacional dos Cientistas foi instituído em 2016 por Resolução da Assembleia da República com o objetivo de reconhecer e celebrar a contribuição vital dos cientistas para o progresso da sociedade.

CIÊNCIAS e OKEANOS em parceria para monitorizar biodiversidade e alterações dos ecossistemas marinhos

Projeto internacional SEAGHOSTS visa a monitorização e conservação das populações de painhos, as aves marinhas mais pequenas do planeta.

Reitoria da ULisboa

O CWUR 2024 avaliou de entre 20.966 instituições de ensino superior e atribuiu à ULisboa o 211.º lugar (top 1.1%) e a 80.ª posição no panorama europeu.

Fotografia de participantes na Training School

CLEANFOREST na vanguarda da compreensão dos efeitos dos extremos climáticos e poluição nas florestas Europeias

Participantes no Dia Aberto

O campus ganhou vida, cor e energia proveniente do entusiasmo dos cerca de 2000 alunos de 170 escolas de norte a sul do País.

CIÊNCIAS esteve presente nesta edição, com a participação dos docentes do Departamento de Física: Alexandre Cabral, no painel de abertura “À conversa sobre carreiras espaciais” e

Semana Internacional da Compostagem

Uma das transformações necessárias às entidades que querem progredir pelo caminho da sustentabilidade é fecharem os seus ciclos de materiais, nomeadamente o orgânico.

A VicenTuna - Tuna da Faculdade de Ciências da Universidade de Lisboa - completou 30 anos em janeiro de 2024. Para comemorar, realizou no dia 30 de abril de 2024, a Festa da Primavera, um espetáculo de música e divertimento dedicado à comunidade de CIÊNCIAS e ao público em geral.

Celebrações dos 50 anos do 25 de abril de 1974 da Academia das Ciências de Lisboa

A 9 de maio realiza-se a segunda de duas jornadas de debate académico e científico organizadas pela Academia das Ciências de Lisboa, que tem por objetivo ‘analisar e discutir a evolução do panorama científico português de forma prospetiv

Lançamento do projeto Barrocal-Cave marca um novo capítulo na Conservação da Biodiversidade em Portugal

O prestigiado Palácio Gama Lobo foi o cenário escolhido para o lançamento do projeto Barrocal-Cave, financiado pelo Prémio Fundação Belmiro de Azevedo 2023.

No passado dia 10 de abril, tivemos a honra de receber um grupo de estudantes e dois professores da Universidade de Leiden, na Holanda. Com um total de 40 estudantes, todos da área das bio farmacêuticas, a visita prometia ser entusiástica.

Miguel Pinto

No dia 29 de abril, Miguel Pinto visitou a Escola Básica Professora Aida Vieira, no Bairro Padre Cruz em Lisboa, para realizar oficinas de divulgação científica e atividades didáticas.

Fotografia de alguns dos oradores

O que é a sustentabilidade? Como podemos agir a nível local, procurando um impacto global? Estas e muitas outras questões marcaram a segunda edição da Semana da Sustentabilidade CIÊNCIAS, entre 15 e 19 de abril de 2024.

Grande Auditório durante a celebração do 113.º aniversário de CIÊNCIAS

Mais de 500 pessoas assistiram no Grande Auditório à celebração do 113.º aniversário de CIÊNCIAS, na passada terça-feira, 23 de abril, numa cerimónia marcada por distinções, homenagens e um balanço dos últimos meses, com os olhos postos no futuro. 

Buracos negros Gaia

Um grupo de cientistas descobriu um grande buraco negro, com uma massa quase 33 vezes superior à massa do Sol, escondido na constelação de Aquila, a menos de 2000 anos-luz da Terra, ao analisar a grande quantidade de dados da missão Gaia da ESA.

Alunos com mãoes no ar num sala de aula

É possível brincar com a Matemática e prova disso foram as várias atividades que se realizaram na Faculdade nos dias 13 e 14 de março de 2024. Março foi um mês dedicado a esta ciência, motor da sociedade. Leia a opinião de quem participou nestas atividades e ainda nas Jornadas de Matemática.

robot e criança

Ecossistema de grandes modelos de linguagem de IA Generativa para a língua portuguesa foi expandido com novas versões dos modelos Albertina e Gervásio.

Participantes da 1.ª edição do JAB

A 1ª edição do JAB, um evento inovador destinado a jovens empreendedores, organizado pela JUST - Júnior Iniciativa de Ciências ocorreu nos dias 22 e 23 de março passado e teve como foco a Educação de Qualidade, quarto Objetivo de Desenvolvimento Sustentável.

Pessoas

Uma comitiva da Shanghai Ocean University (SHOU), cuja origem remonta à Escola de Pesca da Província de Jiangsu, fundada em 1912, visitou Ciências ULisboa no passado dia 25 de março. Wang Hongzhou, presidente do Conselho da universidade chinesa, elogiou o avanço da investigação realizada na Ciências ULisboa, destacando as boas práticas de gestão, interdisciplinaridade e foco na missão. Durante a ocasião, Luís Carriço, diretor da Ciências ULisboa, reconheceu a importância das relações bilaterais com a China.

Alunos dinarmarqueses junto à tabela periódica

Um grupo de 25 estudantes do ensino secundário do Egedal Gymnasium & HF, da Dinamarca, visitou a Ciências ULisboa no passado dia 21 de março.

Páginas