IA generativa para o português cresce com modelos Albertina e Gervásio

Ecossistema, líder mundial de grandes modelos de linguagem abertos para a língua portuguesa, é coordenado por António Branco, professor da Ciências ULisboa

robot e criança

A família Albertina (codificadores) foi aumentada com o novo Albertina 1.5B, e a família Gervásio (descodificadores) com o Gervásio 7B

Imagem cedida por AB

À família dos codificadores Albertina, foi agora acrescentado o Albertina 1.5B, o maior dos modelos desta família desenvolvido até ao momento, com 1.500 milhões de parâmetros, juntando-se assim aos outros modelos já existentes, com 100 e 900 milhões de parâmetros. Por sua vez, à família dos descodificadores Gervásio, foi também acrescentado um modelo maior, o Gervásio 7B, com 7.000 milhões de parâmetros, juntando-se ao modelo já existente com 1.000 milhões de parâmetros.O Gervásio 7B foi desenvolvido pelo NLX-Grupo da Fala e da Linguagem Natural da Ciências ULisboa. Para uma descrição detalhada, consulte a respetiva publicação: Santos et al., 2024, “Advancing Generative AI for Portuguese with Open Decoder Gervásio PT*”, 3rd Annual SIGUL Meeting, LREC-COLING2024. Para o desenvolvimento do Albertina 1.5B, com o Grupo NLX da Ciências ULisboa, colaborou uma equipa da Faculdade de Engenharia da Universidade do Porto. A respetiva descrição encontra-se em: Santos et al., 2024, “Fostering the Ecosystem of Open Neural Encoders for Portuguese with Albertina PT* Family”, 3rd Annual SIGUL Meeting, LREC.

Ecossistema de grandes modelos de linguagem de IA Generativa para a língua portuguesa foi expandido com novas versões dos modelos Albertina e Gervásio. A família Albertina (codificadores) foi aumentada com o novo Albertina 1.5B, e a família Gervásio (descodificadores) com o Gervásio 7B.

“Este ecossistema é crucial para a tecnologia da língua portuguesa e esta expansão representa um passo da maior importância na preparação da língua portuguesa para a era da Inteligência Artificial“, diz o seu coordenador, António Branco, professor do Departamento de Informática da Ciências ULisboa, acrescentando que “estas classes de modelos estão na base de toda a gama de aplicações de IA Generativa, incluindo as mais mediáticas, como os chatbots ou os tradutores automáticos, e sendo maiores, estes novos modelos têm melhor desempenho”.

Este ecossistema é líder mundial em termos de grandes modelos de linguagem desenvolvidos especificamente para a língua portuguesa que são totalmente abertos e documentados. São de código aberto, gratuitos e distribuídos em acesso aberto sob uma licença aberta, e as suas características e desempenho de topo encontram-se pormenorizadamente validados e documentados em artigos científicos.

Recorde-se que o primeiro modelo Albertina foi disponibilizado em maio de 2023, no que constituiu um marco histórico na preparação tecnológica da língua portuguesa para a era digital, ao ser o primeiro grande modelo de linguagem aberto desenvolvido especificamente para o português, para ambas as variantes, de Portugal e do Brasil, e disponibilizado para investigadores, em organizações públicas e privadas, grandes e pequenas, de todos os setores económicos.

O desenvolvimento deste ecossistema tem tido o apoio da PORTULAN CLARIN Infraestrutura de Investigação para a Ciência e Tecnologia da Linguagem, da Agenda do PRR Accelerat.ai, e da FCCN/FCT, e vai continuar a crescer com mais e melhores modelos.

“Como exemplo, entre muitos outros, da reutilização destes modelos abertos para todo o tipo de finalidades, e por isso do seu importantíssimo efeito multiplicador e democratizador da IA, há a assinalar o recente desenvolvimento por uma start-up do MediAlbertina, para a IA generativa aplicada à medicina em língua portuguesa, que foi possível porque o Albertina já existia para servir de base”, diz  António Branco.

Gabinete de Jornalismo da DCI Ciências ULisboa com Gonçalo Boffil
noticias@ciencias.ulisboa.pt
Já conhece o Albertina PT?
Participantes da missão oceanográfica a bordo do RV METEOR

Resultados preliminares da missão oceanográfica a bordo do RV METEOR parecem confirmar a presença de eventos catastróficos e que afetaram a costa portuguesa ao longo dos últimos 12 mil anos.

ASSISIbf

"Robots mediating interactions between animals for interspecies collective behaviors" da autoria de Frank Bonnet, Rob Mills, Martina Szopek, Sarah Schönwetter-Fuchs, José Halloy, Stjepan Bogdan, Luís Correia, Francesco Mondada e Thomas Schmickl é um dos artigos da Science Robotics, publicado a 20 de março de 2019.

Direção Ciências ULisboa

A Direção da Faculdade visitou em fevereiro e março os dez departamentos de Ciências ULisboa. “Acho que foi muito positivo”, comenta Luís Carriço, diretor de Ciências ULisboa mencionando ainda que as reuniões permitiram a apresentação e discussão de ideias muito interessantes.

Margarida Amaral

Margarida Amaral, diretora do BioISI e professora no Departamento de Química e Bioquímica de Ciências ULisboa, proferiu duas palestras na Johns Hopkins University School of Medicine em Baltimore, nos EUA, sobre terapêutica personalizada da Fibrose Quística, nos passados dias 6 e 7 de março de 2019.

ETAR de Faro Noroeste

Uma equipa de Ciências ULisboa e do Laboratório Nacional de Engenharia Civil foi distinguida com o Prémio WEX Global 2019 “Inovação em Tecnologia” pela produção sustentável de novos carvões ativados a partir de cascas de pinhão e sua aplicação na remoção de compostos farmacêuticos em estações de tratamento de águas residuais urbanas.

Mohan Munashinghe em Ciências ULisboa

O Prémio Nobel da Paz em 2007 – Mohan Munashinghe - na época vice-presidente do Painel Intergovernamental para as Alterações Climáticas (IPCC), das Nações Unidas -, esteve em Ciências ULisboa no passado dia 15 de março.

Tarifa, sul de Espanha, província de Cádiz

“Recomendamos que as autoridades reconheçam este impacto alargado da produção de energia eólica e estabeleçam novas medidas reguladoras a aplicar em áreas importantes para a migração de aves planadoras que permitam conciliar a produção de energia eólica com a conservação da vida selvagem”, diz Ana Teresa Marques, estudante de doutoramento em Biodiversidade, Genética e Evolução e primeira autora do artigo “Wind turbines cause functional habitat loss for migratory soaring birds”, publicado no Journal of Animal Ecology.

Nélson Pinto

A Glintt - Global Intelligent Technologies conta já com mais de 1050 colaboradores, entre eles alguns ex-alunos de Ciências ULisboa, como é o caso de Nélson Pinto, licenciado em Engenharia Informática e mestre em Engenharia Informática, especialização em Sistemas de Informação. Leia o seu testemunho, fique a par das vantagens do curso e de como é que é trabalhar nesta empresa, que opera a partir de dez escritórios, sediados em seis países - Portugal, Espanha, Reino Unido, Irlanda, Angola e Brasil.

IEEE

​Nuno Neves, professor do Departamento de Informática de Ciências ULisboa, foi eleito vice-presidente do IEEE Technical Committee on Dependable Computing and Fault Tolerance (TCFT). A tomada de posse ocorreu este mês e o mandato tem a duração de dois anos. Na sequência desta eleição, Nuno Neves tomará posse como presidente do IEEE TCFT em 2021, por um período de dois anos.

Pavilhão do Conhecimento

A Ciência Viva volta a homenagear as mulheres cientistas portuguesas, destaque para as personalidades de Ciências ULisboa - Cristina Branquinho, Cristina Máguas, Diana Prata, Margarida Santos-Reis, Margarida Telo da Gama,Maria Ivette Gomes e Vanda Brotas.

Lucanus cervus macho

Pela primeira vez em Portugal continental realiza-se um plano de inventariação sistemática de insetos. Um grupo de entomólogos iniciou a 9 de março, o primeiro trabalho de campo, na costa sudoeste e barlavento algarvio. A primeira sessão pública ocorre no dia 24 de março, na Estação de Biodiversidade de Mértola.

tabela periódica

Vinte e duas escolas do ensino secundário da zona da grande Lisboa participam na semifinal das Olimpíadas de Química Mais (OQ+) em Ciências ULisboa.. Os participantes das OQ+ têm a chance de se qualificar para a 53ª Olimpíada Internacional de Química e para as Olimpíadas Ibero-americanas de Química.

Anfiteatro Ciências ULisboa

Cerca de 70 alunos do 9.º ano da Saint Dominics' International School participaram numa mesa-redonda e ficaram a saber um pouco mais sobre as áreas de Matemática, Matemática Aplicada, Estatística Aplicada, Informática, Engenharia Geoespacial e Bioquímica.

C7

Após o evento de 12 de fevereiro, que antecedeu o Flash Mob Tabela Periódica Humana de Ciências ULisboa estão programadas duas tertúlias sobre a tabela periódica com os cientistas Raquel Gonçalves Maia e Miguel Castanho, respetivamente nos dia 10 de abril e 9 de maio.

Cruz

Fernando Roldão Dias Agudo, jubilado de Ciências ULisboa desde o ano de 1996, faleceu no passado dia 23 de fevereiro. A Faculdade lamenta o triste acontecimento, apresentando as condolências aos familiares, amigos e colegas de Fernando Roldão Dias Agudo.

Reitoria ULisboa

Em 2018 os Prémios Científicos ULisboa/Caixa Geral de Depósitos foram atribuídos aos investigadores de Ciências ULisboa Cristina Branquinho, Francisco Couto, Nuno Araújo e Pedro Antunes. A edição de 2018 do Prémio Científico ULisboa/ Santander Universidades também distinguiu a professora Carla Silva.

Logotipo

Sentiu o sismo de 28 de fevereiro de 1969? Conhece relatos desse acontecimento? Se as respostas forem afirmativas, então responda ao inquérito macrossísmico nacional por ocasião dos 50 anos sobre o grande sismo de 1969, lançado este mês pelo Instituto Português do Mar e da Atmosfera,Instituto Superior Técnico, Ciências ULisboa e Instituto Dom Luiz.

Ciências ULisboa e Milestone Consulting assinam protocolo

Ciências ULisboa e a Milestone Consulting assinaram recentemente um protocolo de cooperação para a atribuição de um Prémio para o Melhor Aluno do 1.º ano do Mestrado em Matemática.

Curso de campo do IFiT

O primeiro Curso de Campo do Projeto IFiT integrado no Programa Erasmus+ realiza-se entre 20 de maio e 2 de junho de 2019, em Aljezur, na Costa Vicentina. As candidaturas ao Student Project Week terminam a 4 de março.

C2

Cerca de 45 alunos do 11.º ano conheceram o Microscópio Eletrónico de Varrimento e participaram na palestra "Imagem Médica: Como a Física permite ver o interior do corpo humano".

Pessoas

"Umas das primeiras etapas para o estabelecimento de limites é tomar consciência e reconhecer as suas próprias necessidades e sentimentos para que, de forma saudável possa cuidar delas nas relações", aconselha a psicóloga Andreia Santos.

Composição de uma imagem de Vénus obtida no infravermelho com a Via Láctea em fundo

A investigação liderada por Javier Peralta, da missão japonesa Akatsuki, teve a participação de Pedro Machado, professor do Departamento de Física de Ciências ULisboa e investigador do Instituto de Astrofísica e Ciência do Espaço.

O papel da alimentação na microbiota intestinal

"Tanto os probióticos como os prebióticos têm demonstrado melhorar os biomarcadores associados ao cancro colon retal e, relativamente à Síndrome do Intestino Irritável, a evidência refere que os probióticos têm um papel importante no alivio dos sintomas e qualidade de vida dos doentes", escreve a nutricionista Maria Inês Antunes.

Geocachers, cache e tritão-marmoreado-pigmeu

O geocaching é utilizado pela primeira vez como indicador para avaliar os serviços culturais prestados pelos ecossistemas. Inês Teixeira do Rosário, investigadora do cE3c, doutorada em Ecologia por Ciências ULisboa, é a primeira autora do artigo da Ecological Indicators.

Catarina Frazão Santos

A apresentação de Catarina Frazão Santos durante a ICES ASC 2018 valeu-lhe o Best Early Career Scientist Presentation Award. O tema da apresentação corresponde ao projeto de investigação por si coordenado e que termina em 2021.

Páginas