IA generativa para o português cresce com modelos Albertina e Gervásio

Ecossistema, líder mundial de grandes modelos de linguagem abertos para a língua portuguesa, é coordenado por António Branco, professor da Ciências ULisboa

robot e criança

A família Albertina (codificadores) foi aumentada com o novo Albertina 1.5B, e a família Gervásio (descodificadores) com o Gervásio 7B

Imagem cedida por AB

À família dos codificadores Albertina, foi agora acrescentado o Albertina 1.5B, o maior dos modelos desta família desenvolvido até ao momento, com 1.500 milhões de parâmetros, juntando-se assim aos outros modelos já existentes, com 100 e 900 milhões de parâmetros. Por sua vez, à família dos descodificadores Gervásio, foi também acrescentado um modelo maior, o Gervásio 7B, com 7.000 milhões de parâmetros, juntando-se ao modelo já existente com 1.000 milhões de parâmetros.O Gervásio 7B foi desenvolvido pelo NLX-Grupo da Fala e da Linguagem Natural da Ciências ULisboa. Para uma descrição detalhada, consulte a respetiva publicação: Santos et al., 2024, “Advancing Generative AI for Portuguese with Open Decoder Gervásio PT*”, 3rd Annual SIGUL Meeting, LREC-COLING2024. Para o desenvolvimento do Albertina 1.5B, com o Grupo NLX da Ciências ULisboa, colaborou uma equipa da Faculdade de Engenharia da Universidade do Porto. A respetiva descrição encontra-se em: Santos et al., 2024, “Fostering the Ecosystem of Open Neural Encoders for Portuguese with Albertina PT* Family”, 3rd Annual SIGUL Meeting, LREC.

Ecossistema de grandes modelos de linguagem de IA Generativa para a língua portuguesa foi expandido com novas versões dos modelos Albertina e Gervásio. A família Albertina (codificadores) foi aumentada com o novo Albertina 1.5B, e a família Gervásio (descodificadores) com o Gervásio 7B.

“Este ecossistema é crucial para a tecnologia da língua portuguesa e esta expansão representa um passo da maior importância na preparação da língua portuguesa para a era da Inteligência Artificial“, diz o seu coordenador, António Branco, professor do Departamento de Informática da Ciências ULisboa, acrescentando que “estas classes de modelos estão na base de toda a gama de aplicações de IA Generativa, incluindo as mais mediáticas, como os chatbots ou os tradutores automáticos, e sendo maiores, estes novos modelos têm melhor desempenho”.

Este ecossistema é líder mundial em termos de grandes modelos de linguagem desenvolvidos especificamente para a língua portuguesa que são totalmente abertos e documentados. São de código aberto, gratuitos e distribuídos em acesso aberto sob uma licença aberta, e as suas características e desempenho de topo encontram-se pormenorizadamente validados e documentados em artigos científicos.

Recorde-se que o primeiro modelo Albertina foi disponibilizado em maio de 2023, no que constituiu um marco histórico na preparação tecnológica da língua portuguesa para a era digital, ao ser o primeiro grande modelo de linguagem aberto desenvolvido especificamente para o português, para ambas as variantes, de Portugal e do Brasil, e disponibilizado para investigadores, em organizações públicas e privadas, grandes e pequenas, de todos os setores económicos.

O desenvolvimento deste ecossistema tem tido o apoio da PORTULAN CLARIN Infraestrutura de Investigação para a Ciência e Tecnologia da Linguagem, da Agenda do PRR Accelerat.ai, e da FCCN/FCT, e vai continuar a crescer com mais e melhores modelos.

“Como exemplo, entre muitos outros, da reutilização destes modelos abertos para todo o tipo de finalidades, e por isso do seu importantíssimo efeito multiplicador e democratizador da IA, há a assinalar o recente desenvolvimento por uma start-up do MediAlbertina, para a IA generativa aplicada à medicina em língua portuguesa, que foi possível porque o Albertina já existia para servir de base”, diz  António Branco.

Gabinete de Jornalismo da DCI Ciências ULisboa com Gonçalo Boffil
noticias@ciencias.ulisboa.pt
Já conhece o Albertina PT?

O modelo foi aplicado ao campus da FCUL mostrando que o aproveitamento da radiação solar nas fachadas dos edifícios permite duplicar o seu potencial solar.

A Qmetrics, SA, empresa de consultoria nas áreas de gestão, estudos de mercado e relacionamento com o cliente, oferece estágio profissional. O candidato deverá apresentar grau académico em

Apesar de já existir há dois anos e meio, numa altura do ano em que chegam à FCUL mais algumas centenas de novos alunos, é importante divulgar a existência do Sistema de Impressão da FCUL para alunos.

No âmbito da avaliação de unidades promovida em 2013 pela Fundação para a Ciência e a Tecnologia, o Centro de Matemática, Aplicações Fundamentais e

Oportunidades além-fronteiras

No decorrer do encontro entre a FCUL e o Centro de Ciências Matemáticas e da Natureza (CCMN) da Universidade Federal do Rio de Janeiro (UFRJ), o professor João Graciano Mendonça Filho, responsável por este centro, em jeito de “convite” alertou: “O Brasil precisa de geólogos. Há falta de especialistas desta área no nosso país!”.

No dia 6 de Janeiro de 2014 a FCUL associa-se ao seu Departamento de Matemática para prestar homenagem à memória de Miguel Ramos, matemático e professor desta casa.

Concurso Externo - Estágios Profissionais Remunerados de Recém-Licenciados para Técnico Administrativo
REQUISITOS

Rita Zilhão

A participação interessada e com sucesso dos alunos, é um incentivo para a mobilidade académica de estudantes entre as duas universidades.

É já no próximo sábado mais uma Feira no Botânico. Não perca!

 

Para mais informações:

A principal missão do Departamento de Matemática é a da promoção do ensino e da investigação da Matemática, contribuindo para a criação e transmissão do conhecimento nesta área, bem como

Capa da Agenda FCUL 2012/2013

- Qual é coisa, qual é ela? É retangular e a cor varia normalmente todos os anos. Tem argolas e mais de 200 páginas. Pode-se usar todos os dias ou só em determinadas ocasiões. Sim, é fácil adivinhar! É a Agenda FCUL 2013/2014 e já “anda de mão em mão”…

Fórum Bolsas UL/FAD

“Numa época de crise e com falta de emprego, a solução por vezes é mais simples do que emigrar: criar o próprio emprego e gerar emprego. Este projeto "lançou-me" não só a nível académico (…) como profissional, estando neste momento a desenvolver uma empresa”, informou o antigo aluno do mestrado integrado em Engenharia Biomédica e Biofísica da FCUL, Ricardo Santos.

 Mestrados do DEIO 2013-14

“Com um simples azulejo” é uma iniciativa do Departamento de Matemática da FCUL dirigida a alunos do 1ºciclo e 2ºciclo do Ensino Básico e destinada a explorar transformações geométricas no plano.

A experiência profissional da cientista iniciou-se na casa que a formou, a FCUL, em 1999, enquanto doutoranda. Nessa altura, exercia funções de investigadora e supervisora de projetos de alunos de licenciatura. Atualmente, o percurso profissional, “continua dentro de casa”.

Trial do Journal of Visualized Experiments

“ (…) Pretendo fazer investigação aplicada, em particular na área da Biotecnologia Vegetal, que possa contribuir para a sociedade e para a economia do país”, refere a investigadora da FCUL que acaba de lançar um artigo na “Food Chemistry, Ana Margarida Fortes.

Isabel Fraga Alves

A Teoria dos Valores Extremos e a Inferência Estatística daí decorrente, têm vindo a invadir de forma transversal um largo espectro de áreas aplicadas e que vão desde ciências ambientais às financeiras, numa interface din&aci

Livros e giz

Um programa alicerçado na preocupação do axiomatizar, que valoriza o “formalismo pelo formalismo”, que rejeita a possibilidade de compreensão de conceitos e procedimentos, dificulta a tarefa do professor, para além de se distanciar das orientações dos programas do Reino Unido, de Singapura e dos EUA.

No seguimento da nomeação de Carlos Nieto de Castro como delegado nacional no Domínio da Química e Ciências Moleculares, em março deste ano, esta é a primeira reunião a ter lugar no campus da FCUL, em Lisboa.

FCUL desenvolve inquérito a antigos alunos

Conhecer o percurso académico e profissional dos alunos alumni é um dos interesses de Ciências. Para isso, a Faculdade desenvolveu um inquérito que permanece ativo no portal.

Em 2012, a Universidade de Lisboa, através do Museu Nacional de História Natural e da Ciência (MUHNAC), participou pela primeira vez na Noite

A extraordinária comunhão entre a Geometria e a Arquitectura… volta a ser este o mote de mais um Diálogo na Exposição Formas & Fórmulas, patente no Museu de História Natural e da Ciência (MUHNAC).

Na manhã de 16 de Setembro a partir das 8h45 vai realizar-se a Sessão de Boas Vindas aos novos alunos do Departamento de Informática.

Técnicas Geoquímicas aplicadas à Exploração de Petróleo e a Problemas Ambientais

Cooperação FCUL/Univ. Federal do Rio de Janeiro. Convite à participação!

Páginas