IA generativa para o português cresce com modelos Albertina e Gervásio

Ecossistema, líder mundial de grandes modelos de linguagem abertos para a língua portuguesa, é coordenado por António Branco, professor da Ciências ULisboa

robot e criança

A família Albertina (codificadores) foi aumentada com o novo Albertina 1.5B, e a família Gervásio (descodificadores) com o Gervásio 7B

Imagem cedida por AB

À família dos codificadores Albertina, foi agora acrescentado o Albertina 1.5B, o maior dos modelos desta família desenvolvido até ao momento, com 1.500 milhões de parâmetros, juntando-se assim aos outros modelos já existentes, com 100 e 900 milhões de parâmetros. Por sua vez, à família dos descodificadores Gervásio, foi também acrescentado um modelo maior, o Gervásio 7B, com 7.000 milhões de parâmetros, juntando-se ao modelo já existente com 1.000 milhões de parâmetros.O Gervásio 7B foi desenvolvido pelo NLX-Grupo da Fala e da Linguagem Natural da Ciências ULisboa. Para uma descrição detalhada, consulte a respetiva publicação: Santos et al., 2024, “Advancing Generative AI for Portuguese with Open Decoder Gervásio PT*”, 3rd Annual SIGUL Meeting, LREC-COLING2024. Para o desenvolvimento do Albertina 1.5B, com o Grupo NLX da Ciências ULisboa, colaborou uma equipa da Faculdade de Engenharia da Universidade do Porto. A respetiva descrição encontra-se em: Santos et al., 2024, “Fostering the Ecosystem of Open Neural Encoders for Portuguese with Albertina PT* Family”, 3rd Annual SIGUL Meeting, LREC.

Ecossistema de grandes modelos de linguagem de IA Generativa para a língua portuguesa foi expandido com novas versões dos modelos Albertina e Gervásio. A família Albertina (codificadores) foi aumentada com o novo Albertina 1.5B, e a família Gervásio (descodificadores) com o Gervásio 7B.

“Este ecossistema é crucial para a tecnologia da língua portuguesa e esta expansão representa um passo da maior importância na preparação da língua portuguesa para a era da Inteligência Artificial“, diz o seu coordenador, António Branco, professor do Departamento de Informática da Ciências ULisboa, acrescentando que “estas classes de modelos estão na base de toda a gama de aplicações de IA Generativa, incluindo as mais mediáticas, como os chatbots ou os tradutores automáticos, e sendo maiores, estes novos modelos têm melhor desempenho”.

Este ecossistema é líder mundial em termos de grandes modelos de linguagem desenvolvidos especificamente para a língua portuguesa que são totalmente abertos e documentados. São de código aberto, gratuitos e distribuídos em acesso aberto sob uma licença aberta, e as suas características e desempenho de topo encontram-se pormenorizadamente validados e documentados em artigos científicos.

Recorde-se que o primeiro modelo Albertina foi disponibilizado em maio de 2023, no que constituiu um marco histórico na preparação tecnológica da língua portuguesa para a era digital, ao ser o primeiro grande modelo de linguagem aberto desenvolvido especificamente para o português, para ambas as variantes, de Portugal e do Brasil, e disponibilizado para investigadores, em organizações públicas e privadas, grandes e pequenas, de todos os setores económicos.

O desenvolvimento deste ecossistema tem tido o apoio da PORTULAN CLARIN Infraestrutura de Investigação para a Ciência e Tecnologia da Linguagem, da Agenda do PRR Accelerat.ai, e da FCCN/FCT, e vai continuar a crescer com mais e melhores modelos.

“Como exemplo, entre muitos outros, da reutilização destes modelos abertos para todo o tipo de finalidades, e por isso do seu importantíssimo efeito multiplicador e democratizador da IA, há a assinalar o recente desenvolvimento por uma start-up do MediAlbertina, para a IA generativa aplicada à medicina em língua portuguesa, que foi possível porque o Albertina já existia para servir de base”, diz  António Branco.

Gabinete de Jornalismo da DCI Ciências ULisboa com Gonçalo Boffil
noticias@ciencias.ulisboa.pt
Já conhece o Albertina PT?

"Este acontecimento é uma oportunidade para divulgar e celebrar a qualidade da investigação e da inovação desenvolvidas na Ciências ULisboa”, diz Margarida Santos-Reis, subdiretora da Faculdade para a área da investigação, a propósito da 5.ª edição do Dia da Investigação e Inovação.

imagem gerada por IA

"A realização de determinadas funções biológicas é explicada como efeito de uma “computação natural” executada pelo organismo. O objetivo destes programas é, como bem exemplificado por este recente artigo de Joshua Bongard e Michel Levin, promover uma confluência entre biologia e engenharia", escreve Lorenzo Baravalle, investigador do Centro de Filosofia das Ciências da Universidade de Lisboa.

pessoas a escavar na terra

Pegadas de dinossauros com 195 milhões de anos foram descobertas em Alvaiázere, no distrito de Leiria, sendo as mais antigas da Península Ibérica, segundo estudo publicado na revista científica Historical Biology. Carlos Neto de Carvalho, investigador do Instituto Dom Luiz, é um dos autores do trabalho.

Anfiteatro com pessoas

A 4.ª edição do acontecimento organizado pela Associação Portuguesa de Estudantes de Física (Physis), em colaboração com IA Ciências ULisboa e o Núcleo de Física e de Engenharia Física (NFEF) da Ciências ULisboa começou esta sexta-feira, dia 13 de outubro, no campus da Faculdade e termina este domingo, dia 15. Um dos pontos altos do programa é o debate “Há futuro na exploração espacial?”.

anffiteatro com cientistas

A Ciências ULisboa conta com 26 investigadores colocados nos rankings “World’s Top 2% Scientists”, de acordo com o mais recente estudo publicado pela Elsevier, comprovando a relevância da sua produção científica.

Laureados com o Nobel da Química

O Nobel da Química de 2023 foi atribuído conjuntamente a Moungi G. Bawendi, Louis E. Brus e Alexei I. Ekimov, pelo trabalho que levou à descoberta e ao desenvolvimento de pontos quânticos, nanopartículas tão minúsculas que o seu tamanho determina as suas propriedades, segundo comunicado oficial da Real Academia das Ciências da Suécia.

rato

O estudo “Resistência a rodenticidas anticoagulantes desafia esforços do controlo de pragas em Portugal” - realizado por uma equipa de investigadores do Centro de Estudos do Ambiente e do Mar – visa recolher informações que tornem a gestão do ratinho doméstico mais eficiente, minimizando os seus impactos.

Katalin Karikó e Drew Weissman

A 2 de outubro de 2023 o Prémio Nobel da Fisiologia e Medicina foi atribuido a Katalin Karikó e Drew Weissman por descobertas biotecnológicas subjacentes à formulação das vacinas de mRNA (RNA mensageiro) para COVID-19. Em todo o mundo, mais de três mil milhões de pessoas receberam pelo menos duas doses destas vacinas (vacinas Comirnaty da Pfizer e Spikevax da Moderna). Em Portugal, cerca de sete milhões de pessoas receberam pelo menos três doses.

Pierre Agostini, Ferenc Krausz e Anne L'Huillier

O Nobel da Física de 2023 foi atribuído a três físicos europeus - Pierre Agostini, Ferenc Krausz e Anne L'Huillier -, a trabalhar nos EUA, Suécia e Alemanha. Reconhece os trabalhos pioneiros relativos à produção de luz decorrentes da interacção entre electrões e atómos foto-ionizados por laser, através da geração de um número elevado de harmónicas de ordem elevada que, em conjunto, e em condições de fase relativas adequadas (phase matching) podem dar origem a trens de impulsos luminosos com durações de ato-segundo (1 as = 10-18 s).

Centro de Congressos de Lisboa com vários participantes do EUPVSEC 2023

A 40th European Photovoltaic Solar Energy Conference and Exhibition - EUPVSEC 2023 realizou-se de 18 a 22 de setembro de 2023, no Centro de Congressos de Lisboa. João Serra, professor do Departamento de Engenharia Geográfica, Geofísica e Energia da Ciências ULisboa, foi novamente convidado a ser o chairman da maior e mais importante conferência europeia dedicada à energia fotovoltaica.

obra de Wassily Kandinsky

"Descobertas recentes na neurociência cognitiva - por António Damásio, Vittorio Gallese e Frans de Waal, entre outros - posicionam a empatia como um facto neurobiológico", escreve Graça P. Corrêa, investigadora do Centro de Filosofia das Ciências da Universidade de Lisboa.

pessoas numa escavação numa jazida de fósseis

Novo estudo publicado na revista Zoological Journal of the Linnean Society descreve um novo dinossáurio saurópode que viveu na Península Ibérica há 122 milhões de anos. Esta nova espécie de dinossáurio, apelidada de Garumbatitan morellensis, foi descrita a partir de restos descobertos em Morella (Castelló, Espanha) por uma equipa de paleontólogos portugueses e espanhóis e permitiu ampliar a diversidade de dinossáurios conhecida num dos melhores registos fósseis do Cretácico Inferior da Europa.

sensor de radiação no topo de um veículo

Um novo estudo desenvolvido por investigadores da Ciências ULisboa e do Instituto Dom Luiz com a colaboração de parceiros em França (Mines Paris - PSL) e Luxemburgo (LIST), publicado na revista Progress in Photovoltaics: Research and Applications, explora o potencial em ambiente urbano de veículos solares em 100 cidades em cinco continentes.

auditório lotado

18 de setembro foi o primeiro dia de aulas para mais de 800 novos alunos matriculados nas licenciaturas da Ciências ULisboa na 1.ª fase do Concurso Nacional de Acesso. A sessão de boas-vindas aos novos alunos decorreu às 11h30, no auditório 3.2.14.

Luís Fernando Marques Mendes foi um biólogo inteiramente dedicado à Entomologia, desde que se licenciou em 1971 pela Ciências ULisboa. Faleceu na passada quinta-feira, 14 de setembro, após prolongada doença. A Faculdade lamenta o triste acontecimento, apresentando as condolências aos seus familiares, amigos e colegas.

Laje rochosa - primeiras evidências de vertebrados do fundo do mar

A descoberta de fósseis extremamente raros, que representam as primeiras evidências de peixes de águas profundas, atrasa a invasão da planície abissal em 80 milhões de anos. Estas descobertas foram publicadas este mês num novo estudo na revista científica Proceedings of the National Academy of Sciences (PNAS).

Grupo de pessoas

A 13ª Conferência Internacional SedNet - Continuum Sedimentar: aplicando uma abordagem de gestão integrada realizou-se na Ciências ULisboa, entre 5 a 9 de setembro. O programa intensivo de cinco dias começou com workshops sobre a gestão dos sedimentos a diferentes níveis, incluiu apresentações e uma visita de campo ao Porto de Lisboa e às dunas e praias de Cascais.

O Departamento de Matemática da Ciências ULisboa e o Museu Nacional de História da Ciência juntam-se numa homenagem que marca o centenário do nascimento do professor João Santos Guerreiro, a realizar no próximo dia 23 de setembro, entre as 14h00 e as 18h00, no Anfiteatro Manuel Valadares, no MUHNAC.

peixes

Os organismos estão a tornar-se mais pequenos através de uma combinação de substituição de espécies e mudanças dentro das espécies: trata-se da conclusão de um novo estudo publicado na revista Science, que analisou dados de todo o mundo dos últimos 60 anos e de diversas espécies de animais e plantas.

Filipe Rosas

​Filipe Rosas é o novo coordenador do Instituto Dom Luiz (IDL).

Susana Custódio com alunos

Portugal obteve uma medalha de prata e três medalhas de bronze na 16.ª edição da International Earth Science Olympiad (IESO 2023), que assinala a 8.ª participação portuguesa. A SGP e a CNOG agradecem à Faculdade o apoio científico prestado no âmbito do programa de preparação da equipa portuguesa para a 16.ª edição da IESO.

3 homens sentados

MARGINS surgiu com o objetivo de estudar as interações socioecológicas entre comunidades humanas e ambiente na zona costeira da Guiné-Bissau e compreender a inter-relação de arrozais e mangais como parte de uma unidade afetada pelas mudanças climáticas. No projeto estão envolvidos docentes, investigadores do IDL e cE3c e estudantes da Faculdade.

Auditório com pessoas

Este ano, na 1.ª fase do Concurso Nacional de Acesso ao ensino superior concorreram aos 16 cursos da Faculdade 5086 candidatos, tendo sido colocados 872 novos alunos em Ciências ULisboa, 527 em 1.ª opção. Até 5 de setembro decorre a apresentação da candidatura à 2.ª fase. A sessão de boas-vindas aos novos alunos de 2023/2024 acontece no dia 18 de setembro.

abelha mumificada

Um novo estudo publicado na revista internacional Papers in Paleontology dá conta da descoberta de centenas de abelhas mumificadas no interior dos seus casulos, num novo sítio paleontológico descoberto no litoral de Odemira.

mural

Há um novo mural no campus da Faculdade, para apreciar junto à FCULresta, que celebra os dois anos corridos desde a primeira semente lançada. "Só em Portugal, inspirados também pela FCULresta, foram criados ou melhorados um total de 6 espaços verdes resilientes" escrevem os responsáveis pelo projeto, neste artigo de opinião sobre a minifloresta. 

Páginas