IA generativa para o português cresce com modelos Albertina e Gervásio

Ecossistema, líder mundial de grandes modelos de linguagem abertos para a língua portuguesa, é coordenado por António Branco, professor da Ciências ULisboa

robot e criança

A família Albertina (codificadores) foi aumentada com o novo Albertina 1.5B, e a família Gervásio (descodificadores) com o Gervásio 7B

Imagem cedida por AB

À família dos codificadores Albertina, foi agora acrescentado o Albertina 1.5B, o maior dos modelos desta família desenvolvido até ao momento, com 1.500 milhões de parâmetros, juntando-se assim aos outros modelos já existentes, com 100 e 900 milhões de parâmetros. Por sua vez, à família dos descodificadores Gervásio, foi também acrescentado um modelo maior, o Gervásio 7B, com 7.000 milhões de parâmetros, juntando-se ao modelo já existente com 1.000 milhões de parâmetros.O Gervásio 7B foi desenvolvido pelo NLX-Grupo da Fala e da Linguagem Natural da Ciências ULisboa. Para uma descrição detalhada, consulte a respetiva publicação: Santos et al., 2024, “Advancing Generative AI for Portuguese with Open Decoder Gervásio PT*”, 3rd Annual SIGUL Meeting, LREC-COLING2024. Para o desenvolvimento do Albertina 1.5B, com o Grupo NLX da Ciências ULisboa, colaborou uma equipa da Faculdade de Engenharia da Universidade do Porto. A respetiva descrição encontra-se em: Santos et al., 2024, “Fostering the Ecosystem of Open Neural Encoders for Portuguese with Albertina PT* Family”, 3rd Annual SIGUL Meeting, LREC.

Ecossistema de grandes modelos de linguagem de IA Generativa para a língua portuguesa foi expandido com novas versões dos modelos Albertina e Gervásio. A família Albertina (codificadores) foi aumentada com o novo Albertina 1.5B, e a família Gervásio (descodificadores) com o Gervásio 7B.

“Este ecossistema é crucial para a tecnologia da língua portuguesa e esta expansão representa um passo da maior importância na preparação da língua portuguesa para a era da Inteligência Artificial“, diz o seu coordenador, António Branco, professor do Departamento de Informática da Ciências ULisboa, acrescentando que “estas classes de modelos estão na base de toda a gama de aplicações de IA Generativa, incluindo as mais mediáticas, como os chatbots ou os tradutores automáticos, e sendo maiores, estes novos modelos têm melhor desempenho”.

Este ecossistema é líder mundial em termos de grandes modelos de linguagem desenvolvidos especificamente para a língua portuguesa que são totalmente abertos e documentados. São de código aberto, gratuitos e distribuídos em acesso aberto sob uma licença aberta, e as suas características e desempenho de topo encontram-se pormenorizadamente validados e documentados em artigos científicos.

Recorde-se que o primeiro modelo Albertina foi disponibilizado em maio de 2023, no que constituiu um marco histórico na preparação tecnológica da língua portuguesa para a era digital, ao ser o primeiro grande modelo de linguagem aberto desenvolvido especificamente para o português, para ambas as variantes, de Portugal e do Brasil, e disponibilizado para investigadores, em organizações públicas e privadas, grandes e pequenas, de todos os setores económicos.

O desenvolvimento deste ecossistema tem tido o apoio da PORTULAN CLARIN Infraestrutura de Investigação para a Ciência e Tecnologia da Linguagem, da Agenda do PRR Accelerat.ai, e da FCCN/FCT, e vai continuar a crescer com mais e melhores modelos.

“Como exemplo, entre muitos outros, da reutilização destes modelos abertos para todo o tipo de finalidades, e por isso do seu importantíssimo efeito multiplicador e democratizador da IA, há a assinalar o recente desenvolvimento por uma start-up do MediAlbertina, para a IA generativa aplicada à medicina em língua portuguesa, que foi possível porque o Albertina já existia para servir de base”, diz  António Branco.

Gabinete de Jornalismo da DCI Ciências ULisboa com Gonçalo Boffil
noticias@ciencias.ulisboa.pt
Já conhece o Albertina PT?
Logotipo

Nona rubrica Radar Tec Labs, dedicada às atividades do Centro de Inovação da Faculdade. A empresa em destaque é a FibFormula.

Universo

Assista ao Dia da Investigação da Ciências ULisboa transmitido pelo canal YouTube desta faculdade e fique a par da investigação de ponta e do importante papel que a Faculdade tem tido na transferência do conhecimento para a sociedade, na sustentabilidade e no combate à COVID-19.

Campus Ciências

Patrícia Tiago e Sergio Chozas, investigadores do cE3c Ciências ULisboa, apresentam o +Biodiversidade@CIÊNCIAS, um projeto que pretende aplicar o conceito de sustentabilidade nos espaços verdes da Ciências ULisboa e caracterizar e monitorizar a sua biodiversidade ao longo do tempo, envolvendo tanto a comunidade da Faculdade como os cidadãos que vivem e trabalham na área.

Esquema do vaso

Um grupo de guardiões da HortaFCUL realizou várias oficinas intituladas “Permacultura de Levar para Casa” no Centro Cultural de Belém, integradas na exposição “Agricultura e Arquitetura: Do Lado do Campo”. Durante a exibição da exposição, realizaram-se 24 oficinas, abrangendo um total de 500 alunos de diversas idades, desde a pré-primária ao 9º ano de escolaridade (dos 4 aos 14 anos).

Pormenor do Estudo em fio dos Painéis de São Vicente, por Almada Negreiros (1950)

Pedro Freitas, professor do Departamento de História e Filosofia das Ciências e investigador do Centro Interuniversitário de História das Ciências e da Tecnologia, escreve sobre Almada Negreiros, figura maior da cultura portuguesa do século XX.

abutre

"Centenas de cadáveres destes abutres encontravam-se sem cabeça, empilhados e intencionalmente escondidos sob arbustos", escreve Mohamed Henriques, doutorando do programa doutoral Biologia e Ecologia das Alterações Globais, juntamente com outros investigadores e conservacionistas numa carta publicada em outubro na Science.

O Dia da Investigação acontece a 28 de outubro de 2020

O Dia da Investigação acontece a 28 de outubro e será transmitido através do canal YouTube da Ciências ULisboa, anuncia a Faculdade em comunicado de imprensa. Consulte o programa e saiba quais são os temas em análise e os oradores das várias sessões, inscreva-se no evento e para ter uma ideia do que o espera assista à reportagem.

Flávio Gomes Oliveira a verificar se as armadilhas capturaram algum musaranho

Flávio Gomes Oliveira, doutorando do programa doutoral em Biologia e Ecologia das Alterações Globais, é um dos autores de um estudo publicado em outubro na Behavioral Ecology, cujos resultados integram a sua tese de doutoramento. Nesta entrevista o jovem investigador faz um balanço dos primeiros anos do doutoramento e deixa conselhos para quem quer seguir esta área.

Musaranho-de-dentes-brancos a ser devolvido à natureza

Um estudo realizado em Lisboa por um grupo de investigadores do CESAM, polo da Ciências ULisboa e da Universidade Adam Mickiewicz de Poznań, na Polónia, detetou diferenças substanciais no comportamento e metabolismo dos musaranhos-de-dentes-brancos que ocorrem na capital portuguesa, quando comparados com indivíduos provenientes de áreas naturais.

Emmanuelle Charpentier e a Jennifer Doudna

Este ano, o Prémio Nobel da Química foi atribuído às cientistas Emmanuelle Charpentier e Jennifer Doudna pelo "desenvolvimento de um método de edição do genoma", denominado CRISPR/Cas9. Leia o artigo da autoria de Lúcia Santos e Madalena Pinto, estudantes de doutoramento no polo da Faculdade do BioISI e Federico Herrera, professor do Departamento de Química e Bioquímica e investigador do BioISI.

Chuva intensa

Um estudo publicado na Nature Communications revela um aumento significativo da quantidade de humidade proveniente das regiões fornecedoras de água precipitável, água transportada até aos continentes pelos chamados rios atmosféricos (ARs).

Logotipo dos Prémios Científicos ULisboa/Caixa Geral de Depósitos 2019

A cerimónia de entrega dos Prémios Científicos ULisboa/CGD 2019 estava prevista para 20 de outubro, na Reitoria da ULisboa, mas face à evolução da pandemia da COVID-19 e na sequência da resolução do Conselho de Ministros emitida recentemente, a cerimónia será adiada para data a anunciar quando as condições de segurança estejam novamente reunidas. Das 30 distinções desta última edição, cinco são para professores e investigadores da Ciências ULisboa.

Roger Penrose, Reinhard Genzel e Andrea Ghez

O Prémio Nobel da Física 2020 distingue um dos teóricos mais distintos dos últimos 60 anos, o matemático e físico sir Roger Penrose e os astrónomos Reinhardt Genzel e Andrea Ghez, que revelaram a presença de um buraco negro extremamente massivo na região central da Via Láctea. Leia o artigo dos cientistas José Pedro Mimoso e Nelson Nunes, em colaboração com José Afonso e António Amorim.

Imagem abstrata

Ciências ULisboa integra a Rede de Inovação da Imprensa Nacional-Casa da Moeda (INCM), cujo objetivo é promover a ponte entre a investigação produzida em ambiente académico e o contexto industrial e empresarial.

Logotipo Radar Tec Labs

Oitava rubrica Radar Tec Labs, dedicada às atividades do Centro de Inovação da Faculdade. A empresa em destaque é a QPLab.

Campus da Ciências ULisboa

Ciências ULisboa volta a preencher a totalidade das vagas, no âmbito da 1.ª fase do Concurso Nacional de Acesso (CNA) ao ensino superior: 1001 candidatos conseguiram colocação nas 13 licenciaturas e nos três mestrados integrados desta faculdade, 449 como 1.ª opção. O número de vagas aumentou na maioria dos cursos, assim como as notas dos últimos alunos colocados nesta 1ª fase.

Cidade

Melhorar o funcionamento e a otimização energética de edifícios e equipamentos, resolvendo algumas das suas limitações, é um dos objetivos do projeto “Self Assessment Towards Optimization of Building Energy (SATO)”, liderado pela Ciências ULisboa e que tem início marcado para o próximo mês de outubro. O projeto integra 16 parceiros europeus da academia e dos sectores público e empresarial e representa a primeira grande colaboração científica entre o LASIGE e o IDL.

Papéis, canetas e braços

Vários alunos da Ciências ULisboa, da Universidade do Algarve (Ualg) e da Faculdade de Medicina Dentária (FMD) da ULisboa apresentaram este verão projetos de iniciação à investigação, desenvolvidos no âmbito da iniciativa “Sê Investigador por Três Semanas!”, promovida pelo Centro de Estatística e Aplicações da Universidade de Lisboa (CEAUL), com o objetivo de cativar os jovens para esta atividade.

cabra-montês

Dezenas de cientistas, técnicos e vigilantes da natureza do ICNF - Instituto da Conservação da Natureza e das Florestas, bem como cidadãos uniram-se em prol do novo Livro Vermelho dos Mamíferos de Portugal continental. O objetivo é melhorar até 2021 o conhecimento destas espécies e dessa forma contribuir para o estabelecimento de medidas e ações de conservação.

Imagens de perfil de 19 cientistas

Entre março e julho deste ano, as redes sociais da Faculdade deram a conhecer 19 pessoas e histórias de investigação, no âmbito da iniciativa “O que faço aqui?”, disponível no site da Faculdade.

Pessoa com livros

"Neste momento tão dinâmico em que vivemos será importante pensar sobre aquilo que se pode ou não controlar e ir aprendendo a navegar perante a realidade que se apresenta a cada momento", escreve a psicólogia Andreia Santos.

Alunos e professoras no campus da Faculdade

O novo ano letivo começou esta semana e a Faculdade deu as boas-vindas aos alunos do Advanced Quantitative Methods on Health Care Innovation, cujas aulas online começaram esta terça-feira e se prolongam em Portugal até ao próximo dia 15 de outubro.

Estação de Extração de RNA

“Foi incrível perceber que numa adversidade, o ser humano tem a capacidade de se reinventar e criar novos projetos", diz Daniel Salvador, voluntário no CT Ciências ULisboa, entre maio e julho, licenciado e mestre pela Ciências ULisboa, atualmente estudante do 4.º ano do doutoramento em Saúde Ambiental da Faculdade de Medicina da ULisboa.

Criança em casa acompanhada pela presença de um adulto

Uma equipa de nove estudantes da ULisboa - LxUs -, supervisionados por Hugo Ferreira, professor do Departamento de Física e investigador do Instituto de Biofísica e Engenharia Biomédica da  Ciências ULisboa, ganhou o Translation Potential Runner-Up Award na 5.ª edição do SensUs Student Competition, 2.º lugar na categoria de potencial de translação, um prémio que valoriza a capacidade de criação de um modelo de negócio, viável e com qualidade.

Pormenor da visão artística da observação da "estrela bebé"

Pela primeira vez foi possível observar como é que uma “estrela bebé” adquire massa até chegar à sua massa final. Arcos de campo magnético ligam a “estrela bebé” ao disco circundante e a massa flui. Os resultados desta observação encontram-se publicados na revista Nature. O artigo resulta de uma colaboração no âmbito do GRAVITY, um instrumento desenvolvido por um consórcio internacional e do qual fazem parte cientistas do CENTRA, polo da Ciências ULisboa.

Páginas