IA generativa para o português cresce com modelos Albertina e Gervásio

Ecossistema, líder mundial de grandes modelos de linguagem abertos para a língua portuguesa, é coordenado por António Branco, professor da Ciências ULisboa

robot e criança

A família Albertina (codificadores) foi aumentada com o novo Albertina 1.5B, e a família Gervásio (descodificadores) com o Gervásio 7B

Imagem cedida por AB

À família dos codificadores Albertina, foi agora acrescentado o Albertina 1.5B, o maior dos modelos desta família desenvolvido até ao momento, com 1.500 milhões de parâmetros, juntando-se assim aos outros modelos já existentes, com 100 e 900 milhões de parâmetros. Por sua vez, à família dos descodificadores Gervásio, foi também acrescentado um modelo maior, o Gervásio 7B, com 7.000 milhões de parâmetros, juntando-se ao modelo já existente com 1.000 milhões de parâmetros.O Gervásio 7B foi desenvolvido pelo NLX-Grupo da Fala e da Linguagem Natural da Ciências ULisboa. Para uma descrição detalhada, consulte a respetiva publicação: Santos et al., 2024, “Advancing Generative AI for Portuguese with Open Decoder Gervásio PT*”, 3rd Annual SIGUL Meeting, LREC-COLING2024. Para o desenvolvimento do Albertina 1.5B, com o Grupo NLX da Ciências ULisboa, colaborou uma equipa da Faculdade de Engenharia da Universidade do Porto. A respetiva descrição encontra-se em: Santos et al., 2024, “Fostering the Ecosystem of Open Neural Encoders for Portuguese with Albertina PT* Family”, 3rd Annual SIGUL Meeting, LREC.

Ecossistema de grandes modelos de linguagem de IA Generativa para a língua portuguesa foi expandido com novas versões dos modelos Albertina e Gervásio. A família Albertina (codificadores) foi aumentada com o novo Albertina 1.5B, e a família Gervásio (descodificadores) com o Gervásio 7B.

“Este ecossistema é crucial para a tecnologia da língua portuguesa e esta expansão representa um passo da maior importância na preparação da língua portuguesa para a era da Inteligência Artificial“, diz o seu coordenador, António Branco, professor do Departamento de Informática da Ciências ULisboa, acrescentando que “estas classes de modelos estão na base de toda a gama de aplicações de IA Generativa, incluindo as mais mediáticas, como os chatbots ou os tradutores automáticos, e sendo maiores, estes novos modelos têm melhor desempenho”.

Este ecossistema é líder mundial em termos de grandes modelos de linguagem desenvolvidos especificamente para a língua portuguesa que são totalmente abertos e documentados. São de código aberto, gratuitos e distribuídos em acesso aberto sob uma licença aberta, e as suas características e desempenho de topo encontram-se pormenorizadamente validados e documentados em artigos científicos.

Recorde-se que o primeiro modelo Albertina foi disponibilizado em maio de 2023, no que constituiu um marco histórico na preparação tecnológica da língua portuguesa para a era digital, ao ser o primeiro grande modelo de linguagem aberto desenvolvido especificamente para o português, para ambas as variantes, de Portugal e do Brasil, e disponibilizado para investigadores, em organizações públicas e privadas, grandes e pequenas, de todos os setores económicos.

O desenvolvimento deste ecossistema tem tido o apoio da PORTULAN CLARIN Infraestrutura de Investigação para a Ciência e Tecnologia da Linguagem, da Agenda do PRR Accelerat.ai, e da FCCN/FCT, e vai continuar a crescer com mais e melhores modelos.

“Como exemplo, entre muitos outros, da reutilização destes modelos abertos para todo o tipo de finalidades, e por isso do seu importantíssimo efeito multiplicador e democratizador da IA, há a assinalar o recente desenvolvimento por uma start-up do MediAlbertina, para a IA generativa aplicada à medicina em língua portuguesa, que foi possível porque o Albertina já existia para servir de base”, diz  António Branco.

Gabinete de Jornalismo da DCI Ciências ULisboa com Gonçalo Boffil
noticias@ciencias.ulisboa.pt
Já conhece o Albertina PT?

O concurso de programação do Departamento de Informática recebeu 45 participantes, alunos do ensino secundário, na edição de 2017.

Hoje em dia quando se fala de imaginação (criatividade, inovação) queremos dizer, na maior parte dos casos, antecipação e surpresa. Um empresário, um investigador, um professor querem captar a atenção do outro, inventando e brincando com o possível ou o provável. Por isso, falamos frequentemente de criar imagens, ideias, ou mesmo histórias (veja-se o tópico criatividade computacional, e o grupo de Amílcar Cardoso da Universidade de Coimbra).

O Air4, um protótipo para medição de gases indicadores da qualidade do ar, associado a um modelo de análise de mapas e a uma aplicação mobile, ficou em 2.º lugar no 1.º Hackathon de Tra

No Dia da Criança Galopim de Carvalho lança “O Avô e os Netos Falam de Geologia”, editado pela Âncora Editora e apresentado durante a Feira do Livro de Lisboa.

Foi em setembro do ano passado que a HortaFCUL decidiu abraçar o projeto de ajudar a construir uma Horta Pedagógica na Escola Básica de Santo António em Alvalade, em parceria com Direção e Associação de Pais da Escola e apoiado pelo programa de estímulo à aprendizagem financiado pela Gulbenkian.

Miguel Centeno Brito, professor do DEGGE, foi um dos participantes das II Jornadas da Energia, que ocorreram em abril passado, tendo sido um dos convidados do programa da Rádio Renascença Insónia.

Este ano as Jornadas celebraram a efeméride dos 35 anos da criação da licenciatura em Química Tecnológica.

 É necessário estabelecer redes de monitorização mais robustas e de larga escala para avaliar o impacto das alterações climáticas e da poluição atmosférica na Bacia do Mediterrâneo, refere comunicado de imprensa do cE3c - Centro de Ecologia, Evolução e Alterações Ambientais.

A primeira abordagem a uma reconstituição tridimensional da circulação atmosférica de Vénus pode ser lida no artigo “Venus's winds and temperatures during the MESSENGER's flyby: An approximation to a three-dimensional instantaneous state of the atmosphere”, publicado na Geophysical Research Letters.

O ano passado “The Sphere of the Earth” integrou a exposição “Formas & Fórmulas”, patente no Museu Nacional de História Natural e da Ciência. De lá para cá e por sugestão de José Francisco Rodrigues, um dos comissários desta mostra, Daniel Ramos começou a atualizar o referido programa tornando-o ainda mais rico em termos de funcionalidades e design, com uma multitude de visualizações cartográficas e da geometria da esfera e pela primeira vez em Português. Assim surgiu Mappae Mundi.

As plantas estão por todo o lado, são-nos indispensáveis de diversas formas, mas a nossa consciência, individual e coletiva, da sua importância, é ainda muito limitada.

“Não só quero continuar a adquirir competências, como quero passar a mensagem de que a Comunicação de Ciência é essencial para que a ciência seja compreendida e bem sucedida. É nosso dever informarmos a sociedade dos progressos científicos que vão sendo alcançados”, declara Rúben Oliveira, aluno do mestrado em Biologia da Conservação, finalista do concurso FameLab Portugal.

“O que realmente me aqueceu o coração foi o facto de que, depois da apresentação, algumas pessoas dedicaram tempo a dirigirem-se a mim para discutir o tema em mais profundidade, explicar-me os seus pontos de vista e opiniões”, declara Helena Calhau, aluna do 2.º ano da licenciatura em Física.

Ao serviço de quem está a ciência e a tecnologia? Devemos ter medo das suas utilizações? Há mesmo o perigo de uma superinteligência fazer-nos mal? Em 2014 e 2015, um conjunto de personalidades pôs em causa o controlo (ou a sua falta) da disciplina da Inteligência Artificial (IA) e abriu o debate com os temas da superinteligência e do domínio dos humanos por máquinas mais inteligentes. Graças a Elan Musk, Bill Gates, Stephen Hawking, Nick Bostrom e Noam Chomsky podemos estar mais descansados com o alerta (na singularidade defende-se que a Inteligência Artificial ultrapassará a humana para criar uma IA geral ou forte), mas mesmo assim cuidado.

“Sempre achei as áreas da educação e comunicação bastante interessantes, sonho desde jovem em incorporar um pouco destas duas áreas na minha carreira científica”, declara Hugo Bettencourt, aluno do mestrado integrado em Engenharia Biomédica e Biofísica.

“O Malcolm Love é uma pessoa incrível e ensinou-nos muitas coisas, desde como agir numa entrevista, como contar uma história de forma fascinante, como controlar o nervosismo e principalmente como cativar o público quando falamos”, conta Andreia Maia, aluna do mestrado em Biologia Molecular e Genética, finalista do concurso FameLab Portugal.

A que cheira a sardinha? Cheira bem, cheira a Portugal. Na próxima quinta-feira, 18 de maio, junte-se a Miguel Santos e a Susana Garrido, dois investigadores do IPMA envolvidos no processo de avaliação do estado dos recursos da pesca em águas nacionais e internacionais para mais uma sessão de 60 Minutos de Ciência, desta vez no Edifício Caleidoscópio.

Cristina Branquinho e Paula Matos propõem utilização dos líquenes como um novo indicador ecológico global.

Mais de mil alunos do ensino secundário visitaram o campus de Ciências no dia 3 de maio.

Assunção Bispo

O que fazem e o que pensam alguns membros da comunidade de Ciências? O Dictum et factum de maio é com Assunção Bispo, assistente técnica do Departamento de História e Filosofia das Ciências.

Andreia Maia, Helena Calhau, Hugo Bettencourt e Rúben Oliveira são os alunos de Ciências que apresentam assuntos científicos de forma simples e descomplicada em três minutos, na edição 2017 do FameLab Portugal.

Pela 13ª vez, realizou-se em Ciências a fase de semifinal das Olimpíadas de Química Júnior. 67 alunos dos 8.º e 9.º anos conheceram a Faculdade, o Departamento de Química e Bioquímica e testaram conhecimentos de Química, em provas escritas e experimentais.

A 8.ª edição da feira anual de emprego de Ciências aconteceu em abril. Esclarecimento de dúvidas através do contacto pessoal com empresas, workshops, treino de entrevistas de emprego e análises de currículos foram algumas das atividades que marcaram os dois dias.

“Alargar horizontes, mudar atitudes” é o lema do “Girls in ICT @CienciasULisboa” que acontece este sábado, dia 6 de maio de 2017, em Ciências.

A pergunta “Pode uma máquina pensar?” abre a busca por agentes inteligentes capazes de interatuarem com os seres humanos através de linguagens (a proposta do jogo de imitação como teste de inteligência), e sobretudo de serem autónomos em ambientes sofisticados.

Páginas