Já conhece o Albertina PT?

Primeiro grande modelo aberto de IA para a língua portuguesa

cérebro

O desenvolvimento de grandes modelos neuronais de IA generativa para a língua portuguesa ainda agora começou

Unsplash+ com Getty Images
António Branco
“Vamos continuar a desenvolver novas versões do Albertina, e também vamos desenvolver outros modelos de linguagem com arquiteturas neuronais diferentes da arquitetura da Albertina", diz António Branco
Fonte GICD DCI Ciências ULisboa

O primeiro grande modelo de Inteligência Artificial generativa para a língua portuguesa, para cada uma das variantes, do Brasil e de Portugal, gratuito, em código aberto e com acesso universal está disponível desde este mês e tem 900 milhões de parâmetros.

"Trata-se de um marco histórico muito importante na preparação tecnológica da língua portuguesa para a era digital."
António Branco

O Albertina PT destina-se a investigadores e organizações, públicas e privadas, grandes e pequenas, de todos os sectores económicos. No momento da sua publicação, o seu desempenho estabelece o estado da arte para o Português relativamente a modelos neuronais de linguagem publicados e abertos. É este tipo de modelos de linguagem que suportam toda a gama de aplicações de IA que estão a fazer furor, desde chatbots até tradução automática.

"Trata-se de um marco histórico muito importante na preparação tecnológica da língua portuguesa para a era digital", diz em comunicado de imprensa, António Branco, professor do Departamento de Informática da Ciências ULisboa, coordenador do NLX | Grupo da Fala e Linguagem Natural da Ciências ULisboa e coordenador da equipa deste projeto, desenvolvido em parceria com a Faculdade de Engenharia da Universidade do Porto (FEUP).

O Albertina PT é um codificador da família BERT, baseado na arquitetura neural Transformer e desenvolvido sobre o modelo DeBERTa.

Para António Branco, o Albertina “constitui um passo crucial para democratizar esta tecnologia, que deixa de estar confinada às bigtechs e aos laboratórios de investigação, e vê todo o seu potencial disponível para alavancar a criação de valor e a melhoria da vida das pessoas”.
O desenvolvimento de grandes modelos neuronais de IA generativa para a língua portuguesa ainda agora começou. “Vamos continuar a desenvolver novas versões do Albertina, e também vamos desenvolver outros modelos de linguagem com arquiteturas neuronais diferentes da arquitetura da Albertina, uma vez que cada um à sua maneira é mais apropriado para diferentes finalidades e condições de utilização”, acrescenta António Branco.

Os investigadores do NLX Ciências ULisboa - João Rodrigues, Luís Gomes, João Silva, António Branco e Rodrigo Santos - e os investigadores do Laboratório de Inteligência Artificial e Ciência de Computadores da FEUP - Henrique Lopes Cardoso e Tomás Osório - apresentam os resultados deste trabalho no artigo "Advancing Neural Encoding of Portuguese with Transformer Albertina PT*", submetido recentemente na arXiv.

“Este primeiro resultado e as reações que estamos a receber são muito encorajadores, e o balanço é muito positivo”, conclui António Branco.

O Albertina nos media
Expresso, Economia dia a dia, Human Resources, RTP, Correio da Manhã, Pplware Online.

Ana Subtil Simões, Gabinete de Jornalismo Ciências ULisboa
info.ciencias@ciencias.ulisboa.pt
Sumário gráfico do trabalho

Um grupo de investigadores utilizou gânglios linfáticos, amígdalas e sangue para mostrar como as células que controlam a produção de anticorpos são formadas e atuam. Estes dados permitirão desenhar estratégias que controlem a regulação do sistema, podendo contribuir para a resolução de doenças autoimunes ou alergias.

Logotipo Radar

Décima sexta rubrica Radar Tec Labs, dedicada às atividades do Centro de Inovação da Faculdade.

Pessoa lendo um jornal

A agenda temática avalia a importância que os meios de comunicação de massas têm quando distribuem determinados temas, dando atenção a certos assuntos e esquecendo outros.

lagoas de filtração

As águas residuais podem ser usadas para identificar precocemente novos surtos da COVID-19 e investigar a diversidade dos genomas do vírus SARS-CoV-2 que circulam numa comunidade, segundo comunicado de imprensa emitido pela Águas de Portugal. Os resultados do projeto de investigação COVIDETECT foram apresentados a 26 de maio.

Combinação de imagens de técnicas e aplicações da Geodesia

"Um dos marcos interessantes da contribuição da Geodesia para a sociedade foi a definição do metro formulada em 1791 , que teve como base a medição do arco de meridiano entre Dunkerque e Barcelona, efetuada ao longo de sete penosos anos (em plena revolução francesa)", escreve Virgilio de Brito Mendes, professor do DEGGE Ciências ULisboa, por ocasião do centenário do curso.

Fluviário de Mora

A exposição permanente do Fluviário de Mora inclui “Sons dos Peixes” produzida no âmbito do projeto de investigação “Deteção de Peixes Invasores em Ecossistemas Dulciaquícolas através de Acústica Passiva - Sonicinvaders”, liderado pelo polo da Faculdade do MARE – Centro de Ciências do Mar e do Ambiente.

Modelo do espectrógrafo MOONS no VLT

Portugal colidera o projeto do Espectrógrafo Multiobjetos no Ótico e Infravermelho próximo, ou MOONS, assim como alguns dos seus grupos de trabalho. Um dos componentes principais do MOONS é o corretor de campo e foi desenhado por uma equipa do Instituto de Astrofísica e Ciências do Espaço.

Planta

A fenotipagem (medição sistemática de caracteres fenotípicos, i.e., do corpo das plantas) foi eleita, depois dos grandes avanços verificados na fenotipagem nas últimas décadas, como um grande desígnio atual da comunidade da ciência das plantas. Leia a crónica da autoria de Jorge Marques da Silva, professor do DBV Ciências ULisboa e presidente da SPBP.

Vista aérea de florestas de mangal no arquipélago dos Bijagós

O estudo da autoria de Mohamed Henriques, José Pedro Granadeiro, Theunis Piersma, Seco Leão, Samuel Pontes e Teresa Catry realizado no ecossistema influenciado por mangal será publicado em julho deste ano no Marine Environmental Research, volume 169.

Cartas com Ciência

O conhecimento e a empatia não têm fronteiras, prova disso é o projeto Cartas com Ciência, que parte das palavras dos cientistas para criar laços e encurtar distâncias no que à educação diz respeito.

Satélite

"Com a Engenharia Geográfica/Geoespacial sabemos de onde vimos, para onde vamos, qual o melhor caminho e ainda o que vamos encontrar", escreve Paula Redweik, professora do DEGGE por acasião do centenário do curso.

Exposição “Empty space of the Unknown/ Nothing Is Right Now”

Catarina Pombo Nabais coordena o SAP Lab - Laboratório Ciência-Arte-Filosofia do Centro de Filosofia das Ciências da ULisboa e em entrevista dá conta da importância da relação interdisciplinar entre ciência e arte e dos projetos futuros.

Pepino do mar

Os pepinos do mar - espécies de equinodermes ainda muito desconhecidas - cumprem uma importante função ecológica: reciclam a matéria orgânica dos sedimentos e redistribuem nutrientes. O grupo de Pedro Félix, investigador do Centro de Ciências do Mar e do Ambiente (MARE) e da Ciências ULisboa, é o único atualmente a trabalhar na ecologia e aquacultura de pepinos do mar em Portugal.

Anfiteatro com várias cadeiras e uma pessoa sentada a ler

O Grupo de Fala e Linguagem Natural dedica-se à Inteligência Artificial com enfoque especial no Processamento de Linguagem Natural e é o coordenador da PORTULAN CLARIN Infraestrutura de Investigação para a Ciência e Tecnologia da Linguagem.

cientista ao microscópio

Maria Helena Garcia, professora do DQB Ciências ULisboa e Andreia Valente, investigadora do DQB Ciências ULisboa, lideram A Something in Hands – Investigação Científica, Lda, uma spin-off desta Faculdade, que recebeu 100 mil euros da Portugal Ventures e que visa desenvolver novos medicamentos para o tratamento dos cancros metastáticos.

Centro de Testes Ciências ULisboa

O Centro de Testes Ciências ULisboa recebeu o primeiro lote de 110 zaragatoas a 1 de maio de 2020, provenientes de um conjunto de cinco lares de terceira idade do concelho de Mafra, no que viriam a ser os primeiros de várias dezenas de milhar de testes de diagnóstico molecular da COVID-19.

Logotipo Radar

Décima quinta rubrica Radar Tec Labs, dedicada às atividades do Centro de Inovação da Faculdade. A empresa em destaque volta a ser a Nevaro.

Há um conjunto de normas e princípios legais que regulam as relações dos indivíduos em sociedade. O direito de autor é um deles. Todo o conteúdo produzido e publicado em órgãos de comunicação social é considerado conteúdo editorial. Estas obras coletivas estão protegidas pelos direitos de autor.

Iris Silva

Iris Silva, investigadora do Instituto de Biossistemas e Ciências Integrativas (BioISI) na Ciências ULisboa, venceu pela segunda vez o Best Young Investigator Award da Sociedade Europeia de Fibrose Quística (ECFS), segundo comunicado de imprensa emitido esta sexta-feira pela Faculdade. O galardão será atribuído durante o 44th European Cystic Fibrosis Conference, que se realiza online entre 9 e 12 de junho de 2021.

Margarida Ribeiro e Hugo Anjos, alunos de Ciências ULisboa do mestrado em Bioestatística

Em reunião do Infarmed, os alunos Margarida Ribeiro e Hugo Anjos, do mestrado em Bioestatística, receberam palavras de agradecimento da DGS pelo trabalho desenvolvido em contexto COVID-19.

Pessoas a trabalhar numa mesa

O projeto SKIES (SKilled, Innovative and Entrepreneurial Scientists), iniciado em março passado e com a duração de 18 meses, pretende fornecer a estudantes de doutoramento e jovens investigadores doutorados na área da Astronomia um conjunto de competências ao nível da ciência aberta, inovação e empreendedorismo.

Tachydromia stenoptera

Ana Rita Gonçalves concluiu o mestrado em Biologia da Conservação na Ciências ULisboa e no âmbito da sua tese estudou a morfologia de todas as moscas-formiga conhecidas da Península Ibérica e de Itália - dez espécies no total. Quatro delas são novas para a Ciência e uma apenas existe em Portugal.

Imagem gráfica das comemorações do aniversário da Faculdade

Esta segunda-feira, dia 19 de abril, a Faculdade celebra 110 anos. Para acompanhar a cerimónia comemorativa que será realizada uma vez mais online no próximo dia 21 de abril, a partir das 14h00, deverá ligar-se ao canal YouTube.

Exposição Variações Naturais – uma viagem pelas paisagens de Portugal

Após 18 meses de desenvolvimento de projeto e montagem, Variações Naturais – uma viagem pelas paisagens de Portugal abriu portas ao público em novembro passado e vai estar em exibição até 25 de novembro de 2022.

ferramenta de saída de campo

Ícaro Dias da Silva recebeu uma menção honrosa na última edição (2019) dos Prémios Científicos ULisboa / Caixa Geral de Depósitos. O investigador do IDL Ciências ULisboa estuda a geodinâmica das margens continentais relacionadas com a abertura e fecho de oceanos no Paleozoico.

Páginas