Como foi criado o AMALIA? A história por detrás da IA portuguesa
O anúncio do AMALIA na Web Summit colocou a ideia de uma inteligência artificial portuguesa no debate público. Mas a história do projeto começou antes do anúncio político e envolve investigação académica, cooperação entre diferentes equipas portuguesas, modelos europeus, grandes volumes de dados e acesso a uma das principais infraestruturas de supercomputação da Europa.
Resumo
O AMALIA nasceu da aproximação entre equipas portuguesas que já trabalhavam em modelos de linguagem e no processamento do português europeu. Em vez de começar tecnicamente do zero, o projeto aproveitou trabalho realizado no EuroLLM e conhecimento acumulado através de projetos como o GlórIA.
O modelo recebeu treino adicional com maior atenção ao português europeu e utilizou infraestrutura europeia de supercomputação, incluindo o MareNostrum 5, em Barcelona.
Na entrevista ao Bitalk que serve de ponto de partida para este artigo, Paulo Dimas, CEO do Center for Responsible AI e interveniente no processo que levou à criação do projeto, explica que a importância do AMALIA não reside apenas na tecnologia. Está também relacionada com três conceitos: soberania linguística, soberania cultural e soberania dos dados.
Este artigo complementa o nosso guia sobre o AMALIA
Se procura perceber primeiro o que é o AMALIA, para que serve, que modelos inclui e como pode ser utilizado, consulte: O que é o AMALIA, como começou e para que serve a IA portuguesa?
Aqui olhamos sobretudo para os bastidores da criação do projeto: como as equipas se aproximaram, de onde veio a tecnologia, porque foi utilizada infraestrutura em Espanha e porque Portugal decidiu investir num modelo orientado para o português europeu.
Aprenda a utilizar Inteligência Artificial na prática
No HUB da IA encontra cursos e séries práticas sobre ChatGPT, modelos de IA, engenharia de prompts, automações, criação de aplicações, AI Act e utilização responsável da Inteligência Artificial.
Paulo Dimas explica os bastidores do AMALIA no Bitalk
A entrevista de Paulo Dimas ao Bitalk permite conhecer alguns dos bastidores científicos e estratégicos da criação do AMALIA: a aproximação entre diferentes grupos de investigação, a relação com o EuroLLM e o GlórIA, o investimento necessário, a utilização do MareNostrum 5 e as razões para Portugal desenvolver capacidade própria nesta área.
O AMALIA não começou na Web Summit
Para o público em geral, a história do AMALIA começou quando o projeto foi anunciado pelo Governo durante a Web Summit de 2024.
A história científica começou antes.
Na entrevista ao Bitalk, Paulo Dimas explica que um momento importante aconteceu em 2024, durante um workshop dedicado a foundation models, ou modelos fundacionais, organizado pelo Center for Responsible AI.
Portugal já tinha investigadores a trabalhar em diferentes componentes necessárias para construir modelos de linguagem. O problema era que essas competências estavam distribuídas por diferentes grupos de investigação.
Já existia investigação
Portugal não começou a estudar modelos de linguagem apenas quando o AMALIA foi anunciado. Já existiam equipas, projetos, dados e experiência acumulada.
As competências estavam separadas
Diferentes centros trabalhavam em problemas complementares, desde modelos multilingues europeus até modelos e dados especializados em português europeu.
Era necessário juntar as peças
A aproximação entre estas equipas permitiu transformar investigação que já existia num projeto com uma ambição nacional mais abrangente.
As pessoas e equipas por detrás da origem do projeto
Na explicação de Paulo Dimas, a criação do AMALIA resulta também de um esforço de articulação entre equipas científicas que trabalhavam em áreas próximas, mas através de projetos diferentes.
André Martins
A equipa associada a André Martins estava envolvida no desenvolvimento do EuroLLM, um modelo multilingue europeu aberto desenvolvido com participação portuguesa.
João Magalhães
A equipa associada a João Magalhães acumulava experiência na criação de modelos e recursos orientados para o português europeu, incluindo o projeto GlórIA.
Paulo Dimas
Paulo Dimas descreve o seu papel sobretudo como o de alguém que ajudou a aproximar equipas e criar condições para uma colaboração entre diferentes grupos do ecossistema científico português.
A supervisão estratégica envolveu igualmente o Comité de Acompanhamento para a Inteligência Artificial. Na entrevista, Paulo Dimas refere o papel do professor Arlindo Oliveira na liderança deste acompanhamento.
O AMALIA não é o trabalho de uma única pessoa ou universidade
A história do projeto mostra precisamente o contrário. O AMALIA resulta da colaboração entre investigadores, universidades, centros de investigação, entidades públicas e infraestruturas europeias. Reduzir o projeto a uma única equipa não representa corretamente a forma como foi desenvolvido.
EuroLLM e GlórIA: de onde veio a base tecnológica?
Uma das questões que surgiu depois do anúncio do AMALIA foi se o modelo tinha sido verdadeiramente criado em Portugal ou se correspondia apenas à adaptação de tecnologia que já existia.
A resposta exige perceber dois projetos anteriores: o EuroLLM e o GlórIA.
EuroLLM
Modelo multilingue europeu de base, treinado em grande escala e com participação de investigadores portugueses.
GlórIA
Experiência acumulada na utilização de dados e no desenvolvimento de modelos especialmente orientados para o português europeu.
AMALIA
Continuação do treino sobre uma base europeia, com maior atenção ao português europeu, dados nacionais e avaliações específicas.
O que é o EuroLLM?
O EuroLLM é uma família de modelos abertos desenvolvida no contexto europeu e preparada para trabalhar com várias línguas europeias.
Para o AMALIA, esta base é importante porque já representava uma quantidade muito significativa de trabalho computacional. Em vez de repetir todo esse investimento, os investigadores puderam continuar o desenvolvimento a partir de um modelo já treinado.
E qual é a importância do GlórIA?
O GlórIA foi desenvolvido por investigadores da NOVA LINCS com foco explícito no português europeu.
Para além do modelo em si, um dos ativos importantes deste trabalho encontra-se na experiência adquirida na recolha, preparação e utilização de dados em português europeu.
Entre as fontes utilizadas encontra-se o Arquivo.pt, que preserva conteúdos históricos da Web portuguesa.
Não se trata simplesmente de juntar dois modelos
É tentador explicar o AMALIA como uma fusão entre o EuroLLM e o GlórIA. Tecnicamente, essa descrição é demasiado simplificada.
O principal modelo linguístico do AMALIA foi desenvolvido através de continuação do pré-treino a partir do EuroLLM, aproveitando simultaneamente conhecimento, dados e experiência acumulados pelas equipas portuguesas que já trabalhavam na especialização para português europeu.
Porque não foi criado tudo novamente do zero?
Treinar um grande modelo de linguagem completamente de raiz exige quantidades muito elevadas de dados, energia e capacidade gráfica.
Se já existe uma base tecnológica adequada e aberta, repetir toda a computação utilizada para a produzir dificilmente seria uma utilização eficiente dos recursos disponíveis.
O desenvolvimento do AMALIA seguiu, por isso, uma lógica de aproveitamento de investimento científico europeu já realizado.
- partir de um modelo europeu já treinado;
- reforçar a representação do português europeu;
- introduzir dados relevantes para Portugal;
- criar avaliações específicas;
- continuar a melhorar o comportamento através das fases posteriores de treino.
5,5 milhões de euros: onde está o custo de criar um modelo?
A primeira fase do AMALIA teve um investimento público de 5,5 milhões de euros.
Este número deu origem a uma interpretação simplista: a ideia de que 5,5 milhões de euros teriam sido gastos apenas no processamento necessário para treinar um modelo.
A explicação dada por Paulo Dimas mostra que o investimento corresponde a um projeto científico e tecnológico bastante mais amplo.
Pessoas
Um projeto desta natureza exige investigadores, estudantes de doutoramento e mestrado, engenheiros e especialistas em várias áreas da inteligência artificial.
Dados
Recolher dados não chega. É necessário selecionar, limpar, filtrar, organizar e avaliar grandes volumes de informação antes de os utilizar no treino.
Infraestrutura
Servidores, GPUs, armazenamento, experimentação e acesso a capacidade de supercomputação são componentes essenciais.
A importância da curadoria dos dados
Num modelo relativamente pequeno quando comparado com os maiores sistemas comerciais, a qualidade dos dados torna-se especialmente importante.
Acrescentar indiscriminadamente grandes quantidades de texto não garante um modelo melhor. Os dados precisam de ser selecionados de acordo com aquilo que se pretende que o modelo aprenda.
Mais parâmetros não significam automaticamente melhor modelo
A dimensão é apenas uma das variáveis. A qualidade do corpus, o processo de treino, a especialização, as avaliações e a tarefa concreta também influenciam o desempenho.
Porque foi o AMALIA treinado no MareNostrum 5, em Barcelona?
Outro dos aspetos que gerou discussão foi a utilização do MareNostrum 5, um dos principais supercomputadores europeus, instalado no Barcelona Supercomputing Center, em Espanha.
À primeira vista, pode parecer contraditório falar de soberania tecnológica portuguesa e utilizar infraestrutura localizada noutro país.
A realidade da computação de alto desempenho é mais complexa.
O MareNostrum 5 integra a infraestrutura europeia de supercomputação associada ao EuroHPC. O objetivo destas infraestruturas é precisamente permitir que investigadores, instituições e países europeus partilhem recursos computacionais cuja aquisição isolada seria extremamente dispendiosa.
Soberania tecnológica não significa autarcia tecnológica
Um país não precisa de fabricar os chips, possuir sozinho todos os supercomputadores, desenvolver todas as bibliotecas e criar cada componente desde o zero para desenvolver capacidade tecnológica própria.
Neste contexto, soberania está mais relacionada com capacidade de acesso, conhecimento, adaptação, execução e controlo.
O problema dos dados disponíveis em português europeu
Um dos principais argumentos para desenvolver o AMALIA encontra-se nos próprios dados utilizados pelos grandes modelos internacionais.
O português é uma língua global, mas a quantidade de conteúdo disponível online não está distribuída de forma equilibrada entre as diferentes variantes.
O português do Brasil possui uma presença digital muito superior à do português europeu. Isso significa que um modelo treinado indiscriminadamente com conteúdo da Internet tende a encontrar muito mais exemplos brasileiros.
Para quem utiliza modelos de IA em Portugal, as consequências são conhecidas: vocabulário brasileiro, construções linguísticas menos naturais em Portugal e referências culturais ou administrativas que não correspondem ao contexto nacional.
O Arquivo.pt ajuda, mas não resolve tudo
Uma das fontes relevantes para reforçar o português europeu é o Arquivo.pt, que preserva milhões de páginas da Web portuguesa.
No entanto, Paulo Dimas chama a atenção na entrevista para uma limitação importante: a Internet portuguesa não representa toda a riqueza linguística e cultural acumulada pelo país.
Grande parte dessa riqueza continua guardada em livros, arquivos e documentos históricos que não estão necessariamente disponíveis em formatos adequados ao treino de modelos.
A Biblioteca Nacional como fonte de conhecimento cultural
Na entrevista ao Bitalk, Paulo Dimas refere como linha de trabalho o aproveitamento e digitalização de conteúdos históricos existentes na Biblioteca Nacional.
A ideia mostra a diferença entre simplesmente recolher mais texto da Internet e construir um corpus deliberadamente orientado para representar a língua, a história e a cultura portuguesas.
As três soberanias explicadas por Paulo Dimas
Um dos pontos mais interessantes da entrevista é a forma como Paulo Dimas divide a importância estratégica do AMALIA em três dimensões.
Soberania linguística
Garantir que a variante europeia do português está suficientemente representada nos modelos utilizados no país.
Soberania cultural
Trabalhar deliberadamente sobre referências, história, contexto e perspetivas culturais portuguesas.
Soberania dos dados
Criar sistemas executados em infraestrutura controlada, reduzindo a dependência exclusiva de serviços externos.
1. Soberania linguística: ensinar a IA a falar português de Portugal
Os grandes modelos internacionais conseguem escrever em português europeu, mas isso não significa que tenham sido treinados especificamente para dominar esta variante.
Existe uma diferença importante entre um modelo que consegue responder em português e outro cujo processo de desenvolvimento inclui dados, testes e avaliações concebidos especificamente para o português europeu.
Essa diferença torna-se relevante em aplicações destinadas a cidadãos, Administração Pública, educação, cultura ou empresas portuguesas.
2. Soberania cultural: um modelo não aprende apenas palavras
Um modelo de linguagem não aprende apenas gramática e vocabulário.
Aprende relações entre conceitos, acontecimentos históricos, lugares, personalidades, valores e milhões de padrões presentes nos dados utilizados no treino.
Posteriormente, os modelos passam também por processos destinados a orientar o seu comportamento e determinar que tipos de resposta são considerados aceitáveis ou preferíveis.
O exemplo de Olivença
Na entrevista, Paulo Dimas utiliza de forma humorística a questão de Olivença para explicar o conceito. O objetivo do exemplo não é definir uma regra que o AMALIA tenha de seguir, mas mostrar que determinados temas históricos e culturais podem receber respostas diferentes conforme os dados e perspetivas presentes no desenvolvimento de um modelo.
3. Soberania dos dados: porque interessa ao Estado ter alternativas abertas?
A terceira dimensão está relacionada com o controlo sobre a informação processada pelos sistemas de inteligência artificial.
Serviços comerciais como ChatGPT, Claude ou Gemini oferecem capacidades muito avançadas. No entanto, existem situações em que organismos públicos ou empresas precisam de maior controlo sobre a infraestrutura, os dados e a forma como o modelo é executado.
Um modelo aberto permite, por exemplo, criar uma solução instalada em infraestrutura escolhida pela própria organização.
Utilizar o AMALIA não torna automaticamente os dados seguros
Um modelo aberto permite maior controlo técnico, mas a segurança depende de toda a arquitetura da solução: servidores, acessos, aplicações, bases de dados, integrações, registos e procedimentos.
Da mesma forma, utilizar um modelo português não garante automaticamente conformidade com o RGPD ou com o Regulamento Europeu da Inteligência Artificial.
A discussão sobre se o AMALIA é “100% português”
Depois do anúncio público, uma das críticas ao projeto incidiu sobre a ideia de que o AMALIA não seria verdadeiramente português porque utiliza como ponto de partida o EuroLLM e porque parte do treino foi executada em Barcelona.
Esta crítica parte de uma definição extremamente restrita de soberania tecnológica.
Praticamente nenhum sistema tecnológico moderno é desenvolvido isoladamente dentro de um único país. Processadores, sistemas operativos, bibliotecas de software, investigação científica, standards e infraestrutura são resultado de cadeias internacionais.
O que distingue o AMALIA é a existência de uma equipa e de uma estratégia portuguesa para adaptar, avaliar, disponibilizar e desenvolver modelos orientados para necessidades nacionais.
O projeto é simultaneamente português e europeu.
O AMALIA é pequeno comparado com os maiores modelos?
Sim. O principal modelo de linguagem apresentado no lançamento possui cerca de 9 mil milhões de parâmetros.
Existem modelos internacionais substancialmente maiores. No entanto, comparar modelos apenas através do número de parâmetros é insuficiente.
O desempenho depende também dos dados utilizados, do treino, da arquitetura, da qualidade do pós-treino e sobretudo da tarefa em que o modelo está a ser avaliado.
Um modelo mais pequeno apresenta também potenciais vantagens:
- necessita de menos capacidade computacional;
- pode ser mais económico de executar;
- é mais viável para instalações privadas;
- é mais simples de adaptar a determinados contextos;
- permite experimentar soluções sem a infraestrutura exigida por modelos muito maiores.
Nem todos os números divulgados sobre modelos comerciais são públicos
A arquitetura e o número exato de parâmetros de vários modelos comerciais não são divulgados pelos respetivos fabricantes. Por isso, estimativas externas não devem ser apresentadas como especificações técnicas confirmadas.
O AMALIA também serve para reter talento científico em Portugal
Existe ainda uma dimensão menos visível do projeto: a criação de oportunidades para investigadores portugueses trabalharem em problemas científicos de elevada complexidade sem terem necessariamente de sair do país.
O desenvolvimento de grandes modelos exige competências em aprendizagem automática, processamento de linguagem natural, otimização, tratamento de dados, infraestrutura computacional, avaliação e segurança.
Segundo a informação oficial divulgada no lançamento, o projeto envolveu mais de 60 investigadores portugueses.
Na entrevista, Paulo Dimas descreve uma participação mais alargada de estudantes ao longo do projeto, com um núcleo mais reduzido de investigadores a trabalhar de forma continuada no desenvolvimento.
Para Portugal, a importância desta experiência ultrapassa o próprio AMALIA. Investigadores que aprendem a preparar dados, treinar modelos, operar infraestrutura e avaliar sistemas de IA acumulam competências que posteriormente podem ser utilizadas noutros projetos científicos e empresariais.
Da ideia ao lançamento: a cronologia do AMALIA
Aproximação das equipas
Um workshop sobre modelos fundacionais promovido pelo Center for Responsible AI ajuda a aproximar grupos portugueses que já trabalhavam no EuroLLM e no GlórIA.
Anúncio na Web Summit
O Governo anuncia publicamente a intenção de desenvolver um grande modelo de linguagem orientado para o português europeu.
Formalização do projeto
A Resolução do Conselho de Ministros n.º 201/2024 aprova formalmente o desenvolvimento do AMÁLIA.
Dados, treino e avaliação
As equipas trabalham na preparação dos dados, continuação do pré-treino, pós-treino, avaliações em português europeu e restantes componentes da família AMALIA.
Lançamento público
Portugal apresenta oficialmente o AMALIA e começa a disponibilizar publicamente modelos, documentação e recursos técnicos.
Nova fase de desenvolvimento
Está prevista uma nova fase de evolução do projeto, acompanhada por investimento adicional e continuação do desenvolvimento tecnológico.
Então, porque decidiu Portugal criar o AMALIA?
A história do projeto mostra que a resposta não é simplesmente “para ter um ChatGPT português”.
O objetivo é construir capacidade.
Capacidade para trabalhar com português europeu, preparar dados próprios, treinar e avaliar modelos, desenvolver soluções em infraestrutura controlada e formar investigadores capazes de trabalhar nesta tecnologia.
Isto também ajuda a perceber porque o sucesso do AMALIA não deve ser medido apenas através de uma comparação direta com ChatGPT, Claude ou Gemini.
Que capacidade fica em Portugal depois de o modelo estar criado?
Modelos, conjuntos de dados, avaliações, investigadores, conhecimento técnico, experiência em supercomputação e capacidade para empresas e organismos públicos desenvolverem novas soluções fazem parte do resultado do investimento.
O verdadeiro teste começa depois do lançamento
Criar e disponibilizar um modelo é apenas a primeira parte.
O impacto do AMALIA dependerá agora da capacidade de transformar essa tecnologia em aplicações concretas.
Entre os indicadores que valerá a pena acompanhar encontram-se:
- utilização por organismos da Administração Pública;
- adoção por universidades e centros de investigação;
- criação de aplicações por empresas e startups;
- contributos externos para os modelos e conjuntos de dados;
- qualidade real do português europeu;
- custos de instalação e operação;
- evolução das versões disponibilizadas;
- capacidade para manter dados e modelos atualizados;
- utilização do projeto para formar e fixar talento em Portugal.
Conclusão
O AMALIA não apareceu simplesmente porque o Governo decidiu anunciar uma IA portuguesa.
O projeto resulta de investigação que já existia, da aproximação entre equipas portuguesas, da utilização de uma base tecnológica europeia, da experiência acumulada com português europeu e do acesso a infraestrutura de supercomputação partilhada à escala europeia.
Esta história também ajuda a compreender melhor o significado de soberania tecnológica.
Portugal não precisa de construir isoladamente cada componente da cadeia tecnológica. Precisa de possuir conhecimento, investigadores, dados, capacidade de adaptação e alternativas que permitam escolher como e onde determinadas aplicações são desenvolvidas.
Nesse sentido, o valor do AMALIA não está apenas nos seus 9 mil milhões de parâmetros.
Está também na capacidade científica e tecnológica que fica disponível para construir aquilo que vier a seguir.
FAQ — Perguntas sobre a criação do AMALIA
Segundo Paulo Dimas, a génese do projeto esteve num workshop sobre modelos fundacionais realizado em 2024 pelo Center for Responsible AI. O encontro ajudou a aproximar equipas portuguesas que já trabalhavam no EuroLLM e no GlórIA.
Não no sentido técnico mais estrito. O principal modelo linguístico do AMALIA foi desenvolvido a partir do EuroLLM-9B e recebeu treino adicional, dados e especialização orientados para o português europeu.
O EuroLLM forneceu uma base multilingue europeia já treinada em grande escala. O desenvolvimento do AMALIA aproveitou esse trabalho e reforçou a especialização em português europeu.
O GlórIA representa trabalho português anterior focado no português europeu e na preparação de dados provenientes de fontes como o Arquivo.pt. A experiência adquirida nesse projeto contribuiu para o conhecimento necessário ao desenvolvimento do AMALIA.
A primeira fase teve um investimento público de 5,5 milhões de euros. O valor abrange investigação, recursos humanos, dados, infraestrutura, treino, avaliação e outras componentes do projeto, não apenas computação.
O treino de grandes modelos exige elevada capacidade computacional. O MareNostrum 5 integra a infraestrutura europeia de supercomputação EuroHPC, permitindo partilhar recursos que seriam extremamente dispendiosos para cada país manter isoladamente.
O projeto é desenvolvido por um consórcio português e especializado no português europeu, mas utiliza tecnologia, investigação e infraestrutura inseridas num ecossistema europeu e internacional. Isso não é incompatível com o objetivo de desenvolver capacidade tecnológica própria em Portugal.
Entre as razões apresentadas encontram-se a representação do português europeu, o contexto cultural português, o controlo sobre determinadas utilizações e dados e a criação de conhecimento e capacidade científica dentro do país.