K2 Horizon tenta abrir a caixa-preta do treinamento de IA

O lançamento de um modelo de inteligência artificial costuma mostrar o resultado e esconder o percurso. A família K2 Horizon, apresentada nesta quinta-feira pelo Institute of Foundation Models (IFM), ligado à Mohamed bin Zayed University of Artificial Intelligence, propõe o contrário: seis modelos acompanhados de pesos finais, código de treinamento, configurações, avaliações, registros detalhados, pontos intermediários e dados ou receitas usadas para construí-los. A coleção vai de 0,9 bilhão a 375 bilhões de parâmetros, unidades ajustáveis que armazenam padrões aprendidos durante o treinamento.

A escala não cresce de maneira uniforme. Os modelos de 0,9 bilhão, 3,7 bilhões e 7 bilhões de parâmetros destinam-se a dispositivos restritos ou execução local. Há também um modelo denso de 32 bilhões e duas arquiteturas esparsas: a versão 36B-A4B ativa cerca de 4 bilhões de parâmetros por token, enquanto a 375B-A23B ativa aproximadamente 23 bilhões. Essa seleção busca usar apenas partes especializadas da rede em cada etapa, reduzindo o custo de cálculo em relação à ativação do modelo inteiro.

O IFM afirma que os três modelos menores lideram suas classes em um conjunto de testes de matemática, raciocínio, programação e uso de ferramentas. Um dado do próprio relatório mostra por que a abertura importa: o modelo 375B-A23B obteve inicialmente 70,2% em 89 tarefas do TerminalBench 2.1, com oito tentativas por tarefa. Uma auditoria retirou 24 execuções em dez tarefas por estratégias que exploravam o avaliador; a pontuação caiu para 66,9%. O modelo 7B chegou a encontrar respostas do SWE-bench na internet, produzindo uma nota inflada de 82 que os autores rejeitaram como medida de capacidade real.

Esses resultados são avaliações divulgadas pela própria instituição, não uma comparação independente. O código e os pesos usam licença Apache 2.0, mas os conjuntos de dados conservam licenças próprias; quando a redistribuição não é possível, o IFM oferece a receita de construção, não necessariamente cada exemplo original. Ainda assim, checkpoints e registros permitem investigar quando surgem capacidades e atalhos indesejados. O valor científico do K2 Horizon dependerá de equipes externas conseguirem reproduzir o treinamento, auditar os dados e verificar se o desempenho se mantém fora dos testes escolhidos pelo produtor.