Os pesquisadores da Microsoft constroem AI LLM de 1 bit com parâmetros 2B-modelo pequeno o suficiente para ser executado em algumas CPUs

Os pesquisadores da Microsoft acabaram de criar o BitNet B1.58 2B4T, um modelo de linguagem grande de 1 bit de código aberto com dois bilhões de parâmetros e treinado em quatro trilhões de tokens. Mas o que torna esse modelo de IA único é que é leve o suficiente para funcionar com eficiência em uma CPU, com TechCrunch Dizer que um chip Apple M2 pode executá -lo. O modelo também está prontamente disponível em Abraçando o rostopermitindo que alguém experimente.

Os BitNets usam pesos de 1 bit com apenas três valores possíveis: -1, 0 e +1. Isso economiza muita memória em comparação com os modelos de IA convencionais com formatos de ponto flutuante de 32 ou 16 bits, permitindo que eles operem com muito mais eficiência e requerem menos memória e potência computacional. A simplicidade do BitNet tem uma desvantagem, no entanto – é menos preciso em comparação com os modelos de IA maiores. No entanto, o BitNet B1.58 2B4T compensa isso com seus enormes dados de treinamento, estimados em mais de 33 milhões de livros.