A IA Deepseek fez seu sistema de arquivos paralelo de fogo de fogo de fogo (3FS) Totalmente de código aberto esta semanaComo parte de seu evento de semana aberto. A empresa de IA disruptiva da China se gaba de que o 3FS pode atingir a taxa de transferência de leitura de 7,3 TB/s em seus próprios clusters de dados de servidores, onde o DeepSeek usa 3Fs para organizar seus servidores desde pelo menos 2019.
O 3FS é um sistema de arquivos paralelo baseado em Linux, projetado para uso em operações AI-HPC, onde muitos servidores de armazenamento de dados estão sendo acessados constantemente pelos nós da GPU para o Treination LLMS. O 3FS é exclusivo de outros sistemas de arquivos graças em grande parte à sua priorização quase singular de velocidades de leitura aleatória acima de tudo, e quase completamente ignorando o cache de leitura.
Ao treinar modelos de IA, as unidades de computação precisam acessar dados de treinamento aleatório constantemente e ler esses dados é um processo único. Portanto, um cache de leitura é quase inútil e é amplamente eliminado por 3fs. De fato, o uso do cache de leitura quando o Treining LLMS pode ser potencialmente prejudicial; Como os LLMs são basicamente apenas máquinas de inferência super ajustadas, a leitura dos mesmos dados na mesma ordem repetidamente tem o potencial de vincular dados completamente diferentes como um conjunto ao modelo de idioma.
A equipe responsável por operar um dos agrupamentos de aprendizado Deepseek, Fire-Flyer 2, publicado este artigo Em agosto passado, o esboço usando 3Fs no sistema personalizado. No Fire-Flyer 2, a Deepseek utilizou 180 nós de armazenamento, cada um carregado com 16 SSDs de 16 TB e dois NUCs de 200 Gbps. Esses nós atenderam 10.000 GPUs PCIE NVIDIA A100, construídos em servidores muito mais baratos do que os produtos DGX-A100 proprietários da Nvidia.
Em toda a matriz, a Deepseek afirma que comparou o desempenho da 3FS a 6,6 TB/s, enquanto também executava tarefas de treinamento em segundo plano que adicionaram 1,4 TB/s adicional de rendimento de leitura. Em comparação, o sistema de arquivos concorrentes Ceph atingiu apenas velocidades de 1,1 TB/s de rendimento de leitura (em um servidor com 68 nós, carregados com 10 SSDs de 16 TB e rede de 2 x 100 Gbps) pela primeira vez No início de 2024.
O 3FS foi creditado como uma parte crucial da pilha de software da DeepSeek para treinar a IA Deepseek no artigo acima, conforme testado na solução de 2 hpc, que atingiu 80% do desempenho da solução de servidor DGX-A100 da NVIDIA por 50% do preço e 60% do consumo de potência.
Aqueles curiosos para experimentar o sistema de arquivos de flyer de fogo e seu estilo aleatório de lida de leitura para soluções AI-HPC podem encontrar o download completo no Deepseek’s Página do Github. Ficaríamos surpresos se esse novo sistema de código aberto não se tornar um sucesso para os entusiastas e os usuários da AI-HPC corporativa, embora possa ter que superar algum nível de medo da tecnologia anti-chinesa para atingir o status de sucesso de bilheteria.
