Tether publie un framework BitNet LoRA multiplateforme, les modèles à un milliard de paramètres peuvent être affinés sur des appareils grand public

Voici la traduction complète et corrigée en fr-FR :

Techub News annonce que Tether a lancé un cadre de fine-tuning LoRA multiplateforme pour BitNet dans QVAC Fabric, optimisant l’entraînement et l’inférence du Microsoft BitNet (LLM 1-bit). Ce cadre réduit considérablement les besoins en puissance de calcul et en mémoire, permettant à des modèles de milliards de paramètres d’être entraînés et ajustés sur un ordinateur portable, un GPU grand public ou un smartphone. Pour la première fois, cette solution permet le fine-tuning du modèle BitNet sur des GPU mobiles (incluant Adreno, Mali et Apple Bionic). Les tests montrent qu’un modèle de 125 millions de paramètres peut être ajusté en environ 10 minutes, un modèle de 1 milliard de paramètres en environ une heure, et même étendu à 13 milliards de paramètres sur smartphone. De plus, ce cadre supporte des matériels hétérogènes tels qu’Intel, AMD et Apple Silicon, et réalise pour la première fois un fine-tuning LoRA 1-bit LLM sur des appareils non NVIDIA. En termes de performance, l’inférence du modèle BitNet sur GPU mobile est jusqu’à 11 fois plus rapide que sur CPU, tout en réduisant la consommation de mémoire vidéo d’environ 77,8 % par rapport aux modèles traditionnels en 16 bits. Tether indique que cette technologie pourrait réduire la dépendance aux infrastructures cloud coûteuses et haut de gamme, favoriser le développement d’une IA décentralisée et locale, et poser les bases pour de nouvelles applications comme l’apprentissage fédéré.