Tether startet BitNet LoRA Framework auf allen Plattformen

• Tether’s BitNet LoRA-Framework ermöglicht das Training von KI-Modellen auf Smartphones, GPUs und Verbrauchergeräten.

• Das System reduziert den Speicherverbrauch und steigert die Leistung, mit bis zu 77,8 % geringeren VRAM-Anforderungen.

• Nutzer können Modelle mit bis zu 13 Milliarden Parametern auf mobilen Geräten feinabstimmen, was die Edge-KI-Fähigkeiten erweitert.

Tether kündigte eine neue KI-Framework über seine QVAC Fabric-Plattform an, die plattformübergreifendes BitNet LoRA-Training auf Verbrauchergeräten ermöglicht. Das Update erlaubt es, Modelle mit Milliarden von Parametern auf Smartphones und GPUs auszuführen. CEO Paolo Ardoino teilte die Entwicklung mit und hob die reduzierten Kosten sowie den breiteren Zugang zu KI-Tools hervor.

Plattformübergreifendes KI-Training erweitert den Zugang

Das QVAC Fabric-Update führt plattformübergreifende Unterstützung für BitNet LoRA-Feinabstimmung ein. Dadurch können KI-Modelle auf verschiedenen Hardware- und Betriebssystemen laufen.

Bemerkenswert ist, dass das Framework GPUs von AMD, Intel und Apple unterstützt, einschließlich mobiler Chipsätze. Es nutzt auch Vulkan- und Metal-Backends für die Kompatibilität.

Laut Tether ist dies das erste Mal, dass BitNet LoRA auf so einer breiten Palette von Geräten funktioniert. Dadurch können Nutzer Modelle auf alltäglicher Hardware trainieren.

Leistungssteigerungen auf Verbrauchshardware

Das System reduziert den Speicher- und Rechenbedarf durch die Kombination von BitNet- und LoRA-Techniken. BitNet komprimiert Modellgewichte in vereinfachte Werte, während LoRA die Anzahl der trainierbaren Parameter begrenzt.

Gemeinsam senken diese Methoden die Hardware-Anforderungen erheblich. Zum Beispiel läuft die GPU-Inferenz auf mobilen Geräten zwei bis elf Mal schneller als die CPU.

Zusätzlich sinkt der Speicherverbrauch im Vergleich zu Vollpräzisionsmodellen deutlich. Benchmarks zeigen bis zu 77,8 % weniger VRAM-Verbrauch im Vergleich zu ähnlichen Systemen.

Tether demonstrierte auch das Feinabstimmen auf Smartphones. Tests zeigten, dass Modelle mit 125 Millionen Parametern in Minuten auf Geräten wie dem Samsung S25 trainiert werden können.

Mobile und Edge-Geräte bewältigen größere Modelle

Das Framework ermöglicht das Ausführen größerer Modelle auf Edge-Geräten. Tether berichtete von erfolgreichem Feinabstimmen von Modellen mit bis zu 13 Milliarden Parametern auf dem iPhone 16.

Zudem unterstützt das System mobile GPUs wie Adreno, Mali und Apple Bionic. Damit wird die KI-Entwicklung über spezialisierte Hardware hinaus ausgeweitet.

Laut Paolo Ardoino hängt die KI-Entwicklung oft von teurer Infrastruktur ab. Er sagte, dieses Framework verschiebt die Fähigkeiten hin zu lokalen Geräten.

Tether fügte hinzu, dass das System die Abhängigkeit von zentralisierten Plattformen verringert. Es ermöglicht auch, dass Nutzer Daten direkt auf ihren Geräten trainieren und verarbeiten.