Tether Data presenta QVAC Fabric, un marco para inferencia y ajuste fino de LLM en modelos de IA modernos

En resumen

Tether Data ha lanzado el marco QVAC Fabric LLM que permite la inferencia y el ajuste fino de LLM en dispositivos de consumo y hardware de múltiples proveedores, apoyando el desarrollo de IA descentralizada, centrada en la privacidad y escalable.

La empresa del Departamento de Servicios Financieros Tether, centrada en promover la libertad, la transparencia y la innovación a través de la tecnología, Tether Data, ha anunciado el lanzamiento de QVAC Fabric LLM, un marco integral de ejecución de inferencia y ajuste fino de modelos de lenguaje grande (LLM). Este nuevo sistema permite a los usuarios ejecutar, entrenar y personalizar grandes modelos de lenguaje directamente en hardware estándar, incluidas GPUs de consumo, portátiles e incluso smartphones, eliminando la anterior dependencia de servidores en la nube de alta gama o configuraciones especializadas de NVIDIA.

QVAC Fabric LLM redefine la inferencia y el ajuste fino de LLM de alto rendimiento, que tradicionalmente solo estaban al alcance de organizaciones con infraestructuras costosas. Representa el primer sistema unificado, portátil y altamente escalable capaz de ejecutar completamente la inferencia de LLM, la adaptación LoRA y el ajuste por instrucciones en sistemas operativos móviles (iOS y Android), así como en todos los entornos comunes de portátiles, ordenadores de sobremesa y servidores (Windows, macOS, Linux). Esto permite a desarrolladores y organizaciones crear, desplegar, ejecutar y personalizar IA de manera independiente, sin depender de la nube, sin ataduras a proveedores ni el riesgo de que datos sensibles salgan del dispositivo.

Una innovación destacada en este lanzamiento es la capacidad de ajustar modelos en GPUs móviles, como Qualcomm Adreno y ARM Mali, siendo el primer marco listo para producción que permite el entrenamiento moderno de LLM en hardware de clase smartphone. Este avance facilita una IA personalizada que puede aprender directamente de los usuarios en sus dispositivos, preservando la privacidad, operando sin conexión y apoyando una nueva generación de aplicaciones de IA resilientes y en el propio dispositivo.

QVAC Fabric LLM también amplía el ecosistema de llama.cpp añadiendo soporte de ajuste fino para modelos contemporáneos como LLama3, Qwen3 y Gemma3, que antes no eran compatibles. Estos modelos ahora pueden ajustarse a través de un flujo de trabajo coherente y sencillo en todas las plataformas de hardware.

Al permitir el entrenamiento en una amplia variedad de GPUs, incluidas AMD, Intel, NVIDIA, Apple Silicon y chips móviles, QVAC Fabric LLM desafía la antigua noción de que el desarrollo avanzado de IA requiere hardware especializado de un solo proveedor. Las GPUs de consumo ahora son viables para tareas significativas de IA y los dispositivos móviles se convierten en plataformas legítimas de entrenamiento, ampliando el panorama para el desarrollo de IA.

Para las empresas, el marco ofrece ventajas estratégicas. Las organizaciones pueden ajustar internamente los modelos de IA en hardware seguro, eliminando la necesidad de exponer datos sensibles a proveedores de nube externos. Este enfoque apoya la privacidad, el cumplimiento normativo y la eficiencia de costes, permitiendo al mismo tiempo el despliegue de modelos de IA personalizados para los requisitos internos. QVAC Fabric LLM traslada el ajuste fino de los clústeres centralizados de GPU al ecosistema más amplio de dispositivos ya gestionados por las empresas, haciendo que la IA avanzada sea más accesible y segura.

Tether Data lanza QVAC Fabric LLM como software de código abierto, permitiendo la personalización descentralizada de la IA

Tether Data ha puesto QVAC Fabric LLM a disposición como software de código abierto bajo la licencia Apache 2.0, acompañado de binarios multiplataforma y adaptadores listos para usar en Hugging Face. El marco permite a los desarrolladores comenzar a ajustar modelos con solo unos pocos comandos, reduciendo las barreras a la personalización de la IA que antes eran difíciles de superar.

QVAC Fabric LLM marca un paso práctico hacia una IA descentralizada y gestionada por el usuario. Mientras gran parte de la industria sigue priorizando las soluciones basadas en la nube, Tether Data se centra en permitir una personalización avanzada directamente en el hardware local de edge. Este enfoque favorece la continuidad operativa en regiones con redes de alta latencia, como los mercados emergentes, a la vez que ofrece una plataforma de IA resiliente, escalable y centrada en la privacidad, capaz de funcionar de manera independiente de la infraestructura centralizada.