Inteligencia Concentrada: La Nueva Familia de Modelos Bonsai AI Permite una IA de Alto Rendimiento Más Allá del Centro de Datos

En breve

PrismML surgió de la clandestinidad y lanzó Bonsai, un diminuto modelo de IA de código abierto que muestra una inteligencia sólida para su tamaño y es capaz de ejecutarse en hardware de consumo.

PrismML, un laboratorio de investigación de IA con sede en California, ha presentado una nueva familia de modelos Bonsai de 1 bit diseñada para ofrecer inteligencia avanzada directamente a los dispositivos donde las personas viven y trabajan, en lugar de confinar la IA a grandes centros de datos

Surgiendo de la investigación realizada en Caltech, PrismML dijo que su trabajo se centra en maximizar la “densidad de inteligencia”, una medida de la capacidad útil que un modelo puede aportar por unidad de tamaño y huella de despliegue. Este enfoque contrasta con el desarrollo tradicional de IA, que normalmente hace hincapié en aumentar el tamaño del modelo y el conteo de parámetros a costa de la capacidad de despliegue y la eficiencia.

El modelo insignia del laboratorio, 1-bit Bonsai 8B, presenta un diseño completo de 1 bit en todos los componentes, incluidas las incrustaciones (embeddings), las capas de atención, las capas MLP y la cabeza de salida, sin capas de respaldo de mayor precisión. Con 1,15 GB, el modelo es aproximadamente 14 veces más pequeño que los modelos comparables de 16 bits en la misma clase de parámetros, pero PrismML informa que mantiene un rendimiento competitivo en evaluaciones estándar. El tamaño reducido permite desplegarlo en dispositivos como iPhones, iPads y Macs, además de GPUs estándar, ofreciendo inferencia más rápida y un menor uso de memoria que los modelos tradicionales a gran escala.

PrismML enfatiza que el avance no solo se trata de rendimiento, sino también de dónde puede operar la IA. Los modelos más pequeños y eficientes permiten aplicaciones con menor latencia, mejor privacidad mediante la computación en el dispositivo y funcionalidad continua en entornos sin conexión o con ancho de banda limitado

Las aplicaciones potenciales incluyen agentes persistentes en el dispositivo, robótica en tiempo real, copilotos para empresas y herramientas nativas de IA diseñadas para entornos seguros o con recursos limitados. PrismML sostiene que la inteligencia concentrada amplía el espacio de diseño de la IA, haciendo que los sistemas sean más receptivos, fiables y de despliegue más amplio.

Ampliando Bonsai: Modelos 1-Bit más pequeños extienden la eficiencia y la inteligencia a los dispositivos perimetrales (edge)

Además de Bonsai 8B, PrismML ha presentado modelos más pequeños, 1-bit Bonsai 4B y 1.7B, que extienden los mismos principios de eficiencia y densidad de inteligencia a tamaños de modelo reducidos. Las demostraciones iniciales muestran alto rendimiento, eficiencia energética y precisión competitiva en benchmarks en toda la familia. El laboratorio también señaló que los modelos se ejecutan de manera efectiva en hardware comercial actual y que los dispositivos futuros optimizados para inferencia de 1 bit podrían ofrecer ganancias de eficiencia aún mayores.

El lanzamiento de PrismML representa un cambio más amplio en el desarrollo de IA, enfatizando la inteligencia concentrada y la portabilidad por encima de la mera escala. El laboratorio imagina un futuro en el que la IA avanzada opere sin problemas en dispositivos tanto de la nube como en el borde (edge), haciendo que los sistemas inteligentes estén disponibles dondequiera que se necesiten. Los modelos Bonsai de 1 bit están disponibles bajo la licencia Apache 2.0, lo que respalda el despliegue en dispositivos Apple, GPU NVIDIA y una variedad de otras plataformas.