Caltech open source el modelo de 1-bit Bonsai: 8B de parámetros en solo 1.15GB, funcionando a 44 tok/s en iPhone

Noticias de Biquanet: según el seguimiento de 1M AI News, el laboratorio de IA PrismML, cofundado por el matemático Babak Hassibi del Instituto de Tecnología de California, ha finalizado su periodo de sigilo y ha publicado de forma open source la serie de grandes modelos de lenguaje Bonsai de 1-bit. El modelo insignia 1-bit Bonsai 8B tiene 8.2 mil millones de parámetros, con un uso de memoria de solo 1.15 GB, lo que lo comprime aproximadamente 14 veces frente a los modelos 16-bit de la misma categoría (alrededor de 16 GB). Los pesos se ponen a disposición para descarga abierta en HuggingFace bajo la licencia Apache 2.0, y también se lanzan dos modelos más pequeños: 4B (0.5 GB) y 1.7B (0.24 GB). Bonsai 8B es un modelo real de 1-bit de extremo a extremo: la capa de embeddings, las capas de atención, las capas MLP y el cabezal de salida usan únicamente pesos representados por +1 o -1, sin ningún parche de alta precisión. PrismML afirma que su capacidad de razonamiento y comprensión del lenguaje en evaluaciones de referencia estándar es comparable a la de modelos de precisión completa 16-bit. Las matemáticas centrales de la compresión fueron desarrolladas por el equipo en años de investigación en el Instituto de Tecnología de California; la propiedad intelectual pertenece al Instituto de Tecnología de California, y PrismML es el único licenciatario con exclusividad. El modelo se entrenó con Google v4 TPU. Velocidad medida: en M4 Pro Mac, 136 tok/s; en RTX 4090, 440 tok/s; y en iPhone 17 Pro Max, aproximadamente 44 tok/s, mientras que el modelo estándar 16-bit 8B no cabe en ningún iPhone. El consumo de energía se reduce aproximadamente 4-5 veces respecto al modelo 16-bit. PrismML señala que el hardware existente no está diseñado para inferencia de 1-bit; la ventaja en velocidad y consumo de energía proviene principalmente de la reducción del uso de memoria. Si en el futuro apareciera hardware diseñado específicamente para 1-bit (solo necesita suma y resta, sin multiplicación), la eficiencia podría mejorar aún otro orden de magnitud. PrismML completó una ronda SAFE y de semilla por 16.25 millones de dólares; los inversores son Khosla Ventures, Cerberus Capital y el Instituto de Tecnología de California. Vinod Khosla, fundador de Khosla Ventures, dijo que esto «no es una pequeña iteración: es un avance tecnológico importante, es un avance matemático, no solo otro modelo pequeño más».