llama.cpp 0.9.0 incorpora FP8 E4M3 y una base para paralelismo tensorial entre nodos

llama.cpp ha publicado la versión estable 0.9.0, una entrega que actualiza su base ggml a la versión 0.29.0 y reúne cambios de formato numérico, gestión de caché y comunicación entre procesos. Entre las novedades figura el soporte para OCP FP8 E4M3. El registro técnico de ggml identifica el nuevo tipo como GGML_TYPE_F8_E4M3 y añade el ftype GGML_FTYPE_MOSTLY_F8_E4M3, además de funciones de conversión. Es una capacidad del motor; no equivale por sí sola a que cualquier modelo, cuantización o acelerador vaya a usarla automáticamente.

La entrega también incorpora ggml_flash_attn_ext_rows, una operación en la que cada porción de consultas puede atender a su propia lista de filas de claves y valores mediante un tensor de índices. El anuncio de llama.cpp la relaciona con una caché KV unificada más eficiente en escenarios de múltiples secuencias. Por separado, ggml estrena una API de copia por lotes de tensores y una interfaz de comunicador multiproceso. En CUDA, el proyecto declara soporte NCCL para paralelismo tensorial entre nodos a través de ese comunicador, utilizado por su servidor RPC.

La lectura práctica de Signalia es que 0.9.0 amplía piezas de infraestructura para instalaciones que necesitan ajustar precisión, atender varias secuencias o repartir trabajo entre procesos. No es una promesa de rendimiento uniforme: FP8 depende de la compatibilidad del modelo y del backend, y el paralelismo multinodo exige una configuración de red, GPUs, NCCL y RPC coherente. Antes de actualizar una instalación de producción, conviene reproducir las cargas reales, revisar la compatibilidad de los modelos y medir memoria, latencia y estabilidad con la configuración concreta.