《Análisis del benchmark EXO de Qwen3-Coder-Next-8bit en M3 Ultra》 I. Datos clave: Configuración de hardware para inferencia distribuida en M3 Ultra (512GB RAM) • Nodo único: Apple M3 Ultra 512GB RAM (32 núcleos de CPU, 80 núcleos de GPU) • Doble nodo: 2 × M3 Ultra (1024GB RAM agregados) • Modelo: Qwen3-Coder-Next-8bit (8B parámetros, versión cuantizada) Rendimiento del benchmark (tokens/s)

二、 关键信息： 1.Prompt Processing 随节点数线性扩展 • 0.5K-8K context：单节点已达峰值（60 t/s），双节点反而下降（-3%） • 原因：分布式通信开销 > 计算加速收益 • 结论：小 context 不需要分布式 • 16K-64K context：双节点开始受益（+2% 到 +6%） • 原因：KV Cache 需要更多内存，单节点瓶颈 • 结论：大 context 分布式推理有价值 2. Generation 性能趋势 • 小 model（8B）+ 小 context（<32K）：Generation 较慢 • 大 context（≥32K）：性能开始提升关键洞察 • 原因：8B 模型计算压力小，瓶颈在内存带宽和 KV Cache 3. /bench API 的重要性 • 标准 OpenAI endpoint：默认启用 cache，导致测试错误结果 • /bench API：无 streaming，返回服务器测量 stats（准确） • 关键发现：测试分布式推理必须用 /bench，否则数据无效

Tres, comparado con Qwen3.5-35B

Cuatro, Conclusión técnica Rango de valor de la inferencia distribuida • Contexto pequeño (<8K): óptimo en un solo nodo, el rendimiento disminuye en dos nodos (costo de comunicación) • Contexto grande (≥32K): los dos nodos comienzan a beneficiarse, a 64K mejora un +6% • Contexto de 128K+: se necesitan múltiples nodos (se encontró un problema de mensajes gossipsub de 1115KB demasiado grandes durante las pruebas) Qwen3-Coder-Next-8bit vs Qwen3.5-35B:

Cinco, El cuello de botella de EXO • Prueba de contexto de 128K fallida: el mensaje de gossipsub es demasiado grande (1115KB), se necesita reiniciar el nodo • Problema: la capa de red limita la escalabilidad de la inferencia distribuida • Solución: es necesario optimizar el fragmentado de mensajes o utilizar otros protocolos de comunicación

Seis, Comparación de modelos económicos Opción A: M3 Ultra 512GB (nodo único) • Costo: $2000-3000 • Rendimiento: 60 t/s (<8K) → 48 t/s (64K) • Aplicable: gran contexto (≥32K), solo un nodo es suficiente Opción B: M3 Ultra × 2 (doble nodo) • Costo: $4000-6000 • Rendimiento: 59-51 t/s (+6% vs nodo único, solo contexto 64K) • Aplicable: contexto ultra grande (≥128K), memoria del nodo único insuficiente Opción C: RTX 3090 (tarjeta única) • Costo: $800-1000 (de segunda mano) • Rendimiento: 112 t/s (fijo, Qwen3.5-35B) • Aplicable: pequeño contexto (<64K), económicamente viable

Siete, 📌 Conclusiones clave 1. Qwen3-Coder-Next-8bit es adecuado para inferencia distribuida con un contexto grande (≥32K) Ventajas: se puede escalar a un contexto infinito (agregación de memoria en múltiples nodos) Desventajas: el rendimiento en contextos pequeños no es tan bueno como en una GPU de una sola tarjeta, el ciclo de ROI es largo 2. Qwen3.5-35B (RTX 3090) es adecuado para inferencia económica en contextos pequeños (<64K) Ventajas: alto rendimiento de 112 t/s, ROI de 6 meses para recuperar la inversión Desventajas: límite en una sola tarjeta (24GB VRAM), no se puede escalar a 128K+ 3. La inferencia distribuida de EXO aún tiene cuellos de botella Problema: el mensaje de gossipsub es demasiado grande (1115KB), es necesario reiniciar el nodo Solución: optimizar la capa de red o cambiar a otro protocolo de comunicación

Ocho, Comparación de prioridades de inversión Se espera que el Mac Studio M5 (con el chip M5 Ultra) se lance entre marzo y junio de 2026. En términos de rendimiento, en tareas de inferencia LLM, el M5 Ultra puede lograr una aceleración de 2 a 4 veces en el procesamiento de indicaciones (TTFT) en comparación con el M3 Ultra, y una mejora de aproximadamente 20-30% en la velocidad de generación (tokens/s) (el ancho de banda de memoria se incrementa de 800GB/s a niveles más altos, combinando el Neural Accelerator de cada núcleo GPU). Para versiones cuantificadas de modelos como Qwen, el M5 Ultra podría soportar un contexto más grande (64K+ tokens), logrando un mayor rendimiento en pruebas de referencia (como modelos grandes de MoE alcanzando más de 150 tok/s). Teniendo en cuenta que el costo del hardware es similar (aproximadamente $4000 en adelante) pero con mejoras en el rendimiento, se espera que el ROI se reduzca a 8-12 meses, lo que lo hace adecuado para escenarios de desarrollo de IA de alta intensidad, con un índice de recomendación general más alto.