Teste inițiale pentru Kimi-K2.5 prin KTransformers+SGLang, pe un Blackwell hibrid 4x RTX Pro 6000 + 640GB/1,5TB memorie CPU offload. Calcul oferit de capsulele Lium: - 19,97 tok/s de ieșire @ 10 cereri concurente - TTFT medie: ~120s - TTFT median: ~102s Trebuie să te joci cu steagurile KT pentru a optimiza și mai mult această configurație, care depinde foarte mult de numărul total de nuclee CPU ale sistemului și de memoria RAM disponibilă. Interconectivitatea GPU <-> PCIe <-> RAM este cel mai evident blocaj Experți pe strat MoE pe GPU: --kt-num-gpu-experți=128 Nuclee CPU dedicate inferenței MoE: --kt-cpuinfer=104 Experții în CPU lucrează suprapunând lucrările GPU: --kt-max-deferred-experts-per-token=2 Jetoane maxime pe bucată preumplută: --chunked-prefill-size=32658 Capturarea graficului CUDA dezactivată: --disable-cuda-graph