Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Yannick Nick
M.S. CS Estudante de ML @GeorgiaTech | @SegaKatanaCom
Kimi-K2.5 via KTransformers+SGLang em uma configuração híbrida de descarregamento de memória GPU/CPU: 4x RTX Pro 6000 Blackwells + 640GB RAM
A linha de base original foi em 8x GPUs usando uma carga de trabalho de estilo agente de codificação sintética visando 2k-45k tokens de entrada, 80-3k tokens de saída máximos, e com até 10 solicitações simultâneas. Reexecutado na nova configuração híbrida
O melhor que consegui:
- 23.03 tokens de saída/s @ 10 solicitações simultâneas
- TTFT médio: ~60s
- TTFT mediano: ~64s
Resultados da linha de base:
- 74.39 tokens de saída/s @ 10 solicitações simultâneas
- TTFT médio: ~9s
- TTFT mediano: ~3.7s
48
Top
Classificação
Favoritos