トレンドトピック
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Yannick Nick
M.S. CS ML学生@GeorgiaTech |@SegaKatanaCom
Kimi-K2.5をKTransformers+SGLang経由で、ハイブリッドGPUとCPUメモリオフロード構成で使用:RTX Pro 6000 Blackwell4台+640GB RAM
元のベースラインは8倍GPUで、合成コーディングエージェントスタイルのワークロードを用いて、2k〜45kの入力トークン、最大80〜3kの出力トークン、最大10の同時要求を対象としていました。新しいハイブリッドセットアップで再実行しました
私が得られた最良の情報:
- 23.03 トークン/秒 @ 10件の同時要求を出力
- 平均TTFT:~60秒台
- 中央値TTFT:~64秒
ベースライン結果:
- 74.39 トークン/秒 @ 10件の同時要求を出力
- 平均TTFT:~9秒
- 中央値TTFT:~3.7秒
45
トップ
ランキング
お気に入り