AIエージェントNEWS
中古V100 3枚で毎秒100トークン、ホームラボがQwen 3.6で実現|アリエク発AIエージェントNEWS
【確度】
🇺🇸 🔵報道
【中古V100 3枚で毎秒100トークン、ホームラボがQwen 3.6で実現】
・ホームラボビルダーがNvidia V100 3枚を使用し、Qwen 3.6 35Bで毎秒約100トークンを達成
・総構築費は$1,042。同プラットフォーム上でQwen 3.6 27Bは毎秒約24トークン
・V100はP100と比較して同じジョブで約半分のエネルギー消費を実現
・$1,000規模のGPUボックスが最新ハードウェア/推論APIと競争可能という結論
ローカルLLM推論環境の構築において、中古高性能GPUの活用で低コスト・実用的な性能を達成できることを示唆。ホームラボビルダーやローカルAIユーザーへの実装参考例になる。
📰 参考:Tom's Hardware
🔗元記事: https://www.tomshardware.com/tech-industry/artificial-intelligence/three-e-waste-nvidia-v100s-hit-100-tokens-per-second-on-qwen-3-6-35b-in-a-usd1-042-homelab-rig-decommissioned-gpus-outpace-a-usd5-399-m5-max-mac-studio-at-long-contexts

Three
A homelab builder runs Qwen 3.6 35B on three used Nvidia Tesla V100 GPUs at about 100 tokens per second, in a $1,042 build.
tomshardware.com

AliExpress公式 — 1億点以上の商品が格安で!
記事で紹介した商品はアリエクで見つかるかも。送料無料&クーポンで驚きの安さをお試しください!
aliexpress.com