Araştırma ekibini DeepSeek V3/R1 çıkarımını ilerlettikleri için tebrik ederiz.
NVIDIA GB200 NVL72 üzerinde, her GPU başına 26k giriş token/s ve 13k çıkış token/s hızına ulaşıyorlar — H100'e kıyasla neredeyse 4× / 5× hız artışı.
Bunu NVFP4 MoE, FP8 dikkat, uzman paralelliğini ölçeklendirerek başardılar.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
13 Likes
Reward
13
7
Repost
Share
Comment
0/400
MEVSupportGroup
· 12h ago
4 kat artırma çok güçlü değil mi?
View OriginalReply0
shadowy_supercoder
· 13h ago
Bu kadar yoğun mu?
View OriginalReply0
DefiOldTrickster
· 13h ago
Baba büyük dalgalarla tanışık, GPU da bir saniyede Aya doğru kalkabilir.
Araştırma ekibini DeepSeek V3/R1 çıkarımını ilerlettikleri için tebrik ederiz.
NVIDIA GB200 NVL72 üzerinde, her GPU başına 26k giriş token/s ve 13k çıkış token/s hızına ulaşıyorlar — H100'e kıyasla neredeyse 4× / 5× hız artışı.
Bunu NVFP4 MoE, FP8 dikkat, uzman paralelliğini ölçeklendirerek başardılar.