Поздравляем команду исследователей с продвижением вывода DeepSeek V3/R1.
На NVIDIA GB200 NVL72 они достигают 26 тыс. входных токенов/с и 13 тыс. выходных токенов/с на один GPU — это почти 4× / 5× ускорение по сравнению с H100.
Они достигли этого с помощью NVFP4 MoE, внимания FP8, сокращения параллелизма экспертов.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
13 Лайков
Награда
13
7
Репост
Поделиться
комментарий
0/400
MEVSupportGroup
· 16ч назад
Четырехкратное увеличение слишком круто, не правда ли?
Посмотреть ОригиналОтветить0
shadowy_supercoder
· 17ч назад
Это слишком жестко, не так ли?
Посмотреть ОригиналОтветить0
DefiOldTrickster
· 17ч назад
Старик привык к бурям, GPU тоже может за одну секунду На луну.
Поздравляем команду исследователей с продвижением вывода DeepSeek V3/R1.
На NVIDIA GB200 NVL72 они достигают 26 тыс. входных токенов/с и 13 тыс. выходных токенов/с на один GPU — это почти 4× / 5× ускорение по сравнению с H100.
Они достигли этого с помощью NVFP4 MoE, внимания FP8, сокращения параллелизма экспертов.