Минулого тижня ми випустили c3-llamacpp, контейнеризований llama.cpp з швидким завантажувачем hf. Цього тижня - c3-vllm. Це контейнеризує vLLM, фінального босса серверів LLM API.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
14 лайків
Нагородити
14
4
Поділіться
Прокоментувати
0/400
ForkTrooper
· 9год тому
Так багато моделей, з ними не впоратися.
Переглянути оригіналвідповісти на0
UncleWhale
· 08-03 01:51
Цей контейнер мені підходить, давай!
Переглянути оригіналвідповісти на0
TrustlessMaximalist
· 08-03 01:50
Добре, vllm на ланцюзі
Переглянути оригіналвідповісти на0
PumpAnalyst
· 08-03 01:44
Технічні сприйнятливі інформації також не можна сліпо гнатися за ціною, будьте обережні, щоб не стати «героєм, що відрубує собі руку».
Минулого тижня ми випустили c3-llamacpp, контейнеризований llama.cpp з швидким завантажувачем hf. Цього тижня - c3-vllm. Це контейнеризує vLLM, фінального босса серверів LLM API.