オープンソースのLLMインフラに大手産業プレーヤーが全面的に取り組んでいるのを見るのはかなり驚きです。彼らはvllm最適化によって駆動される独自のセルフホステッドプラットフォームを構築しました—ベンダーロックインなし、フルスタックコントロール、そしてスケールでコストを圧倒的に削減しているようです。全体のセットアップも持続可能に動作します。クラウドプロバイダーの請求書がマージンを食いつぶすのに疲れた人にとっては、興味深いブループリントです。