Большинство корпоративных проектов с ИИ застревают не на этапе обучения модели, а раньше — когда нет ответа на вопрос, какую задачу решаем первой. Практический маршрут: от выбора use case до расчёта стоимости инференса и измерения отдачи.
Meta выпустила Llama 4 в двух MoE-конфигурациях: 109B и 400B суммарных параметров при 17B активных на токен. DeepSeek-V3 держит 671B суммарных с 37B активными. Разница в архитектурных компромиссах уже задаёт, сколько GPU нужно команде и какие задачи вообще имеет смысл тащить на self-hosted-стек.
При цене H100 от $4 в час разница в 30–50% throughput между инференс-движками превращается из технической детали в прямую строку бюджета. Сравнение vLLM, TGI и SGLang на Llama 3.1 70B и Mistral Codestral 22B — с FP8 и без.