Llama 4 и DeepSeek-V3: два варианта MoE для self-hosted-инфраструктуры
Meta выпустила Llama 4 в двух MoE-конфигурациях: 109B и 400B суммарных параметров при 17B активных на токен. DeepSeek-V3 держит 671B суммарных с 37B активными. Разница в архитектурных компромиссах уже задаёт, сколько GPU нужно команде и какие задачи вообще имеет смысл тащить на self-hosted-стек.