vLLM, TGI, SGLang: бенчмарки инференс-движков на H100 и A100
При цене H100 от $4 в час разница в 30–50% throughput между инференс-движками превращается из технической детали в прямую строку бюджета. Сравнение vLLM, TGI и SGLang на Llama 3.1 70B и Mistral Codestral 22B — с FP8 и без.