ContextWindow
Тег

#apache-2

Модели

SmolLM3: 3B-модель от HuggingFace обходит Mistral 7B на восьми из десяти задач MMLU-Pro

20 мая HuggingFace опубликовала SmolLM3 — 3-миллиардную open-weight-модель под Apache 2.0, которая на восьми из десяти задач MMLU-Pro опережает Mistral 7B и вплотную подходит к Llama 3.1 8B. Ключевые решения — дистилляция от Qwen2.5-72B и полностью пересобранный тренировочный корпус SmolLM-Mix-3.

20 мая 4 мин
Модели

Mistral открыла веса Codestral 2: 22B параметров, Apache 2.0, 256K контекст

19 мая Mistral опубликовала Codestral 2 — code-модель на 22 миллиарда параметров под Apache 2.0 с контекстным окном 256K токенов. На HumanEval модель набрала 89,4% pass@1 — вплотную к DeepSeek-Coder-V2 (89,7%) и выше Qwen-2.5-Coder-32B (87,1%). В квантизованном виде модель помещается в 12 ГБ VRAM.

19 мая 4 мин