SmolLM3: 3B-модель от HuggingFace обходит Mistral 7B на восьми из десяти задач MMLU-Pro
20 мая HuggingFace опубликовала SmolLM3 — 3-миллиардную open-weight-модель под Apache 2.0, которая на восьми из десяти задач MMLU-Pro опережает Mistral 7B и вплотную подходит к Llama 3.1 8B. Ключевые решения — дистилляция от Qwen2.5-72B и полностью пересобранный тренировочный корпус SmolLM-Mix-3.