Токен — минимальная единица текста, которую языковая модель обрабатывает за один шаг: не символ и не слово, а фрагмент, получаемый алгоритмом токенизации. От числа токенов зависит цена запроса к API, размер контекстного окна и скорость генерации.
Большинство корпоративных проектов с ИИ застревают не на этапе обучения модели, а раньше — когда нет ответа на вопрос, какую задачу решаем первой. Практический маршрут: от выбора use case до расчёта стоимости инференса и измерения отдачи.
Mistral AI представила Mistral Large 3 — флагман с гибридной архитектурой и контекстом до 256K токенов, первый крупный релиз после раунда Series C на $1,2 млрд. Модель ориентирована на корпоративный сегмент: data-residency в ЕС и on-prem-развёртывание на инфраструктуре заказчика.
Anthropic выпустила Claude Opus 4.7 с расширенным до 500K токенов контекстным окном и поддержкой вызова инструментов внутри цепочки рассуждения — без повышения цены API. На SWE-bench Verified модель набрала 78,4% против 74,9% у предыдущей версии. Релиз ориентирован на команды, уже использующие Claude в продакшене.
23 мая Яндекс открыл бета-доступ к Yandex GPT 5 Pro. Заявлен прирост на 22% по внутреннему бенчмарку русскоязычного рассуждения. Токенизатор переработан — средний токен стал длиннее на 18%, что снижает стоимость обработки. API теперь принимает спецификации функций в формате, совместимом с OpenAI Function Calling.
22 мая OpenAI снизила медианную задержку голосового ввода GPT-5o до 320 миллисекунд и ввела промежуточный тир GPT-5o Mid за $1,5 за миллион input-токенов. Ключевое изменение — единый токенизатор для аудио, видео и текста, убравший отдельные энкодеры прошлой версии.