Сколтех и Яндекс опубликовали методологию токенизатора для русского языка
7 мая Сколтех и Yandex Research опубликовали препринт с методологией токенизатора, оптимизированного под русскоязычные корпуса. Заявленное снижение средней длины последовательности — 14–18% по сравнению с tiktoken cl100k. При больших объёмах запросов это напрямую конвертируется в деньги.