Контекстное окно в языковых моделях: что это такое и почему его размер имеет значение
Контекстное окно — максимальный объём текста в токенах, который языковая модель обрабатывает за один вызов; всё за его пределами модель не видит. Размер окна определяет, сколько документа, кода или диалога умещается в один запрос.