Контекстное окно

Контекстное окно — максимальный объём текста, который нейросеть может обработать за один запрос. Измеряется в токенах: примерно один токен на два-три символа русского текста.

Ограничение касается всего сразу — вопроса пользователя, найденных в вебе материалов и самого ответа. Когда система работает с внешними источниками, размер окна определяет, сколько документов поместится в обработку одновременно.

Современные модели поддерживают от 128 тысяч до миллиона токенов и больше, что эквивалентно нескольким книгам.