Урок 3 · 5 минут
Контекст: почему модель забывает
Модель видит только то, что помещается в окно контекста — ограниченный объём текста текущего разговора. Она не помнит прошлые беседы, а внутри длинного диалога начинает терять середину. Понимание этой границы снимает половину претензий к ИИ.
Окно контекста простыми словами
Представьте стол, на который помещается ограниченное число листов. Ваш вопрос, приложенные документы, предыдущие сообщения и сам ответ — всё лежит на этом столе. Когда листы перестают помещаться, самые ранние убираются, и модель перестаёт их видеть.
Отсюда два наблюдения, которые сбивают с толку новичков: в новом чате модель не помнит ничего из прошлого разговора, а в очень длинном чате начинает противоречить сказанному в начале.
Что с этим делать
- Начинать новый разговор под каждую новую задачу — мусор из прошлой темы ухудшает ответы.
- Важные условия повторять ближе к концу запроса: конец контекста удерживается лучше середины.
- Длинные документы передавать частями с явным указанием, что это часть 1 из 3.
- Ключевые договорённости фиксировать в отдельном файле-памятке и вставлять его в начало нового разговора.
Память сервиса — не то же самое
Некоторые сервисы добавляют «память»: сохраняют факты о вас между разговорами. Это надстройка над моделью, а не свойство модели: сервис просто подкладывает сохранённые заметки в новый контекст. Отсюда и ограничения — память хранит немного, иногда запоминает лишнее, и её стоит периодически чистить.
Коротко
- Модель видит только текущее окно контекста, а не всю переписку с вами.
- Середина длинного диалога удерживается хуже начала и конца.
- Новая задача — новый разговор.
Вопросы по уроку
Сколько текста помещается в контекст?
Зависит от модели: у современных это десятки и сотни тысяч токенов, то есть от нескольких десятков до нескольких сотен страниц. Но помещается не значит удерживается одинаково хорошо: чем длиннее контекст, тем выше риск, что деталь из середины будет упущена.
Почему длинный чат начинает тупить?
Начало разговора вытесняется, а модель продолжает опираться на оставшееся. Помогает не уговаривать её, а собрать итоги в короткое резюме и начать новый разговор с ним.