Видео этого урока скоро появится
Конспект урока доступен ниже
Токены и контекст: почему ИИ забывает начало разговора
Узнаешь, как модель режет текст на токены и что такое контекстное окно. Научишься прикидывать, сколько текста помещается в один диалог, и поймёшь, когда пора открывать новый чат. Проверишь на практике: отправишь модели длинный документ и посмотришь, что она удержит в памяти.
Конспект урока
- 1
Токен, а не слово
Модель работает не буквами и не словами, а кусочками по несколько символов. Для русского текста грубая прикидка такая: одно слово это примерно два токена, то есть кириллица «съедает» окно быстрее английского.
- 2
Контекстное окно
Окно это общий лимит на всё сразу: системную инструкцию, приложенные файлы, всю переписку и сам ответ. У разных моделей размер окна разный, точную цифру смотри в описании модели в интерфейсе, она регулярно меняется.
- 3
Что происходит при переполнении
Когда переписка не влезает, самое старое либо обрезается, либо ужимается в краткую выжимку. Именно поэтому в длинном чате ассистент внезапно теряет твои ранние требования и начинает выдумывать детали.
- 4
Память и файлы это не одно и то же
Память ассистента хранит короткие факты о тебе между чатами, а загруженный файл живёт внутри конкретного диалога или проекта. Не рассчитывай, что модель «помнит» документ из вчерашнего чата, приложи его заново.
- 5
Когда открывать новый чат
Новый чат нужен при смене темы, после десятка витков правок и когда ответы поплыли по качеству. Перед выходом попроси собрать итог в 10 пунктах и перенеси эту выжимку в свежий диалог.
- 6
Как экономить окно
Вместо всей книги загружай нужные главы, вместо трёх похожих файлов один сводный, вместо длинных цитат короткий пересказ. Чем меньше шума в окне, тем точнее модель держит твои инструкции.
Практика
Загрузи в чат документ на 20 и более страниц и попроси дословно процитировать первое и последнее предложение, а затем назвать три главных вывода. Сравни цитаты с оригиналом: расхождение покажет, где именно у модели просел контекст.
Сделал? Отметь урок пройденным и переходи дальше