Как работают языковые модели (ChatGPT, Claude и другие)
Ключевые тезисы
- Нейросеть не «думает» и не «знает» — она предсказывает следующее слово (токен) в последовательности.
- Её сила (полезность) и слабость (галлюцинации) проистекают из одного принципа — угадывания правдоподобного продолжения.
- Для эффективной работы с нейросетью нужно понимать её ограничения и правильно формулировать запросы.
Что такое нейросеть и языковая модель
Искусственный интеллект — общее название для программ, решающих сложные задачи.
Нейросеть — популярный способ создания таких программ. Это множество слоёв простых вычислений (нейронов), которые, работая вместе, могут обрабатывать текст, изображения и т.д.
Языковая модель (LLM) — нейросеть, работающая с текстом. ChatGPT, Claude, Gemini — всё это LLM.
Как её обучают?
- Базовое обучение: Модели показывают триллионы слов из интернета и заставляют угадывать следующее слово. Ошибки корректируют внутренние настройки (параметры). Их могут быть сотни миллиардов.
- Дообучение (fine-tuning): Люди сравнивают ответы модели и выбирают лучшие, а модель под них подстраивается. Так она становится полезным помощником.
- Важно: Обучение заканчивается в определённую дату. События после этой даты модель не знает, если у неё нет доступа к поиску в интернете.
Токены: язык нейросети
Токен — это не буква, а кусочек текста, который видит нейросеть. Это может быть целое слово, часть слова или знак препинания.
- У каждой модели есть «словарь» из ~200 000 токенов.
- Частые слова остаются целыми токенами, редкие разбиваются на части (например, «замок» → «зам» + «ок»).
- На практике: Лимиты в сервисах (ChatGPT и др.) считаются в токенах. Русский текст обычно занимает больше токенов, чем английский, поэтому «стоит дороже».
- Из-за токенизации нейросеть плохо считает буквы в словах.
Как модель генерирует ответ
- Ваш запрос разбивается на токены (числа).
- Модель предсказывает следующий токен, оценивая вероятности всех возможных продолжений на основе уже написанного текста.
- Выбранный токен добавляется к тексту, и процесс повторяется. Поэтому ответ печатается постепенно.
Температура
- Это настройка, влияющая на выбор слова.
- Низкая температура: модель всегда выбирает самое вероятное слово (ответы предсказуемы).
- Высокая температура: модель чаще выбирает менее очевидные варианты (ответы разнообразнее, «живее»). Поэтому на один вопрос можно получать немного разные ответы.
Контекстное окно: память модели
Контекстное окно — это ограничение на количество токенов (текста), которое модель может «увидеть» за один раз (например, 200К токенов ≈ толстая книга).
- У модели нет долговременной памяти. Каждое новое сообщение — она заново читает всю переписку, но только в пределах этого окна.
- Что не влезло — того не существует. В длинном чате она может забыть начало разговора.
- Совет: Если чат стал слишком длинным и модель путается, начните новый и кратко перескажите туда суть.
Галлюцинации: главная проблема
Галлюцинации — это случаи, когда нейросеть уверенно выдаёт выдуманную информацию (несуществующие книги, ложные факты, фальшивые цитаты).
- Причина: Модель учили писать правдоподобно, а не правдиво. Если информации мало, она не останавливается, а дописывает то, что выглядит уместно.
- Чаще всего выдумывает: ссылки, точные цифры и даты, факты о малоизвестных темах, свежие события.
- Почти не ошибается в: пересказе вашего текста, переводе, переформулировании, генерации идей и структуры.
Как пользоваться нейросетью эффективно
Основной принцип: Думайте о ней как о быстром и начитанном стажёре. Её сила — в черновиках, идеях, пересказе, переформулировках. Факты, цифры и итоговую ответственность оставляйте за собой.
Четыре практических приёма:
- Пишите точный запрос. Добавляйте роль, контекст и формат («Напиши пост для соцсетей в деловом стиле о запуске нового продукта X для аудитории Y»).
- Давайте материал. Не спрашивайте «что в законе?», а вставьте текст закона и спросите «объясни этот пункт» или «применимо ли это к ситуации Z?».
- Разрешите сказать «не знаю». Это снижает количество выдумок. Избегайте наводящих вопросов.
- Проверяйте. Просите источники и открывайте их. Задайте тот же вопрос в новом чате — если ответы разошлись, один из них выдуман.
Выводы
Нейросеть — мощный инструмент, который предсказывает текст, а не ищет истину. Она блестяще справляется с обработкой и генерацией текста по заданному контексту, но её всегда нужно направлять и перепроверять в вопросах фактов. Грамотное использование экономит часы работы.