Искусственный интеллект: харнесы, галлюцинации и вопросы безопасности
Ключевые тезисы
- Современные ИИ-модели становятся лучше не из-за фундаментальных прорывов в архитектуре, а благодаря улучшению харнесов (систем управления) и скилов (наборов инструкций для конкретных задач).
- Ядро работы больших языковых моделей (LLM) остаётся прежним: это предсказание следующего токена на основе вероятностей, что может приводить к бессмысленным выводам («галлюцинациям»).
- Существуют серьёзные опасения по поводу безопасности: агенты вроде Codex от OpenAI имеют потенциальный доступ ко всей файловой системе пользователя.
- Оценки компаний в сфере ИИ в триллионы долларов могут быть оправданы не технологической «разумностью» моделей, а их потенциальной ролью как инструментов сбора данных и слежки.
Основное содержание
Кто я и контекст обсуждения
Автор — разработчик игровой рекламы (плейблов) с образованием в программировании и нейронных сетях. Он отвечает на комментарии к своему прошлому видео, где скептически высказывался о рисках ИИ.
Критика популярных аргументов об ИИ
- Замена программистов: Утверждение, что два junior-разработчика с ИИ заменяют одного senior-разработчика, экономически несостоятельно (большие затраты на две зарплаты и налоги). ИИ часто генерирует «говнокод», а увеличение объёма кода не равно повышению его качества.
- Самообучение и скачки в развитии: Хотя модели стали лучше понимать запросы, идея о настоящем самообучении через модели вроде DALL-E преувеличена. В основе всё ещё лежат вероятностные предсказания на основе обучающей выборки.
Как на самом деле работают и улучшаются LLM
- LLM (Large Language Model) — это система, предсказывающая следующий токен (часть слова) на основе контекста. Её часто критикуют как «стохастического попугая».
- Улучшения достигаются не революцией в архитектуре, а через харнесы и скилы.
- Скилы — это наборы инструкций для конкретных задач (от Photoshop до фронтенда), которые «настраивают» модель, меняя веса и предпочтения для определённых токенов в нужном контексте.
- Токены и контекст: Каждый токен имеет вектор значений. Контекст (окружающие слова) меняет этот вектор, определяя смысл. Скилы помогают модели выбрать наиболее релевантные «смыслы» из обученных данных для решения задачи.
Демонстрация «галлюцинаций» и зависимости от контекста
Автор экспериментирует с ChatGPT, заставляя его:
- Заменять буквы в тексте на бессмысленные слова (например, «Albuquerque New Mexico»).
- Продолжать абсурдный рассказ, что приводит к полной шизофазии (бессвязному тексту).
- Анализировать этот бессмысленный текст. ИИ выдаёт развёрнутые, но абсолютно надуманные литературные интерпретации, подтверждая принцип «мусор на входе — мусор на выходе» (Garbage in, garbage out).
Пример
ИИ анализирует бессмыслицу: «За ночь речь смешалась с глиной...» — и даёт подробное толкование, будто речь — это вещество, а «сухой океан» — волшебный предмет. Это показывает, как модель создаёт правдоподобные связи между токенами, даже если исходный текст лишён смысла для человека.
Вопрос безопасности: доступ к данным
- Агенты вроде Codex (харнес от OpenAI) имеют потенциальный доступ ко всем файлам на компьютере пользователя. Отключить это, сохранив функциональность агента, невозможно.
- Данные с компьютера для обработки отправляются на серверы OpenAI или Anthropic.
- По мере внедрения ИИ в крупные компании, эти системы получают доступ к огромным массивам конфиденциальной информации.
- Высокие оценки компаний (например, $2 трлн для Anthropic) могут отражать не только технологическую ценность, но и потенциал этих систем как инструментов масштабного сбора данных, что поднимает вопросы слежки и приватности.
Заключительные мысли
Мир переживает множественные кризисы (топливный, связанный с ИИ, войны). Создаётся впечатление жизни в «предпосылках для чего-то большего». Автор призывает зрителей к дискуссии в комментариях.