Конспект

Оболочки ИИ-агентов и их самоулучшение

Ключевые тезисы

• Оболочка (harness) — это всё, что окружает «голую» языковую модель, превращая её в функционального агента.
• Качество работы агента определяется не только мощностью модели, но и качеством оболочки.
• Оболочка состоит из программы (статичная логика) и динамических контекстов (гибкие настройки).
• Методология Google AI позволяет оболочке самостоятельно улучшать свои динамические контексты под конкретную задачу, что может привести к превосходству слабых моделей над сильными.
• Ключевая идея — подготовка идеального контекста для исполнительной модели более дешёвым «методистом».

Что такое «голая» нейросеть?

Нейросеть (модель) — это базовый «сотрудник», который:

1. Не имеет памяти между запросами.
2. Не выполняет действий (только генерирует текст-инструкции).
3. Не ведёт длительную работу (вопрос → ответ → завершение).

Сервисы вроде ChatGPT — это уже не «голые» модели, а модели с надстроенной оболочкой.

Анатомия оболочки (Harness)

Формула агента уточняется: Агент = Модель + Программа + Настройки (Контексты).

• Модель — думает.
• Программа — действует и управляет процессом.
• Настройки (Контексты) — задают правила и предоставляют информацию.

Что делает программа (статичный слой)?

1. Управляет циклами взаимодействия: отправляет запрос модели → выполняет её инструменты (function calling) → возвращает результат модели.
2. Собирает контекст для каждого шага, так как у модели нет памяти.
3. Выполняет действия и обеспечивает безопасность (запуск кода, работа с файлами, запрос подтверждения у пользователя).
4. Сжимает контекст при переполнении, используя для этого нейросеть.
5. Вызывает суб-агентов для параллельного выполнения подзадач.

Что входит в динамические контексты (гибкий слой)?

Это настраиваемые компоненты, которые можно менять под задачу:

1. Системный промт — должностная инструкция.
2. Ограничения (Guardrails) — правила безопасности.
3. Память — долговременные факты по теме.
4. Инструкции к инструментам — как правильно пользоваться.
5. Навыки (Skills) — регламенты для конкретных ситуаций (например, «как сверять бюджет»).
6. Скрипты — небольшие программы для точных, однообразных операций.
7. Суб-агенты — помощники для независимых подзадач.
8. Плагины — механизмы, встраивающиеся в цикл работы и меняющие поведение оболочки изнутри.

Исследование Google: Оболочка, которая улучшает сама себя

Цель: позволить агенту динамически подстраивать свои контексты (8 пунктов выше) под конкретную задачу для повышения эффективности.

Как это работает? В оболочку добавляется «методический отдел»:

• Распорядок — жёсткий порядок шагов улучшения.
• «Методист» — ещё одна модель (например, Opus 4.8 в исследовании), которая анализирует работу основного агента.

Методист работает в двух режимах:

1. Технарь: ищет технические ошибки (невызванные инструменты, некорректные результаты).
2. Профессионал: оценивает процесс с точки эксперта в предметной области (бухгалтерия, юриспруденция и т.д.).

Процесс улучшения:

1. Задача выполняется с базовыми настройками, фиксируется результат.
2. Методист анализирует лог, предлагает правки в динамические контексты (добавляет правила, скрипты, навыки).
3. Задача прогоняется с новыми настройками.
4. Методист сравнивает результаты и решает, оставлять ли правки.

Пример из исследования:

• Задача: собрать документы для продюсерской работы из нескольких файлов.
• Базовый результат: 43/100 баллов.
• Проблемы: оболочка не сверяла цифры между файлами и не перепроверяла результаты.
• Правки методиста:
  • Как технарь: добавил правило «перед работой опиши все файлы», скрипт проверки пустых ячеек.
  • Как профессионал: создал навык по сверке расписаний, площадок и бюджетов.
• Итоговый результат: 78/100 баллов.

Harness²: Управление знаниями для разных задач

Чтобы система работала с разнородными задачами, вводится второй уровень — «квадрат».

• После каждой задачи методист анализирует, какая правка и при каких условиях помогла.
• Эти знания сохраняются в отдельное хранилище, привязанное к типу кейса.
• Когда приходит новая задача, методист сначала подбирает из хранилища релевантные контексты и настройки.
• Только подготовленный, идеальный контекст передаётся основной модели-исполнителю. Это снижает «шум» и вероятность ошибок.

Результаты тестов:

• Один проход методиста давал прирост от 1 до 12 пунктов.
• Слабая модель (GLM) с улучшенной оболочкой (75.7 баллов) обгоняла сильную модель (Gemini) с заводской оболочкой (72.4 балла).
• Слабая оболочка (OpenCode) с подготовленными контекстами обгоняла более сильные оболочки (Claude Code, Codedex).

Практические выводы и уроки

1. Автоматизируйте рутину: Однообразные вычисления и проверки выносите в скрипты.
2. Структурируйте знания: Повторяющиеся процессы оформляйте в навыки (skills).
3. Учитесь на ошибках: Анализ неудачных сессий и способы их исправления нужно сохранять в отдельные контекстные файлы или внешние хранилища.
4. Контекст важнее мощности: Качество результата всё сильнее зависит от того, какой контекст и когда получает модель, а не только от её内在ней силы.
5. Экономическая эффективность: Подготовка контекста более дешёвой моделью-методистом позволяет слабым и дешёвым исполнительным моделям в простых оболочках конкурировать с мощными дорогими решениями.

Вывод: В современной разработке ИИ-агентов фокус смещается с простого выбора мощной модели к архитектуре оболочки и интеллектуальному управлению контекстом.