Ваш конспект

Как работает искусственный интеллект: от нейрона до AGI

Ключевые тезисы:

• ИИ — это не просто инструмент, а мыслящий агент, новая глобальная инфраструктура.
• Прогресс ИИ определяет масштабирование данных, вычислений и моделей.
• Современные нейросети — это сжатый опыт, а не явные инструкции.
• Главный вызов — переход от узкого ИИ к искусственному интеллекту общего назначения (AGI).

ИИ как новая инфраструктура

• Капитальные затраты в ИИ к 2026 году оцениваются в ~$1 трлн (больше, чем у всей нефтегазовой отрасли).
• Им пользуются миллиарды людей. Те, кто не научится с ним работать, останутся позади.

Краткая история ИИ

• 1943: Математическая модель нейрона (Маккаллок и Питтс) — прообраз нейросетей.
• 1950: Алан Тьюринг задаёт вопрос «Может ли машина мыслить?» и предлагает тест.
• 1956: Термин «искусственный интеллект» впервые звучит на Дартмутской конференции.
• Два подхода:
  1. Символический ИИ: человек пишет правила (использовался в играх, экспертных системах).
  2. Машинное обучение: модель обучается на данных (доминирует сегодня).
• «Зимы ИИ»: периоды разочарования и заморозки прогресса.
• 2012: Переломный момент. Нейросеть AlexNet побеждает в конкурсе ImageNet, доказав эффективность масштабирования.
• 2017: Появление архитектуры Трансформер — прорыв для больших языковых моделей (LLM).
• 2019: «Горький урок» Ричарда Саттона — побеждают общие методы, эффективно использующие рост вычислений.

Как устроены и обучаются нейросети

Символический ИИ vs. Машинное обучение:

• Символический: если → то. Предсказуем, но негибок для реального мира.
• Машинное обучение: модель ищет закономерности в данных на примерах.

Устройство нейросети:

• Состоит из нейронов (маленькие «калькуляторы»), объединённых в слои (входные, скрытые, выходные).
• Нейрон анализирует признаки, умножая их на веса (коэффициенты важности) и добавляя смещение (bias).
• Параметры модели — это все веса и смещения, хранящиеся в матрицах и тензорах.

Работа с данными:

• Изображения: пиксели преобразуются в числовые значения.
• Текст: режется на токены (слова, части слов, символы), которые превращаются в числовые векторы (эмбеддинги).
• Контекстное окно: объём токенов, который модель «держит в голове». Сегодня достигает более 1 млн токенов (Gemini).

Механизм генерации ответа (Inference):

1. Механизм внимания (многоголовый) определяет, на какие токены в контексте «смотреть».
2. Многослойный перцептрон (MLP) усиливает сильные связи и ослабляет слабые.
3. Функции остаточных связей и нормализации стабилизируют «размышления» модели.
4. На выходном слое модель оценивает вероятности продолжений (логиты).
5. Температура и ограничители (Top-K, Top-P) влияют на «креативность» и выбор ответа.

Как обучают нейросети

1. Подготовка данных:
   • Нужен качественный датасет (например, для LLM — гигантские массивы текста).
   • Данные очищают, токенизируют и делят на три части: тренировочные, валидационные, тестовые.
2. Процесс обучения:
   • Модель пытается предсказать следующий токен, вычисляет ошибку (функция потерь / loss).
   • Происходит обратный проход (backprop): с помощью градиентного спуска корректируются все веса модели.
   • Цикл повторяется миллиарды раз. Цель — минимизировать функцию потерь.
   • Один проход по всему датасету — эпоха.
3. Этапы обучения LLM:
   • Предобучение: модель учится предсказывать следующий токен на огромных текстах без разметки. Набирает базовые знания.
   • Постобучение:
     • Инструктивное дообучение: модель учат отвечать по задаче, а не просто продолжать текст.
     • Обучение с подкреплением на основе обратной связи от человека (RLHF): люди оценивают ответы, модель настраивается на «адекватность».
   • Тонкая настройка (fine-tuning): дообучение под конкретную область (медицина, право и т.д.).

Почему нейросети «галлюцинируют» и ошибаются

• Модель не знает, а угадывает правдоподобное продолжение.
• Традиционное обучение поощряло угадывание (выгоднее, чем сказать «не знаю»).
• Некоторые факты редкие и случайные, их нельзя надёжно вывести из статистики языка.
• Новые модели (GPT-5) галлюцинируют меньше (6-7%) благодаря:
  • Установке на признание неопределённости.
  • Усиленному постобучению и самопроверке.
  • Контролю качества датасетов.
  • Интеграции с поиском в реальном времени.

Инфраструктура: железо и стоимость

«Железо» для ИИ:

• Дата-центры с мощным питанием, охлаждением и сетью.
• GPU (графические процессоры) — основа для параллельных вычислений матриц и тензоров.
• TPU / LPU — специализированные чипы для ИИ (например, от Groq).
• Проблемы: дефицит памяти GPU, пропускная способность сети и между ускорителями.

Стоимость:

• Обучение: GPT-4 — ~$100 млн, GPT-5 — ~$2 млрд (без учёта многих сопутствующих затрат).
• Использование (Inference):
  • Основная нагрузка дата-центров.
  • Стоимость токена резко упала: с $20 за 1 млн токенов (2022, GPT-3.5) до ~$0.04 сегодня.
  • Цена запроса часто определяется длиной входного контекста, а не ответа.
• Оптимизация инференса: батчинг, квантование весов, дистилляция моделей, кэширование.

Открытые vs. закрытые модели

• Закрытые (ChatGPT, Gemini, Grok): доступ через API/приложение, веса не доступны. Контроль и приватность у создателя.
• Открытые (DeepSeek, Llama): можно скачать и запустить локально (например, через LM Studio или Ollama). Дают больше контроля и позволяют строить продукты поверх.

Драйверы прогресса: масштабирование

1. Данные: для LLM объём данных удваивался каждые 4 месяца.
2. Железо: производительность GPU выросла в 7000 раз с 2003 года.
3. Размер моделей: от 175 млрд параметров (GPT-3) до 2-5 трлн (оценка для GPT-5).
4. Контекстное окно: рост до ~1 млн токенов (GPT-5, Gemini 3.5 Pro, Claude 3.5).

Будущее: гонка к AGI

• AGI (Искусственный интеллект общего назначения) — ИИ, превосходящий человека во всех когнитивных задачах.
• Текущий прогресс за счёт масштабирования вряд ли приведёт к AGI.
• Следующий шаг — модели мира: агенты, которые учатся на собственном опыте, строят внутреннюю модель реальности, умеют планировать и обобщать (пример: Genie от Google).
• Гонка за AGI сравнивается с ядерной гонкой XX века — даст тотальное преимущество в науке, экономике и войне.

Выводы:

• ИИ — это новая инфраструктура, основанная на математике и масштабировании.
• Понимание его работы — необходимость, чтобы оказаться «за рулём», а не «под колёсами».
• В ближайшие годы ИИ, вероятно, достигнет человеческого уровня, а затем превзойдёт его.