Ваш конспект

Введение в Deep Learning

Ключевые тезисы:

• Курс "Deep Learning на пальцах" — это ознакомительный курс по глубокому обучению.
• Цель: понять основы, основные направления и научиться применять знания на практике.
• После курса вы сможете читать современные статьи и решать прикладные задачи.

Пререквизиты для курса

Для успешного прохождения курса необходимо знать:

• Немного Python — весь курс и задания будут на Python 3.
• Немного линейной алгебры — понимание операций с матрицами.
• Немного математического анализа — понимание функций многих переменных и градиентов (уровень ~2 курса университета).

Если есть пробелы в знаниях, рекомендуется обратиться к ресурсам по ссылке от MLCE (открытый курс по машинному обучению с материалами на русском и английском).

О лекторе и команде

• Лектор: Семён Козлов (учился в НГУ, работает в стартапе в Кремниевой долине, ранее — в Dropbox, Microsoft).
• Помощь: Команда из НГУ и CS-центра (ведут семинары, помогают в чатах).
• Сообщество: Поддержка от сообществ ODS и Close Circles (рекомендуется присоединиться для общения и вопросов).

Что такое искусственный интеллект (AI)?

Искусственный интеллект — область компьютерных наук, занимающаяся моделированием интеллектуального поведения в компьютерах.

Эффект AI: Как только задача, считавшаяся требующей интеллекта, решается, она перестаёт считаться AI и становится просто программным обеспечением.

Примеры:

• Шахматы: Когда-то — сложная AI-задача, теперь — обычная программа.
• OCR (распознавание текста): Снова стала актуальной AI-задачей с появлением камер в телефонах.

Задача-пример: кошечки vs. собачки

Проблема: Создать алгоритм, который по фотографии определяет, изображена на ней кошка или собака.

• Сложность: Большое разнообразие поз, освещения, ракурсов.
• Значимость: Умение надёжно решать эту задачу означает возможность решать множество практических задач (например, поиск дефектов на производстве).

Решение: Современные подходы основаны на машинном обучении и больших наборах данных (например, ImageNet).

Триумфы Deep Learning

1. Компьютерное зрение: Системы на основе нейросетей превзошли человека в задачах распознавания изображений (например, на датасете ImageNet).
2. Распознавание речи: Нейросети используются в Siri, Alexa, Google и работают лучше человека.
3. Обработка естественного языка (NLP): Резкий скачок в качестве машинного перевода (например, Google Translate).
4. Обучение с подкреплением (Reinforcement Learning): Победы в сложных играх (Go, шахматы, Dota 2, StarCraft).

Machine Learning vs. Deep Learning

Machine Learning (ML) — область, дающая компьютерам возможность обучаться без явного программирования.

Типичный процесс ML (обучение с учителем):

1. Есть набор данных (например, картинки) и метки (кошка/собака).
2. Алгоритм обрабатывает данные и создаёт модель.
3. Модель предсказывает результат на новых, невиданных данных.

Deep Learning (DL) — подвид ML, который отличается подходом:

• Классический ML: Требует feature engineering — ручного выделения признаков из данных (например, "симметричность" и "жирность" цифры).
• Deep Learning: Нейросеть сама учится извлекать нужные признаки из "сырых" данных (например, из пикселей картинки). Это устраняет необходимость в ручном feature engineering.

Аналогия: Машине проще научить машину, чем человеку придумывать идеальные признаки для другой машины.

Организация курса

• Формат: Лекции (~1.5 часа) с рисованием на доске, ответами на вопросы.
• Домашние задания: 6 заданий на Python.
  • Сначала — реализация нейросети "вручную".
  • Потом — использование фреймворков (в основном PyTorch) и GPU.
• Курсовой проект: Рекомендуется участие в соревновании на Kaggle.
• Доклад: Нужно будет выбрать и разобрать современную научную статью.

Полезные ресурсы

• Курсы на английском:
  • CS231n (Стэнфорд) — лучший курс по компьютерному зрению (особенно лекции Андрея Карпати, 2016).
  • Fast.ai — практико-ориентированный курс для быстрого старта.
• Книги:
  • "Deep Learning" (Ian Goodfellow, Yoshua Bengio, Aaron Courville) — фундаментальная, но сложная.
  • "Глубокое обучение. Погружение в мир нейронных сетей" (С. Николенко, А. Кадурин, Е. Архангельская) — рекомендуемая книга на русском.
• Сообщества:
  • ODS.ai — крупнейшее русскоязычное сообщество по Data Science.
  • Close Circles — сообщество для обсуждения ML/DL.

Выводы

• Deep Learning — мощный инструмент, революционизировавший многие области (зрение, речь, язык, игры).
• Ключевое преимущество — способность автоматически извлекать признаки из данных, избавляя от ручного труда.
• Курс даст основы для понимания, применения и дальнейшего самостоятельного изучения этой быстроразвивающейся области.