Ваш конспект

Конференция Python that Pizza: Ключевые выступления

Ключевые тезисы:

• Эволюция инструментов обработки данных: от Excel до облачных платформ (Microsoft Fabric, Apache Spark).
• Практическое применение Python в машинном обучении и анализе данных для решения реальных бизнес-задач.
• Важность понимания кода, генерируемого ИИ, и сохранения экспертизы разработчика.
• Python как инструмент для автоматизации и решения личных задач (даже для организации свадьбы).
• Динамическая типизация в Python: её преимущества, недостатки и влияние на разработку.

Эволюция обработки данных: от Excel к облачным вычислениям

Проблемы Excel:

• Ограничения по количеству строк и вычислительным функциям.
• Не подходит для повторяющегося анализа больших объёмов данных.

Microsoft Fabric как решение:

• Microsoft Fabric — это облачная платформа для хранения и обработки данных «из коробки».
• Позволяет переместить Excel-файлы в облако и начать их обработку.
• Предоставляет инструменты как с кодом, так и без кода.

Инструменты в Fabric:

Data Wrangler:

• Визуальный инструмент для преобразования данных через клики (аналог Excel на стероидах).
• Автоматически генерирует код на Python для созданных пайплайнов.
• Позволяет планировать выполнение кода (schedule).
• Отлично подходит для вдохновения и обучения, но не для продвинутых пользователей.

Pandas и его ограничения:

• Простая и доступная библиотека, популярная благодаря схожести с SQL.
• Ограничение: работает в однопоточном режиме (single-node). При больших данных обработка может занимать часы.
• Пример: финансовый отдел Microsoft имел пайплайн на Pandas, который выполнялся 6 часов.

Apache Spark для больших данных:

• Предназначен для параллельных вычислений (распределённая архитектура с master- и worker-нодами).
• В контексте Fabric можно настроить кластер с автоскейлингом.
• Переход с Pandas на PySpark в одном из кейсов сократил время выполнения с 6 до 3 часов.
• Использование Copilot, ChatGPT помогает в написании кода на PySpark.

Вывод: Начинайте с Excel, переходите к Data Wrangler для изучения, используйте Pandas для простых задач, но для больших данных и продакшена выбирайте Apache Spark.

Динамическая типизация и утиная типизация в Python

Основные концепции:

• Динамическая типизация — тип объекта проверяется во время выполнения, а переменная может ссылаться на любой объект без явного объявления типа.
• Утиная типизация (Duck Typing) — если объект имеет нужный метод (например, .quack()), он считается подходящим, независимо от его фактического класса.

Преимущества динамической типизации:

• Гибкость функций для работы с разными типами.
• Быстрое начало проекта (не нужно управлять типами).

Недостатки и риски:

• Ошибки типов возникают только во время выполнения, что делает тестирование критически важным.
• Небольшие накладные расходы на проверку типов во время выполнения.
• Увеличение умственной нагрузки в больших кодовых базах (нужно помнить или выводить ожидаемые типы).
• Сложности с рефакторингом (изменение типа может иметь каскадный эффект).

Пример утиной типизации:

class Duck:
    def quack(self):
        print("Quack!")

class Person:
    def quack(self):
        print("Imitating quack!")

def make_it_quack(obj):
    obj.quack()  # Не важно, утка это или человек, главное — есть метод .quack()

Реальный кейс: Прогнозирование продаж с помощью ML

Задача: Прогнозирование продаж для управления запасами и сокращения потерь.

Экосистема и пайплайн:

1. Получение данных: Продажи, праздники, погодные данные (облачность, скорость ветра, температура).
2. Инженерия признаков:
   • Кэширование запросов к праздникам с помощью декоратора lru_cache.
   • Сдвиг данных по дням для предотвращения «утечки» будущего в модель.
   • Скользящее среднее за 7 дней.
   • Скользящее стандартное отклонение (волатильность).
3. Модель: Использовался ExtraTreesRegressor (ансамбль из сотен деревьев), способный улавливать нелинейные зависимости.
4. Метрики:
   • MAE (Mean Absolute Error): Среднее абсолютное расстояние (ошибка) между прогнозом и реальностью.
   • R² (R-squared): Показывает, какую долю дисперсии данных объясняет модель. Значение 1 — идеально, 0 или ниже — лучше использовать простое среднее.

Выводы и уроки:

• Прогресс важнее перфекционизма. Не стремитесь к идеальной реализации с первого раза.
• Ошибки случаются даже у опытных разработчиков и тимлидов. Важно их находить и исправлять.
• Фокус на решении проблемы часто важнее, чем идеальность самого решения.

Создание надёжных API для ИИ-агентов (MCP)

Паттерн Factory для MCP-серверов:

• Определение функции, которая создаёт целевое приложение.
• Позволяет избежать дублирования кода (например, регистрации инструментов).
• Гарантирует, что сервер быстро упадёт при запуске, а не во время обработки реального трафика.

Ключевые практики:

• Безопасность: Не передавайте чувствительные данные (секреты, PII) модели. Используйте маскировку ошибок в инструментах.
• Аутентификация: Используйте middleware или прокси для интеграции с существующими провайдерами идентификации.
• Управление состоянием: Избегайте хранения состояния (stateless) для работы в распределённых средах (несколько воркеров/контейнеров).
• Валидация данных: Валидируйте данные на стороне сервера, чтобы видеть ошибки в логах, а не получать непонятные ответы от модели.
• Дизайн инструментов (Tools): Проектируйте «сверху вниз», от workflow. Не создавайте инструмент для каждой операции. Делайте инструменты композируемыми. Описывайте их чётко, с примерами использования.

Интеграция и тестирование:

• Используйте фиктивные сервисы (fakes) для зависимостей.
• Создавайте e2e-тесты (evals) для проверки корректности и консистентности работы инструментов.

Python в исследованиях рака: анализ киназ и ингибиторов

Контекст: Исследование киназ — ферментов, которые фосфорилируют белки, регулируя их активность. Мутации в киназах могут приводить к раку.

Роль Python:

• Обработка данных масс-спектрометрии (протеомика, фосфопротеомика).
• Сравнение раковых и нормальных клеток для выявления сверхэкспрессии киназ.
• Автоматизация анализа: задача, которая вручную заняла бы 2 недели, с помощью Python-скрипта была выполнена за 2 минуты.
• Машинное обучение (PyTorch) для предсказания взаимодействия потенциальных лекарств с киназами (например, CDK2) по их SMILES-структурам.

Цель: Найти ингибиторы для всех 500+ человеческих киназ, чтобы тестировать новые лекарства более эффективно.

Сложности работы с документами DOCX и их решение

Проблема: Формат DOCX (Open XML) крайне сложен. Это архив из сотен XML-файлов. Прямое редактирование почти невозможно без потери стилей и структуры.

Неудачные подходы:

• Конвертация DOCX в HTML — приводит к потере большей части форматирования и функциональности.
• Использование библиотеки python-docx — имеет ограниченную поддержку (последний релиз — 2016 год), не работает с колонтитулами, гиперссылками, отслеживанием изменений, ответами на комментарии.

Решение: SuperDoc (Open Source Document Engine):

• Единый движок для рендеринга, редактирования, автоматизации и совместной работы с DOCX.
• Работает в Python, JavaScript, браузере.
• Поддерживает всё: нумерацию страниц, стили таблиц, отслеживание изменений, комментарии с ответами.
• Позволяет создавать документы через MCP-агентов (например, по промпту) и получать идентичный результат в любой среде.

Вывод: Задачи, которые кажутся простыми (работа с документами), на деле могут быть очень сложными. Решение таких головоломок приносит инженеру радость.

Автоматизация с ИИ: Оставайтесь за рулём

Парадокс Парето для докладчиков (и разработчиков):

• 80% времени уходит на рутину: форматирование кода, оформление слайдов, исследования.
• 20% времени остаётся на суть: сообщение, идея, решение проблемы.

Риски чрезмерного делегирования ИИ:

• Потеря понимания («делегирование без понимания — это абдикация»).
• Неспособность ответить на сложные вопросы по своей же работе.
• Потеря профессиональных навыков («мышц»).

Правильный подход:

• Оставайтесь «за рулём». Используйте автоматизацию для рутины, но проверяйте каждый вывод.
• Задавайте вопрос «Почему?» (Why behind the How). Об