Ваш конспект

Разбор собеседования на DSML-специалиста (350 000 руб.)

Ключевые тезисы:

• Успех на собеседовании зависит не только от знания фактов, но и от понимания ограничений метрик и поведения моделей.
• Каждый лишний месяц самостоятельной подготовки — это упущенный доход (в IT можно сразу устроиться на зарплату от 200 000 руб.).
• Важно уметь объяснять метрики и концепции простым языком, проговаривая их сильные и слабые стороны.
• Настоящий ментор ускоряет путь к офферу, предоставляя обратную связь, гарантии и поддержку.

Ошибка в прогнозировании спроса

Метрика MAPE (Mean Absolute Percentage Error):

• Это средняя абсолютная процентная ошибка, показывающая, насколько в среднем прогноз отклоняется от факта в процентах.
• Кандидат назвал MAPE (~18%), но не объяснил её ограничения.

Ключевая проблема MAPE:

• Метрика "ломается" на маленьких значениях спроса. Даже небольшое абсолютное отклонение при фактическом значении, близком к нулю, даёт огромную процентную ошибку.
• Например: Факт = 1, Прогноз = 3. Абсолютная ошибка = 2, но процентная ошибка — 200%.
• Это может сильно искажать общую картину, особенно в категориях с низким или нестабильным спросом.

Что нужно было добавить в ответ:

• Объяснить, в каких случаях MAPE адекватна (стабильный спрос, нет значений, близких к нулю).
• Упомянуть, что ошибка может быть разной для разных диапазонов спроса (например, для средних значений — меньше, для "хвостов" — больше).

Метрики в задаче кредитного скоринга

Кандидат назвал базовый набор (Precision, Recall), но ответ был поверхностным.

Ключевые метрики для скоринга и что о них нужно знать:

1. AUC-ROC (и Gini):
   • Показывает способность модели к ранжированию (насколько часто плохой клиент получает скор выше, чем хороший).
   • Важно показать связь: Gini = 2 * AUC - 1.
2. Precision и Recall:
   • Полезны, но зависят от выбранного порога отсечения (threshold).
3. К-статистика (K-S):
   • Практичная метрика, показывающая качество разделения распределений хороших и плохих клиентов.
4. Стабильность модели во времени:
   • PSI (Population Stability Index) — метрика, которая помогает оценить, насколько изменилось распределение данных с течением времени. Высокий PSI сигнализирует, что модель работает на "других" данных.

Average Precision (AP) и PR-кривая

PR-кривая (Precision-Recall Curve):

• Строится при изменении порога классификации, показывает баланс между точностью (Precision) и полнотой (Recall).

Average Precision — это площадь под PR-кривой.

• Даёт одну итоговую оценку ранжирующей способности модели без привязки к конкретному порогу.
• Удобна для задач с дисбалансом классов (поиск, рекомендации, антифрод).
• MAP (Mean Average Precision) — усреднение AP по нескольким классам или запросам.

Проклятие размерности (Curse of Dimensionality)

Суть проблемы:

• В многомерном пространстве расстояния между всеми объектами становятся примерно одинаковыми.
• Это ломает алгоритмы, основанные на расстояниях (KNN, k-means).

Способы борьбы:

• PCA (Principal Component Analysis): Линейное преобразование для сокращения размерности с сохранением максимальной дисперсии.
• t-SNE (t-Distributed Stochastic Neighbor Embedding): Нелинейный метод, часто используется для визуализации.
• Отбор признаков: Мануальный, с помощью L1-регуляризации, итеративный (например, рекурсивное исключение).
• SVD (Singular Value Decomposition).

Мультиколлинеарность

Мультиколлинеарность — ситуация, когда признаки сильно линейно связаны между собой.

Проблемы:

• Нестабильность и неинтерпретируемость весов модели (признаки "отжирают" друг друга).
• Матрица признаков становится плохо обусловленной.

Диагностика и решение:

• Метрика: VIF (Variance Inflation Factor). Значение >5-10 — сигнал проблемы.
• Способы решения: Удаление признаков, PCA, применение регуляризации (L1/L2).

Экстраполяция моделями

Как разные модели ведут себя за пределами обучающей выборки?

1. Линейная регрессия: Умеет экстраполировать (продолжает линейный тренд).
2. Решающие деревья (и Random Forest): Не умеют экстраполировать. За пределами обучающего диапазона выдают константное значение (плато), так как предсказание — это среднее в листе.
3. Градиентный бустинг на деревьях: В целом тоже не экстраполирует. Сложная кривая собирается из кусочков деревьев, поэтому за пределами данных поведение стремится к плато или затуханию. Высокий learning_rate ведёт к нестабильности и переобучению, а не к "волшебной" экстраполяции.

Выводы

• Уверенность и диалог не менее важны, чем технические знания.
• Нужно не просто перечислять метрики, а понимать, для чего каждая нужна (ранжирование, стабильность, порог).
• Глубина понимания (почему возникает проблема, как её диагностировать и решать) отличает сильного кандидата.
• Инвестиция в менторство с чётким планом и гарантиями может значительно сократить путь к высокооплачиваемой позиции.