🧪 Тестирование Xiaomi Mi M V2.5 Pro на графических задачах

Тестирование Xiaomi Mi M V2.5 Pro на графических задачах

Ключевые тезисы:

Модель Xiaomi Mi M V2.5 Pro показывает более интересные результаты в бенчмарках по сравнению с базовой версией V2.5.
Практическое тестирование сфокусировано на генерации графики и простых игр.
Результаты неоднозначны: модель отлично справляется с некоторыми задачами, но испытывает трудности с логикой и детализацией.

В представленных бенчмарках (SWE Bench Pro, Frontier SWE Terminal Bench, Mi Coding Bench) модель V2.5 Pro позиционируется как конкурент Clod Opus 4.6.
Автор изначально ожидал от модели посредственных результатов, особенно в графических задачах.

Тестирование проводилось в среде Pi/Py с созданием проектов из промптов. Основные задачи:

Результат: Очень хороший.
Модель корректно создала анимацию с фоном, горшочком, растением, листьями, цветком и мини-эффектами.
Скорость выполнения: около 1 минуты.

Результат: Отличный.
Создан детализированный анимированный персонаж (маг) с интерактивностью (реакция на движение мыши), системой частиц и несколькими анимациями (каст спелла, вращение).
Визуальное исполнение высоко оценено.

Результат: Неоднозначный.
Что получилось хорошо: детализация окружения (дно, камни, очень качественная трава), эффект воды с пузырьками.
Главная проблема: сами рыбки. Они не имеют правильной формы, отсутствуют хвосты и плавники, вращаются вокруг оси неестественным образом.
Попытка улучшить результат через детальный промпт привела к ухудшению: рыбы стали похожи на «червячков» или «овощи».

Результат: Удовлетворительный, с доработками.
Что получилось хорошо: создана рабочая игра с графикой (динозавр, камни, птицы, облака), основной функционал прыжка реализован.
Проблемы: первоначальная версия была нерабочей. После исправлений проявились критические баги (периодическое исчезновение участков земли/дороги, слишком частое появление птиц, мешающее геймплею).
Для получения играбельной версии потребовалось несколько итераций с промптами на исправление.

Mi M V2.5 Pro показала себя значительно лучше предыдущих версий, что стало неожиданностью для автора.
Сильные стороны: Генерация анимаций (SVG) и 3D-графики (low-poly). Модель работает достаточно быстро.
Слабые стороны: Трудности с логикой (как в игре) и детализацией сложных объектов (как в случае с рыбками). Результаты требуют доработки и итераций.
Общая оценка: Модель демонстрирует хороший потенциал в визуальной части, но её возможности в создании полноценной, бесбаговой логики (для игр или, предположительно, сложного кода) пока ограничены.
Перспектива: Требуется дополнительное тестирование на фронтенд- и бэкенд-проектах, а также сравнение с другими моделями (например, Kimi K2.6) для формирования окончательного вердикта.