Тестирование DeepSeek V4 Pro и V4 Flash
Ключевые тезисы:
Анонсированы новые модели DeepSeek V4 Pro и V4 Flash с контекстом 1 млн токенов.
Заявленные бенчмарки показывают конкуренцию с Opus 4.6 и GPT-5.4.
Практическое тестирование через V0 и OpenRouter выявило значительный разрыв между заявленными и реальными возможностями в генерации графики и кода.
Стоимость генераций относительно невысока, но скорость работы низкая.
Цели и методология тестирования
Тестирование проводилось через платформу V0 (и частично OpenRouter) с фокусом на графические задачи:
- SVG-анимация (растущее растение).
- Персонаж в low-poly стиле (маг).
- Интерактивный аквариум (основной тест на графику).
- Игра (динозаврик, бегущий от препятствий).
- Лендинг-страница с последующим редизайном.
Результаты тестов
SVG-анимация (растение)
- Время генерации: 11 минут 55 секунд (очень долго).
- Результат: Примитивная анимация с простыми формами (кружок, горшок, фон).
- Оценка:
На троечку. Сильно уступает Claude и GPT-5.5. - Стоимость: 20 центов (44 000 токенов).
Персонаж Low-Poly (маг)
- Время: 6 минут 38 секунд.
- Результат: Примитивная модель с глазами, руками и посохом. Анимация — простое мигание.
- Оценка: На троечку. Результат хуже, чем у GPT и Kimi.
- Стоимость: Не указана.
Интерактивный аквариум
- Время: 13 минут 52 секунды.
- Результат:
- Рыбки выглядят странно: делают "сальто", глаза отделены от тела.
- Вода отрисована плохо.
- Растения и камни — нормально.
- Оценка:
Критически плохо. - Стоимость: 30 центов (57 500 токенов).
Попытка улучшить аквариум
- Запрос: Исправить дно, движение и внешний вид рыбок.
- Время: 12 минут.
- Результат: Ситуация ухудшилась. Рыбки превратились в "космические корабли", появились странные артефакты.
- Итоговая стоимость: 70 центов.
- Вывод: Модель не справляется с итеративным улучшением сложной графики.
Игра (Динозаврик)
- Время: 15 минут 31 секунда.
- Результат:
- Основная логика нарушена: не динозаврик бежит, а на него движутся препятствия.
- У динозавра три ноги.
- Дизайн камней и кактусов — приемлемый.
- Оценка: Три с минусом.
- Стоимость: 31 цент (47 800 токенов).
Лендинг-страница
Первая генерация:
- Время: 9 минут 26 секунд.
- Результат: Вёрстка "съехала", нет адаптивности.
- Стоимость: 21 цент.
Редизайн (стиль "люкс"):
- Время: 7 минут 15 секунд.
- Результат: Незначительные улучшения в дизайне, но проблемы с сеткой и отступами остались. Адаптивность отсутствует.
- Итоговая стоимость: 36 центов.
- Оценка: Посредственно.
Выводы и итоги
Заявления vs. Реальность: Несмотря на топовые позиции в бенчмарках (SVE), практические результаты в генерации графики и кода оказались слабыми и неконкурентоспособными.
Скорость: Все генерации выполнялись очень медленно (от 6 до 15 минут).- Стоимость: Приемлемая, но не оправдана качеством результата.
Качество графики: Модель демонстрирует непонимание физики, анимации и композиции в сложных задачах (аквариум, игра).
Итеративная работа: Попытки улучшить результат по промту приводят к деградации качества.
Итог: DeepSeek V4 Pro показал разочаровывающие результаты в креативных и графических задачах. Для заявленного уровня "топа" качество генерации неудовлетворительное.