Разработчики думают, что ИИ делает их на 24% быстрее. Данные показывают: на 19% медленнее.

ИИ-ассистенты для кодирования обещают резкий рост производительности. Разработчики им верят. Строгое исследование от METR проверило эти утверждения с участием опытных open-source разработчиков. Результаты противоречат всему, во что верит индустрия об ИИ-производительности.

Исследование, которое шокировало исследователей

Исследователи METR ожидали положительных результатов. «Изначально мы в целом ожидали увидеть положительное ускорение», — прямо заявили авторы. Вместо этого они обнаружили нечто тревожное.

В исследовании отслеживалась работа 16 опытных разработчиков из крупных open-source репозиториев — проектов со средним числом звёзд на GitHub более 22 000 и более чем миллионом строк кода. Эти разработчики работали над 246 реальными задачами из своих собственных репозиториев. Половина работала с ИИ-инструментами (в основном Cursor Pro с Claude 3.5/3.7 Sonnet), половина — без них.

Ключевой момент: При использовании ИИ разработчики тратили на выполнение задач на 19% больше времени.

Разрыв восприятия в 40 пунктов

До использования ИИ-инструментов разработчики прогнозировали увеличение скорости на 24%. После работы с ИИ и реального замедления они всё ещё считали, что ИИ сделал их на 20% быстрее.

Математика сурова:

• Ожидаемое улучшение: +24%
• Реальная производительность: -19%
• Убеждение после опыта: +20%
• Общий разрыв восприятия: ~40 процентных пунктов

Распространённая ошибка: Полагаться на самоотчёты разработчиков для метрик производительности. Как отметило исследование METR, «практически все корпоративные заявления об ИИ-производительности полагаются на самоотчёты», которые могут не отражать реальную производительность.

Почему разработчики не могут это определить

Самое тревожное открытие — не само замедление. По словам исследователей: «Самое глубокое открытие не в том, что ИИ замедляет разработчиков. А в том, что разработчики не могут этого определить».

Несколько факторов создают эту когнитивную слепоту:

Новые накладные расходы на взаимодействие. Разработчики тратят время на создание промптов, интерпретацию предложений и валидацию ИИ-вывода. Это ощущается как продуктивная работа — но это не так.

Трение в легаси-системах. Интеграция ИИ-сгенерированного кода в существующие миллионные кодовые базы требует значительной адаптации. Исследование фокусировалось на устоявшихся проектах, а не на разработке с нуля.

Восприятие активности. Постоянное взаимодействие с ИИ-инструментами создаёт ощущение движения. Разработчики чувствуют себя занятыми и продуктивными, даже достигая меньшего.

Простыми словами: Само взаимодействие становится работой, а не результат.

Что это значит для команд

Эти результаты бросают вызов фундаментальным предположениям об адаптации ИИ. Если опытные разработчики, работающие со знакомыми кодовыми базами, не могут точно оценить собственную производительность, что это означает для:

• Оценок производительности на основе самооценки
• Оценок скорости команды
• Расчётов ROI для инвестиций в ИИ-инструменты

Попробуйте: Отслеживайте фактическое время выполнения похожих задач с ИИ-инструментами и без них. Игнорируйте чувства — измеряйте результаты.

Разрыв между восприятием и реальностью выходит за рамки отдельных разработчиков. Команды, сообщающие о резких улучшениях благодаря ИИ, могут испытывать то же когнитивное искажение в масштабе.

Важный контекст

Это исследование специально изучало опытных разработчиков, работающих с крупными, устоявшимися кодовыми базами. Другие исследования показывают иные результаты для разных контекстов — некоторые сообщают об улучшениях на 26-56% для определённых типов задач.

Разница важна. Проекты с нуля, простые скрипты или чётко определённые задачи могут выиграть от ИИ-помощи. Сложная отладка в миллионных кодовых базах, очевидно, не выигрывает.

Протестировано в продакшене: Исследователи использовали передовые модели (Claude 3.5/3.7 Sonnet) с Cursor Pro — лучшие инструменты, доступные в начале 2025 года. Качество инструментов не было проблемой.

Часто задаваемые вопросы

Почему разработчики всё ещё считают, что ИИ сделал их быстрее, даже после того, как на практике испытали замедление?

Взаимодействие с ИИ-инструментами создаёт ощущение продуктивной деятельности. Разработчики фокусируются на взаимодействии — создании промптов, просмотре предложений — вместо измерения фактического времени выполнения задач. Это когнитивное искажение сохраняется, потому что работа ощущается вовлекающей и целенаправленной.

Какие конкретные типы задач ИИ замедляет больше всего для опытных разработчиков на больших кодовых базах?

Исследование изучало реальные задачи из устоявшихся open-source проектов с более чем миллионом строк кода. Сложная отладка, системная интеграция и модификации, требующие глубокого контекстного понимания, показали наиболее значительное замедление по сравнению с более простыми, изолированными задачами кодирования.

Почему разработчики, знакомые с устоявшимися open-source репозиториями, испытывали замедление, в то время как другие исследования показывают ускорение на 26-56%?

Контекст определяет результаты. Исследование METR фокусировалось на опытных разработчиках, работающих внутри сложных, существующих кодовых баз, которые они хорошо знали. Другие исследования, показывающие ускорение, часто включают проекты с нуля, простые скрипты или чётко определённые задачи без легаси-ограничений.

Что попробовать прямо сейчас

Измерьте фактическое время выполнения ваших задач в течение одной недели — записывайте время начала и окончания для каждой задачи кодирования, с ИИ-помощью и без неё. Сравнивайте данные, а не чувства.