Ответы на вопросы после митапа [Live demo: агент для разработки за 40 минут]

Pavel Veinik

Ответы на вопросы после митапа по AIПрикладная обсценная лингвистика в IT-индустрииОтветы на вопросы после митапа [Live demo: агент для разработки за 40 минут]Как шутить. Курс от того, кому не смешноИнструкция для внутреннего ЦаряКраткая история IT: От ткацкого станка до нейросетей

Внедрение в команду и менеджмент

Подводные камни масштабирования с пилота до всей команды

Начнём с сути. Главная ловушка — считать, что успешный пилот автоматически превращается в выигрыш всей команды. Это не так, и данные показывают это жёстко.

Отчёт DORA 2024 (Google, свыше 39 тысяч респондентов) фиксирует парадокс. На уровне отдельного разработчика ИИ поднимает продуктивность, состояние потока и удовлетворённость и снижает выгорание. Но на уровне поставки эффект отрицательный: по их оценке, каждый рост внедрения ИИ на 25% связан со снижением пропускной способности поставки примерно на 1,5% и стабильности поставки на 7,2%.

Почему так. ИИ улучшает промежуточные метрики процесса — скорость ревью, качество и читаемость кода, — но поставка не улучшается сама собой без базовой гигиены: маленьких батчей изменений и надёжного тестирования. Иначе ИИ просто быстрее вливает в продакшн крупные непроверенные куски, и стабильность падает первой.

Второй пласт проблемы — организационный. Обзор MIT NANDA (The GenAI Divide, 2025) по сотням внедрений даёт цифру: около 95% корпоративных пилотов на генеративном ИИ не дают измеримого эффекта на прибыль. По данным S&P Global, доля компаний, свернувших большинство ИИ-инициатив, за год выросла с 17% до 42%. Типовой сценарий — кладбище пилотов: 8–15 запусков, ни одного в продакшене, и вывод руководства — ИИ нам не подходит.

Третья ловушка — неоднородность выигрыша. RCT от METR (2025) показал: опытные разработчики на крупных зрелых проектах с открытым исходным кодом, которые они знают годами, с ИИ начала 2025 года работали на 19% медленнее, хотя субъективно были уверены, что ускорились на 20%. Вывод для менеджера: пилот на простых задачах не предсказывает поведение на вашей реальной легаси-базе, а самооценка команды ненадёжна как источник решения.

Что пойдёт не так и как избежать:

  1. Не путайте индивидуальную скорость с поставкой. Мерьте исход — метрики DORA (время поставки, частота деплоя, доля сбойных изменений, время восстановления), а не ощущение скорости у людей.
  2. Пилотируйте в реальных условиях. Берите настоящие репозитории и ваши планки качества, а не игрушечные задачи, иначе результат пилота обманет при раскатке.
  3. Держите фундамент. Маленькие батчи, тесты, ревью — иначе ИИ ускоряет попадание дефектов в продакшн и роняет стабильность именно при масштабировании.
  4. Ставьте фальсифицируемые критерии успеха. У пилота должны быть срок и числовой порог: масштабировать или закрыть в фиксированное окно, а не тянуть бесконечно.

Ссылки


Управление процессом: метрики, роли и обучение с точки зрения менеджера

Как менеджеру этим управлять — по трём осям: правильные метрики, работа с ролями и людьми, обучение и поддержка.

Механика освоения. Внедрение идёт не скачком, а S-образной кривой. Годовое исследование внедрения ИИ-платформы на 300 инженерах (arXiv, 2025) показывает характерную динамику: 4% активных в первый месяц, пик 83% к шестому месяцу и стабилизация около 60%. То есть закладывайте горизонт в полгода и реалистичные ~60% устойчивого использования, а не 100% сразу. В том же внедрении время цикла ревью сократилось на 31,8% при 85% удовлетворённости функциями ревью.

Метрики — главный рычаг и главный риск. Не сводите оценку к одной цифре. Фреймворк SPACE (Microsoft, ACM) прямо предупреждает: продуктивность многомерна, берите метрики минимум из трёх измерений — удовлетворённость, результативность, активность, коммуникация, эффективность потока — и хотя бы одну воспринимаемую, из опроса.

Актуальное развитие этой идеи — DX Core 4, объединяющий DORA, SPACE и DevEx в четыре исхода: скорость, эффективность, качество, влияние на бизнес. Ключевая мысль для эпохи ИИ: освоение ИИ и расход токенов — это диагностические сигналы, а не исходы. По их продольным данным ИИ дал примерно +7,8% к пропускной способности по pull request — эффект реальный, но скромнее рекламных цифр. Опасность: ИИ раздувает число PR, объём кода и сжимает время цикла, и погоня за этими числами оптимизирует движение, а не результат — классика закона Гудхарта.

Роли и люди. Полевые RCT в Microsoft, Accenture и Fortune-100-компании (4867 разработчиков, MIT, 2025) дали +26% выполненных задач. Важная деталь: менее опытные разработчики и осваивают ИИ активнее, и выигрывают больше. Отсюда практические выводы для менеджера:

  • Джуны выигрывают больше — но их нельзя оставлять один на один с ИИ. Они не всегда могут проверить вывод, поэтому ревью, тесты и разбор обязательны.
  • Опирайтесь на чемпионов. Ранние энтузиасты разносят практики промптинга и делятся рабочими шаблонами быстрее любой рассылки сверху.
  • Доступ не равен освоению. В тех же экспериментах 30–40% инженеров не попробовали инструмент вовсе, даже когда он был бесплатным и встроенным в среду.

Обучение и поддержка. В плече Accenture, где выдачу инструмента сопроводили обучением и явным поощрением менеджеров, освоение шло заметно быстрее. То есть тренинг и поддержка руководителя работают лучше, чем молчаливая раздача лицензий.

Разрыв доверия. По опросу Stack Overflow 2025 (свыше 49 тысяч разработчиков) ИИ-инструменты используют или планируют 84%, но 46% не доверяют точности вывода — и это рост с 31% годом ранее. Больше всего времени съедают ответы, которые почти правильные. Для менеджера это значит: управляйте ожиданиями и вкладывайтесь в курируемую внутреннюю базу знаний, а не только в лицензии.

Что пойдёт не так и как избежать:

  1. Метрики активности обманут. Строки кода и число PR растут без роста ценности; мерьте исходы (SPACE, DX Core 4), а внедрение и токены держите как диагностику.
  2. Ожидание 100% и мгновенно. Планируйте горизонт в 6+ месяцев и ~60% устойчивого использования, иначе разочаруетесь в середине кривой освоения.
  3. Джуны без присмотра. Наибольший выигрыш требует наибольшего контроля — ревью и тесты обязательны там, где ИИ пишет больше всего.
  4. Лицензии вместо обучения. Доступ не равен освоению; тренинг и поддержка менеджера — часть процесса внедрения, а не приятное дополнение.
  5. Игнорирование доверия. Не закрыв разрыв доверия и не дав команде курируемых знаний, вы получите тихий саботаж и потерю времени на почти правильные ответы.

Ссылки