Восемь мифов о разработке программного обеспечения и искусственном интеллекте.
Генеративный ИИ меняет подход к разработке программного обеспечения, но сообщения об эффективности в информационном пространстве явно опережают реальные факты. Маркетинговые заявления, отдельные примеры успеха и неверно истолкованные исследования породили ряд устойчивых мифов, которые незаметно приводят к принятию неверных решений о внедрении этой технологии, инструментах и методах измерения успеха.
Часть разработчиков, как уже широко известно, на самом деле не тратят большую часть своего времени на написание кода, исследования показывают, что таких специалистов около 14 процентов. Эти цифры означают, что генерация кода с помощью ИИ (даже если бы технология работала идеально), затрагивает удивительно малую часть реальной работы по написанию программного кода. И тем не менее, многие организации уделяют большое внимание показателям количества строк кода от ИИ для отслеживания его влияния, что является показателем, который не является статистически достоверным и не имеет значимой связи с такими результатами, как качество.
Реальность гораздо сложнее и интереснее, чем показывают заголовки. Искусственный интеллект лучше подходит для одних задач, или полезен только для части разработчиков при использовании не во всех контекстах. А для других он не подходит вовсе. Повышение производительности не происходит автоматически после предоставления инженерам оплаченного доступа к искусственному «разуму» — оно требует переосмысления рабочих процессов на уровне организации.
Кроме того, происходит некоторый «цифровой луддизм» - внедрение тормозится, когда программисты не доверяют инструментам, либо им не хватает времени на изучение инструмента, а иногда, совершенно справедливо, профессионалы высокого класса опасаются личностной деградации и потери квалификации. Транслирующийся отовсюду нарратив о том, что «стартапы быстро развиваются с помощью ИИ», игнорирует требования соответствия, устаревшие системы и ограничения надёжности, которые характерны для корпоративного ПО.
Миф 1: Разработчики большую часть времени тратят на написание кода.
Разработка программного обеспечения — это чрезвычайно сложная работа, требующая креативности, длительной концентрации внимания, активного сотрудничества — и, как ни удивительно, относительно мало времени на непосредственное написание кода. Программное обеспечение не создаётся в вакууме, и поэтому создателям необходимо ещё тратить время на групповые совещания, ежедневные личные обсуждения, планирование и проверку работоспособности. Долговременное исследование, затронувшее более 3 тысяч программистов, показало, что в хороший рабочий день инженеры тратили 18 процентов времени на кодирование (не считая исправления ошибок, тестирования и т. д.), в то время как в «плохой» рабочий день на кодирование тратилось всего 11 процентов.
Миф 2: Написание кода — узкое место.
Учитывая указанное выше распределение времени, использование генеративного ИИ исключительно для помощи в написании кода решает лишь небольшую часть задач разработки программного обеспечения. Если программисты тратят на набор текста в среднем всего около 15 процентов своего времени, то даже ИИ-помощь, которая ускорит процесс кодирования вдвое, теоретически повысит общую производительность менее чем на 15 процентов. Остальные 85 процентов их времени остаются неиспользованными. Но! Ускорение создания кода без учёта сопутствующих задач (таких как проектирование, анализ устаревшего кода, настройка среды и т. д.) может иметь непредвиденные последствия. Если ИИ позволяет человеку быстрее создавать код, последующая нагрузка на отладку может перенестись на последующие этапы. Например, кода необходимо проверить, протестировать и интегрировать в продукт большие громоздкие части, созданные искусственным интеллектом.
Общий цикл разработки настолько быстр, насколько быстр его самый медленный этап, а кодирование зачастую не является самым медленным этапом. Поэтому использование ИИ в основном в качестве генератора кода — хотя и полезно для отдельных пользователей — не обязательно является лучшим способом использования ИИ для ускорения выпуска программного обеспечения. Это решает проблему «внутреннего цикла», но оставляет «внешний цикл» разработки практически неизменным.
Миф 3: Количество строк кода, написанных ИИ, — лучший показатель эффективности.
Когда разработчики чувствуют давление, заставляющее их отдавать приоритет объёму перед эффективностью, они могут идти на компромисс в отношении качества проектирования, что приводит к увеличению технических багов и повышению уязвимости безопасности. В нездоровой организационной культуре такие меры могут способствовать токсичному поведению и подрывать доверие. Например, аннотация одного масштабного исследования, посвящённого проблеме генерации программного кода искусственным интеллектом, гласит: «было зафиксировано, что значительная часть [кода] не соответствует установленным критериям достоверности и, следовательно, имеет ограниченную полезность». Как ни парадоксально, но попытки ускорить процесс написания кода с использованием ИИ, могут значительно усугубить давние проблемы в разработке программного продукта. Измерение успеха только по объёму кода искажает истинную цель: создание безопасного, поддерживаемого и высококачественного программного обеспечения.
Миф 4: Искусственный интеллект одинаково полезен для всех задач.
Сейчас мы используем ИИ как молоток, а код — как гвоздь, но данные свидетельствуют о том, что на успех GenAI в решении конкретной задачи программирования влияет множество факторов — от характера самой задачи до навыков разработчика. Процедуры, которые являются знакомыми и хорошо понятными, приводят к большему повышению эффективности при использовании ИИ, по сравнению с задачами, которые новы, незнакомы, нетривиальны и менее понятны. Очень часто при взаимодействии большую роль играет человеческий фактор - разработчики, использующие комплексный подход к обработке информации, более уверены в создании успешных запросов для ИИ.
Кроме того, исследования показали, что GenAI более эффективен для задач, требующих большого объёма, таких как шаблонная и повторяющаяся работа, но не для более творческих или совместных задач. Поэтому, в среде опытных разработчиков в мире Open Source, количество лет профессионального опыта разработки программного обеспечения обратно коррелирует с уверенностью в написании эффективных запросов. Более того, даже формулировка задания может существенно повлиять на успех использования GenAI для задач кодирования. Одно исследование показало, что переписывание задания с сохранением его семантической эквивалентности приводило к изменению кода в 46 процентах и изменению правильности в 28 процентах случаев.
Миф 5: ИИ превратит усилия одного разработчика в эквивалент десяти.
Это сейчас один из самых распространённых мифов в дискуссиях. Но этот подход игнорирует коллективный и взаимосвязанный характер реальной разработки прикладного ПО и сложность реальных задач кодирования (многие исследования, которыми оперирует пресса, рассматривали простые примеры, а не реальные рабочие задачи). Хотя контролируемые исследования могут демонстрировать впечатляющее повышение производительности труда отдельных лиц, работающих над изолированными задачами, эти результаты редко напрямую переносятся на сложные командные среды, в которых создаётся большая часть ПО. Оно не учитывает координацию и обмен знаниями, которые необходимы для успешного сотрудничества.
Миф 6: Каждый разработчик должен сам решать, надо ли взаимодействовать с ИИ.
Исторически сложилось так, что повышение производительности достигалось не благодаря изменениям на индивидуальном уровне, а за счёт системных изменений на уровне организации. Оптимизация систем для повышения производительности всегда была чрезвычайно сложной задачей. Конвейерная линия не появилась внезапно, как само собой разумеющееся. Форд пережил множество неудачных попыток и постепенных экспериментов. Ему пришлось вложить значительные средства и разработать новые инструменты… Генеративный AI, возможно, является одной из первых технологий, в приобретение лицензий для которой организации вложили миллионы, не имея чёткого понимания того, как максимизировать её ценность. Варианты использования возникают не всегда органично, с нуля, в то время как исследователи работают над выявлением лучших практик. Отсутствие ожидаемого многими значительного повышения производительности говорит о том, что одного доступа недостаточно. Но многие фирмы, потратившись, принуждают программистов пользоваться этим приобретением.
Миф 7: Высокоэффективные инструменты ИИ будут внедряться автоматически.
Предположение о том, что инженеры-программисты будут использовать инструменты ИИ просто потому, что они улучшают их производительность, игнорирует сложную сеть социальных, организационных и когнитивных барьеров. Уже сейчас те участники коллективных процессов разработки, кто широко использует ИИ для своей работы, подвергаются остракизму, критике и нивелированию своей компетенции среди коллег. Сами же люди тоже опасаются, что чрезмерная зависимость от ИИ может подорвать их способность решать проблемы, делая их менее незаменимыми. И, как показывают когнитивные динамические исследования, к этому есть веские основания. Доверие также является проблемой: только 24 процента специалистов доверяют точности инструментов ИИ, а многие программисты категорически утверждают, что тратят больше времени на отладку результатов такой «работы», чем на написание кода самостоятельно. Более того, полученные результаты часто не интегрируются бесшовно в существующие рабочие процессы.
Миф 8: Благодаря GenAI предприятия могут внедрять инновации со скоростью стартапа.
Стартапы, как правило, используют компоненты с открытым исходным кодом и широко документированные фреймворки - ресурсы, которые были широко представлены в обучающих данных для крупных языковых моделей. Корпоративные системы, напротив, полагаются на проприетарные инструменты и устаревшие кодовые базы, размещённые в изолированных собственных дата-центрах, с которыми модели ИИ никогда не сталкивались. Помимо технической сложности, предприятия работают в условиях соблюдения внутренних нормативов, требований безопасности, конфиденциальности и регулирования. Такие ограничения, как правило, применяются только в масштабных корпорациях, а большинство стартапов никогда таким даже не сталкиваются.
Корпоративное программное обеспечение должно сохранять обратную совместимость и беспрепятственно интегрироваться с тысячами внутренних систем и сторонних инструментов. Цели также различаются: стартапы отдают приоритет скорости создания минимально жизнеспособного продукта и быстрой итерации, в то время как предприятия балансируют между скоростью и надёжностью, безопасностью и договорными обязательствами. Промышленники вынуждены учитывать ожидания клиентов - тут подходы ещё более расходятся. Стартапы могут выпускать бета и альфа-версии с ошибками, получая снисходительное отношение от пользователей. Корпоративные клиенты ожидают отточенных, готовых к внедрению решений - этого требуют нормативные и договорные рамки. Искусственный интеллект, несомненно, может помочь крупным предприятиям двигаться быстрее, но структурные реалии означают, что они никогда не будут работать в одинаковых условиях. Скорость очевидна, сложность - нет.
Хотя инструменты ИИ могут ускорить выполнение определённых задач, их преимущества часто преувеличиваются или неправильно понимаются. В конечном итоге, для реализации полной ценности применения этой технологии необходимо выйти за рамки шумихи и упрощённых метрик, а вместо этого сосредоточиться на более широких целях создания безопасного, поддерживаемого и высококачественного программного продукта.
