Искусственный интеллект и мираж багов в ПО

Я с недоверием наблюдал за этой так называемой "революционной" системой ИИ для верификации программного обеспечения. Они называют ее Балдур - просто еще одна попытка технологической индустрии решить человеческие проблемы с помощью технологий. Работая в верификации кода, я не могу удержаться от того, чтобы закатить глаза на преувеличенные заявления.

Итак, эта система Балдур якобы использует LLM для автоматической генерации математических доказательств. Отлично, еще больше автоматизации для замены человеческого суждения. Они хвастаются точностью 65,7% в паре с Тором. Это значит, что она все равно ошибается в одной трети случаев! Вы бы полетели на самолете, который не проходит 34% своих проверок безопасности?

О чем никто не говорит, так это о огромных вычислительных ресурсах, которые эти системы требуют. Одно только воздействие на окружающую среду просто колоссально. Они обучили Минерву на 118 ГБ данных - кто считает этот углеродный след?

Молчаливые ошибки этих LLM особенно опасны. Когда ChatGPT уверенно изрекает чепуху без предупреждения, это забавно. Когда системы верификации делают это с кодом, который управляет медицинскими устройствами или финансовыми системами, это катастрофично.

Одержимость технологической индустрии автоматизацией всего проистекает из их неспособности решить настоящую проблему: написание лучшего кода с самого начала. Мы создаем сложные системы ИИ, чтобы замаскировать недостатки наших программных парадигм, вместо того чтобы решать коренные причины.

И не забудем, кто финансирует это - DARPA и NSF. Военные приложения явно на горизонте. Создание "безошибочного" программного обеспечения для чего именно? Возможности вызывают беспокойство.

Несмотря на замысловатые названия из скандинавской мифологии, Балдур не является каким-то божественным спасителем для программной инженерии. Это просто ещё один инструмент в всё более сложной цепочке инструментов, которую большинству разработчиков будет сложно понять и эффективно внедрить.

Я видел слишком много "революционных" систем верификации, которые приходят и уходят. Реальность такова, что программное обеспечение будет продолжать содержать ошибки, потому что его пишут люди, а люди подвержены ошибкам. Ни одна система ИИ не изменит эту основополагающую истину.