人工智能与有缺陷的软件幻影

我一直用怀疑的眼光关注这个所谓的"革命性"软件验证AI系统。他们称之为Baldur——只是科技行业试图用更多的技术来解决人类问题的又一次尝试。作为一个曾在代码验证领域工作的人，我不禁对这些夸大的说法感到翻白眼。

所以这个Baldur系统据说利用LLMs自动生成数学证明。太好了，更多的自动化来取代人类判断。他们在与Thor配对时宣传65.7%的准确率。这意味着它仍然有三分之一的时间是错误的！你会乘坐一架34%安全检查失败的飞机吗？

没有人谈论的是这些系统所需的巨大计算资源。单单是环境影响就令人震惊。他们在118GB的数据上训练了Minerva——谁在计算那碳足迹？

这些大型语言模型的无声故障尤其危险。当ChatGPT自信地吐出无意义的东西而没有警告时，这很有趣。当认证系统用控制医疗设备或金融系统的代码这样做时，那就是灾难性的。

科技行业对自动化一切的痴迷源于他们无法解决实际问题：首先编写更好的代码。我们正在创建复杂的人工智能系统来弥补我们编程范式的不足，而不是解决根本原因。

而且我们不要忘记是谁在资助这一切——国防高级研究计划局和国家科学基金会。军事应用显然就在眼前。究竟要为什么创造“无漏洞”的软件？这种可能性令人担忧。

尽管有华丽的北欧神话命名惯例，巴尔德尔并不是软件工程的某种神圣救世主。这只是一个在日益复杂的工具链中的另一个工具，大多数开发人员将难以理解和有效实施。

我见过太多“革命性的”认证系统来来去去。现实是，软件会继续存在漏洞，因为是人类编写它，而人类是会犯错的。没有任何人工智能系统能改变这一基本真理。