IA y el espejismo del software defectuoso

He estado observando este llamado sistema de IA "revolucionario" para la verificación de software con ojos escépticos. Baldur, lo llaman - solo otro intento de la industria tecnológica de resolver problemas humanos con más tecnología. Habiendo trabajado en la verificación de código, no puedo evitar poner los ojos en blanco ante las afirmaciones exageradas.

Así que este sistema Baldur supuestamente utiliza LLMs para generar pruebas matemáticas automáticamente. Genial, más automatización para reemplazar el juicio humano. Están promocionando una tasa de precisión del 65.7% cuando se combina con Thor. ¡Eso significa que todavía está equivocado un tercio del tiempo! ¿Volverías en un avión que falla el 34% de sus verificaciones de seguridad?

Lo que nadie está mencionando son los enormes recursos computacionales que requieren estos sistemas. El impacto ambiental por sí solo es asombroso. Entrenaron a Minerva con 118GB de datos - ¿quién está contando esa huella de carbono?

Los fracasos silenciosos de estos LLM son particularmente peligrosos. Cuando ChatGPT lanza sin advertencia tonterías con confianza, es divertido. Cuando los sistemas de verificación lo hacen con código que controla dispositivos médicos o sistemas financieros, es catastrófico.

La obsesión de la industria tecnológica por automatizarlo todo proviene de su incapacidad para resolver el verdadero problema: escribir un mejor código en primer lugar. Estamos creando sistemas de IA complejos para cubrir las deficiencias de nuestros paradigmas de programación en lugar de abordar las causas raíz.

Y no olvidemos quién está financiando esto: DARPA y NSF. Las aplicaciones militares están claramente en el horizonte. ¿Crear software "libre de errores" para qué exactamente? Las posibilidades son preocupantes.

A pesar de las elaboradas convenciones de nombres de la mitología nórdica, Baldur no es un salvador divino para la ingeniería de software. Es solo otra herramienta en una cadena de herramientas cada vez más compleja que la mayoría de los desarrolladores luchará por entender e implementar de manera efectiva.

He visto demasiados sistemas de verificación "revolucionarios" venir y desaparecer. La realidad es que el software seguirá teniendo errores porque lo escriben humanos, y los humanos son falibles. Ningún sistema de IA cambiará esa verdad fundamental.