En la década de 1960, el matemático y criptógrafo I. J. Good planteó un experimento mental que se ha convertido en un referente en Silicon Valley. Si creáramos una 'máquina superinteligente', argumentó, esta podría diseñar máquinas aún más inteligentes, desencadenando una explosión de inteligencia que dejaría atrás a la cognición humana. Sin embargo, esta profecía, que en su momento fue considerada ciencia ficción, se basa en varios supuestos cuestionables.

La innovación no es un proceso lineal, sino que se asemeja a una cadena cuya fuerza depende de su eslabón más débil. Estos eslabones débiles son cruciales en el progreso humano. Un ejemplo notable es el desastre del transbordador espacial Challenger en 1986, que se debió a una pequeña junta de goma que falló debido a las bajas temperaturas. Esto ilustra cómo los cuellos de botella críticos pueden afectar incluso a los sistemas más sofisticados.

La inteligencia artificial general (IAG) puede acelerar la investigación médica, pero si no puede gestionar los ensayos clínicos, la fabricación a gran escala o la aprobación regulatoria, el avance no se traduce en una invención que mejore la vida de las personas. Cuando se automatizan las primeras etapas del descubrimiento, el papel del ser humano no desaparece, sino que se desplaza hacia los cuellos de botella restantes, donde la experiencia práctica y el criterio son fundamentales.

La IAG no solo tendría que superar a los humanos; tendría que superar a los humanos que utilizan la IAG. La inteligencia no es una cantidad que se pueda medir de manera lineal, y diferentes puntos fuertes implican diferentes puntos ciegos. La combinación del criterio humano y el de la máquina seguirá superando a cualquiera de los dos por separado.