TecNoticias, tu portal de información

Opinión

¿Qué diría Hannah Arendt sobre la alineación de la IA?

Introducción

Este artículo analiza la desalineación de la IA a través del marco del totalitarismo, tal como se establece en Los orígenes del totalitarismo de Hannah Arendt. No quiero hacer comparaciones morales simplistas entre los horrores muy reales y singulares del totalitarismo en el siglo XX y los problemas todavía hipotéticos de la desalineación de la IA; pero creo que vale la pena explorar los paralelos, no obstante. En su obra magna, Arendt describe un trasfondo histórico y político que genera un movimiento político fundamentalmente en desacuerdo con el florecimiento humano, una ruptura tan perversa con las formas de gobierno anteriores que constituye una máquina destructora de la humanidad. El famoso experimento mental con papel de Nick Bostrom imagina un AGI con el mandato de hacer tantos clips como sea posible; llevada a cabo por un agente todopoderoso, esta función de recompensa banal pero sin restricciones (léase totalitaria) da como resultado el apocalipsis. Ambos son máquinas poderosas que proceden lógica e implacablemente, sin la guía de la intuición humana natural, hacia un objetivo fundamentalmente opuesto al florecimiento humano.

¿Qué hace que un gobierno sea totalitario?

Un gobierno totalitario se distingue de otras formas autoritarias de gobierno (incluso de dictaduras fascistas como la Italia de Mussolini) en su movimiento perpetuo para dominar todos los aspectos de la vida. Su ambición última es convertir a los seres humanos en autómatas, que reaccionan de manera predecible y flexible a las órdenes del régimen, extinguidos todos los restos del libre albedrío. La espontaneidad humana de cualquier tipo es una amenaza para el orden: el totalitarismo puede ser pensado como un sistema que busca extinguirlo cada vez más. En el pensamiento de Arendt, un movimiento se vuelve totalitario cuando alcanza una velocidad de escape y sale del ámbito de lo “normal”. gobierno, que, sin importar el tipo, está limitado hasta cierto punto por el utilitarismo: esa es alguna necesidad de servir al bienestar de su gente. (Las condiciones históricas y políticas que permiten este escape están por encima de mi salario y son el tema de gran parte del libro). Pero una vez que escapa, se convierte en una máquina destructora de la humanidad. Atomiza, aterroriza y asesina a su propio pueblo. Reemplaza el sentido común con la lógica del movimiento, que requiere una expansión infinita y una guerra con el mundo exterior normal. La conclusión lógica es que el movimiento tiene que ser derrotado externamente o quedarse sin vida humana para destruir: no hay equilibrio posible.

IA generativa y destrucción creativa

El clip de papel que destruye la humanidad de Bostrom parece un ejemplo inverosímil, pero destaca el peligro de la escala en un proceso ilimitado que solo se preocupa por el cumplimiento de un objetivo lógico. Los modelos de IA generativa (como GTP-3 y DALLE-2 de OpenAI) han estado saltos increíbles y acelerados en las capacidades creativas, superando las expectativas tradicionales sobre qué tipo de trabajo la IA tiene la capacidad de interrumpir. Operan alimentando grandes cantidades de datos (básicamente, todo Internet) a través de arquitecturas de redes neuronales bizantinas para producir modelos informativos que capturan matices impactantes. Y, debido a la universalidad de los cuerpos en los que se entrenan (presentados brillantemente en esta publicación de blog de Scale), muestran una sorprendente flexibilidad en las tareas que pueden realizar. La innovación fundamental que permitió este progreso es la escala de redes y conjuntos de entrenamiento; resulta que la fuerza bruta y no las estructuras de información más inteligentes pueden ser la clave para la inteligencia generalizada. ) instantáneamente y a un costo marginal de cero podría expulsar a las personas de campos particulares por completo y dejar a las masas insatisfechas. Pero en otro sentido, la amenaza es sofocar la creatividad centrada en el ser humano. Si no cree que esta IA es capaz de una verdadera espontaneidad (que yo no creo) e, incluso si cree, si cree que la espontaneidad de la que es capaz es fundamentalmente distinta de la espontaneidad humana (que si no lo creo, hacer), entonces la IA ha extinguido la espontaneidad humana en su campo. En lugar de que la función de recompensa del aprendizaje automático literal haya destruido a la humanidad, como con el algoritmo del clip de papel de Bostrom, la operación de la IA ha trastornado el incentivo humano para crear de una manera particular. La escala y la eficiencia de la máquina combinadas con la lógica capitalista sofoca un principio fundamental de la humanidad. Personalmente, no creo que un LLM aplaste toda la creatividad humana en un campo, y los LLM probablemente servirán como herramientas poderosas para proyectar la creatividad en nuevos direcciones. Pero a medida que las capacidades generativas de IA se combinan entre sí (vale la pena destacar que la IA está comenzando a escribir código), ¿qué tan rápido pueden adaptarse los seres humanos?

Riesgos y recompensas

Los crímenes totalitarios del siglo XX fueron perpetuados por movimientos dirigidos por humanos con objetivos inhumanos. La preocupación de los investigadores de seguridad de la IA se centra en la naturaleza inhumana de las funciones algorítmicas de recompensa, que buscan minimizar el error definido matemáticamente. Creo que la abundancia material y el conocimiento que promete el aprendizaje automático son razones suficientes para perseguirlo. Pero cualquier sistema de poder (como lo es la IA en manos de las grandes corporaciones) que no está limitado por las necesidades humanas, incluso o especialmente la necesidad de crear y realizarse intelectualmente, abre una puerta, por pequeña que sea, a un vacío de vida y significado.