Superinteligencia: Reacciones de expertos a la visión y los desafíos de OpenAI
La carrera por la inteligencia artificial general (IAG) y algo mucho más allá ha captado la atención de los tecnólogos y del público en general. Como periodista que cubre el panorama en rápida evolución de la IA, he visto de primera mano la ambición y la aprensión que acompañan a estos avances. OpenAI, un actor destacado en este campo, se encuentra a la vanguardia de esta discusión, lidiando no solo con los obstáculos técnicos, sino también con las profundas implicaciones éticas y sociales de lo que están construyendo.
Fuente: Ilustración propia
Resumen rápido
- OpenAI tiene como objetivo desarrollar la "superinteligencia", definida como un intelecto que supera ampliamente el rendimiento cognitivo humano.
- El CEO Sam Altman estima que la superinteligencia podría llegar en "unos miles de días" (5,5 a 11 años).
- OpenAI estableció un equipo de "Superalineación", dedicando el 20% de su potencia de cálculo durante cuatro años para garantizar un desarrollo seguro de la IA.
- La empresa reconoce riesgos significativos, como la disrupción económica, el uso indebido y el potencial desempoderamiento o extinción de la humanidad si la superinteligencia no está debidamente alineada.
- OpenAI aboga por nuevas políticas industriales y toma de decisiones democrática sobre los valores de la IA, yendo más allá de los ajustes incrementales.
- Los desafíos internos, incluidos los cambios de liderazgo y las salidas de investigadores, ponen de manifiesto las tensiones en curso sobre la seguridad y el desarrollo rápido.
La Búsqueda de la Superinteligencia
OpenAI ha declarado públicamente su confianza en la construcción de IAG, que define como un "sistema altamente autónomo que supera a los humanos en la mayoría de los trabajos económicamente valiosos" según sus propias palabras. Sin embargo, la ambición de la empresa se extiende más allá de la IAG tradicional, centrándose en lo que denominan "superinteligencia". Sam Altman, CEO de OpenAI, ha sugerido que la superinteligencia podría llegar en "unos miles de días". Este plazo, que abarca aproximadamente de 5,5 a casi 11 años, subraya la urgencia que muchos en el campo sienten en relación con su desarrollo. La superinteligencia, tal como la define Nick Bostrom en su libro de 2014
Superinteligencia: Caminos, Peligros, Estrategias, es "cualquier intelecto que supere ampliamente el rendimiento cognitivo de los humanos en prácticamente todos los dominios relevantes."
Fuente: tedapp.ai
El libro de Nick Bostrom de 2014 proporciona una definición fundamental de superinteligencia, describiendo sus posibles caminos, peligros y estrategias.
Altman ha calificado el libro de Bostrom como "lo mejor que ha visto sobre el tema."
OpenAI cree que la superinteligencia podría acelerar avances científicos y médicos, aumentar significativamente la productividad y reducir los costos. Los costos asociados con la construcción de superinteligencia están disminuyendo anualmente y el número de entidades que buscan su desarrollo está creciendo rápidamente. La empresa reconoce que los riesgos de una tecnología tan poderosa son significativos, incluidas las disrupciones económicas, el uso indebido por parte de actores maliciosos, los sistemas desalineados y la concentración de poder y riqueza. OpenAI cree que la superinteligencia tiene el potencial de desempoderar a la humanidad o incluso de llevar a su extinción si no está debidamente alineada.
La Iniciativa de Superalineación
Reconociendo estos profundos riesgos, OpenAI anunció la formación de su equipo de "Superalineación" el 5 de julio de 2023, como se detalla en su publicación de blog. Inicialmente dirigido por Ilya Sutskever y Jan Leike, la misión del equipo es resolver el problema de gobernar y controlar sistemas de IA que son mucho más inteligentes que los humanos. OpenAI se ha comprometido a dedicar el 20% de su potencia de cálculo actualmente asegurada durante los próximos cuatro años para abordar el desafío de la superalineación. El objetivo del equipo es resolver los problemas técnicos clave de la alineación de superinteligencia en cuatro años.
Las técnicas actuales de alineación de IA, que se basan en la supervisión humana, no escalarán de manera efectiva para la superinteligencia. El enfoque del equipo de Superalineación implica la construcción de un investigador de alineación automatizado de nivel humano, el desarrollo de un método de entrenamiento escalable, la validación del modelo y las pruebas de estrés de todo el proceso de alineación. OpenAI publicó los hallazgos iniciales de su equipo de Superalineación el 14 de diciembre de 2023, detallando una técnica en la que un modelo de lenguaje grande menos potente puede supervisar a uno más potente. Por ejemplo, el equipo utilizó GPT-2 para supervisar GPT-4 en diversas tareas para explorar cómo los humanos podrían monitorear modelos sobrehumanos. Los resultados mostraron que GPT-4, cuando fue entrenado por GPT-2, tuvo un rendimiento entre un 20% y un 70% mejor en tareas de lenguaje, pero peor en acertijos de ajedrez. Sin embargo, el investigador de IA Thilo Hagendorff planteó la preocupación de que GPT-2 pudiera ser demasiado "tonto" para servir como un maestro eficaz.
OpenAI planea compartir ampliamente los resultados de sus esfuerzos de Superalineación para contribuir a la alineación y seguridad de modelos que no sean de OpenAI. Para avanzar aún más en esta investigación, OpenAI ha anunciado un fondo de 10 millones de dólares para apoyar a los investigadores que trabajan en superalineación.
Gobernanza y Política en la Era de la Inteligencia
OpenAI publicó un artículo sobre "Gobernanza de la Superinteligencia" el 22 de mayo de 2023, enfatizando la necesidad de considerar la gobernanza de futuros sistemas de IA mucho más potentes que la IAG. La empresa sugiere tres enfoques para gobernar la superinteligencia: coordinación entre los principales esfuerzos de desarrollo, una agencia internacional similar al OIEA para los esfuerzos de superinteligencia y la capacidad técnica para hacer que la superinteligencia sea segura. OpenAI sostiene que las personas de todo el mundo deberían decidir democráticamente los valores para los sistemas de IA.
El 6 de abril de 2026, OpenAI publicó un artículo sobre "Política Industrial para la Era de la Inteligencia", presentando ideas para dar forma al futuro con IA avanzada. Este artículo sugiere que los ajustes políticos incrementales serán insuficientes a medida que la sociedad avance hacia la superinteligencia. OpenAI ofrece subvenciones y premios de investigación de hasta 100.000 dólares y hasta 1 millón de dólares en créditos de API para trabajos basados en estas ideas políticas. La empresa también anunció un nuevo taller en Washington, D.C., en mayo para organizar debates sobre política industrial para la era de la inteligencia.
OpenAI propone que es necesaria una nueva política industrial para abordar los desafíos y oportunidades que presenta la superinteligencia. Esto incluye dar voz a los trabajadores en la transición de la IA, fomentar el emprendimiento impulsado por la IA y tratar el acceso a la IA como fundamental para una economía moderna. Recomiendan modernizar la base impositiva para garantizar la financiación continua de los programas sociales y crear redes de seguridad social adaptables. OpenAI enfatiza la importancia de salvaguardias antes y después de desplegar sistemas de IA, incluido el monitoreo en tiempo real y la integración en las instituciones existentes. Proponen controles más estrictos, incluidas auditorías, para un pequeño número de modelos de alta capacidad que podrían plantear riesgos químicos, biológicos, radiológicos, nucleares o cibernéticos.
Dinámicas Internas y Salidas
La búsqueda de la superinteligencia no ha estado exenta de desafíos internos en OpenAI. El equipo responsable de gobernar los sistemas superinteligentes se disolvió recientemente después de que sus dos colíderes, Ilya Sutskever y Jan Leike, dejaran la empresa.
Fuente: artificial-intelligence.blog
Ilya Sutskever, colíder del equipo de Superalineación, dejó recientemente OpenAI, lo que marca un cambio interno significativo.
❝ en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes. ❞
Investigador de IA
En junio de 2024, Ilya Sutskever fundó una nueva empresa llamada "Safe Superintelligence".
La breve destitución de Sam Altman como CEO en noviembre de 2023 fue un momento significativo, que él caracterizó como un "grave error de gobernanza". Una investigación de WilmerHale atribuyó su destitución a una "ruptura de la relación y pérdida de confianza" entre la junta anterior y Altman. Desde finales de 2023, varios investigadores principales han abandonado OpenAI, incluidos Ilya Sutskever y Alec Radford. Estas salidas ponen de manifiesto las tensiones actuales y las diferentes perspectivas dentro de la organización con respecto a la seguridad, el desarrollo rápido y la gobernanza corporativa. OpenAI cuenta actualmente con tres organismos de seguridad: un grupo asesor interno de seguridad, un comité de seguridad y protección a nivel de junta y el comité de seguridad de implementación.
Comités de Seguridad de OpenAI
OpenAI opera actualmente con tres organismos de seguridad distintos, lo que refleja su compromiso de abordar los complejos riesgos asociados con el desarrollo de IA avanzada:
| Nombre del Comité | Función Principal |
|---|---|
| Grupo Asesor Interno de Seguridad | Proporciona orientación y recomendaciones internas sobre protocolos e investigación de seguridad. |
| Comité de Seguridad y Protección a Nivel de Junta Directiva | Supervisa estrategias de seguridad y protección de alto nivel, reportando directamente a la junta. |
| Comité de Seguridad de Implementación | Se enfoca en la seguridad y las implicaciones éticas durante la implementación de sistemas de IA. |
Conclusión
El debate que rodea a la superinteligencia y su desarrollo es complejo, abarcando potenciales beneficios extraordinarios y riesgos igualmente profundos. OpenAI, un arquitecto clave de este futuro, continúa navegando estos desafíos, comprometiendo recursos significativos en la investigación de alineación y abogando por políticas de gobernanza con visión de futuro. El camino hacia la superinteligencia requiere no solo avances tecnológicos, sino también una conversación sostenida y global sobre sus implicaciones éticas y cómo garantizar que finalmente sirva a los mejores intereses de la humanidad.
Preguntas frecuentes (FAQs)
¿Cuál es la diferencia entre IAG y Superinteligencia?
IAG (Inteligencia Artificial General) se refiere a un sistema altamente autónomo capaz de superar a los humanos en la mayoría de los trabajos económicamente valiosos. La superinteligencia, según la define Nick Bostrom, es cualquier intelecto que supera ampliamente el rendimiento cognitivo humano en prácticamente todos los dominios relevantes, lo que implica un nivel de capacidad mucho mayor que la IAG.
¿Qué tan pronto espera OpenAI que llegue la superinteligencia?
Sam Altman, CEO de OpenAI, ha sugerido que la superinteligencia podría llegar en "unos miles de días", lo que se traduce aproximadamente en 5,5 a 11 años a partir de su declaración.
¿Cuál es el propósito del equipo de Superalineación de OpenAI?
La misión del equipo de Superalineación es resolver el problema de gobernar y controlar sistemas de IA que son mucho más inteligentes que los humanos. Están dedicados a resolver los desafíos técnicos clave de la alineación de superinteligencia en cuatro años, asegurando que estos potentes sistemas sigan siendo seguros y beneficiosos.
¿Cuáles son los principales riesgos asociados con la superinteligencia, según OpenAI?
OpenAI identifica varios riesgos significativos, que incluyen disrupciones económicas, el potencial uso indebido por parte de actores maliciosos, sistemas desalineados que no operan en el mejor interés de la humanidad, y la concentración de poder y riqueza. También advierten del potencial de la superinteligencia para desempoderar a la humanidad o incluso llevar a su extinción si no está debidamente alineada.