Recorte de la Beca de Seguridad de OpenAI: Un Salto Arriesgado en IA
Las arenas movedizas de la visión de seguridad de IA de OpenAI
Durante años, he sido testigo de la evolución del panorama de la inteligencia artificial, observando atentamente la interacción entre el rápido avance tecnológico y la búsqueda esencial, a menudo compleja, de la seguridad. En ningún lugar es esta tensión más palpable que dentro de OpenAI, una organización fundada con la misión de garantizar que la inteligencia artificial general (IAG) beneficie verdaderamente a toda la humanidad. Puede obtener más información sobre su misión en el sitio web de la Fundación OpenAI.
Fuente: Una ilustración representa un rostro de robot humanoide con ojos azules brillantes, sugiriendo un futuro donde la IA y la humanidad convergen, simbolizando la búsqueda de una IAG segura.
Resumen rápido
- Compromiso declarado de OpenAI: OpenAI enfatiza públicamente la seguridad como una misión central, integrando medidas desde el desarrollo inicial y colaborando con expertos externos y gobiernos.
- Nueva beca de seguridad: Un programa piloto lanzado en abril de 2026 para fomentar la investigación independiente en seguridad de IA, ofreciendo estipendios y mentoría.
- Descontento interno: Informes de *The New Yorker* y ex empleados (Ilya Sutskever, Dario Amodei, Jan Leike) sugieren un cambio de los principios de seguridad primero debido a presiones comerciales y preocupaciones sobre el liderazgo.
- Posición de Sam Altman: El CEO Sam Altman ha expresado que sus "vibras no están alineadas con muchas de las cosas tradicionales de seguridad de IA".
- Disolución del "Equipo de Superalineación": Un equipo dedicado a prevenir la "extinción humana" supuestamente recibió recursos mínimos y luego fue disuelto.
- Crítica externa: Miles Brundage criticó a OpenAI por supuestamente "reescribir" su historia de seguridad de IA.
- Contexto más amplio: El campo de la seguridad de la IA está creciendo, con raíces históricas, participación gubernamental (NIST, Estrategia de IA del Reino Unido) y debates en curso sobre riesgos actuales y especulativos.
El compromiso de OpenAI con la investigación de seguridad
OpenAI afirma consistentemente que la seguridad constituye un pilar fundamental de su misión, con el objetivo de maximizar los impactos positivos de la IA y minimizar los negativos. Su enfoque detallado para la seguridad y la alineación se describe en su artículo sobre cómo abordan la seguridad y la alineación. . La organización integra activamente medidas de seguridad desde las etapas iniciales de desarrollo para fomentar sistemas de IA innovadores y confiables.
Su enfoque incluye diez prácticas clave para una seguridad mejorada, como el red-teaming empírico y las pruebas previas al lanzamiento, según se describe en su marco de seguridad. . Por ejemplo, más de 70 expertos externos contribuyeron a evaluaciones de riesgos para GPT-4 a través de iniciativas de red-teaming, sobre las cuales puede leer en su visión general de seguridad. . OpenAI no liberará nuevos modelos si superan un umbral de riesgo "medio" dentro de su "Marco de preparación" hasta que se implementen las intervenciones de seguridad adecuadas, una política detallada en sus directrices de seguridad, . Este marco, introducido el año pasado, proporciona un enfoque estructurado para identificar y mitigar peligros potenciales, como se explica en el artículo.
. OpenAI se compromete a esfuerzos colaborativos. Se han unido a los "Compromisos de Seguridad de IA de Frontera", que abogan por el desarrollo seguro, el despliegue de modelos de IA y el intercambio de información sobre la mitigación de riesgos, como se cita en su documentación de seguridad. . El Instituto de Seguridad de IA de EE. UU. y OpenAI firmaron acuerdos sobre investigación de seguridad de IA. Puede encontrar más información sobre estos acuerdos en el sitio web del NIST. . A nivel mundial, OpenAI trabaja con gobiernos para desarrollar políticas efectivas de seguridad de IA, como se menciona en sus prácticas de seguridad.
Fuente: vectorseek.com
Un enfoque crítico para el trabajo de seguridad de OpenAI implica la protección de niños, implementando salvaguardias predeterminadas sólidas en ChatGPT y DALL-E, como se explica en su marco de seguridad. . Colaboran con organizaciones como Thorn para detectar y reportar material de abuso infantil al Centro Nacional para Niños Desaparecidos y Explotados, detallado en su compromiso de seguridad. . La compañía también interactúa con gobiernos y partes interesadas para salvaguardar la integridad de las elecciones; ChatGPT dirige a los usuarios en EE.UU. y Europa a fuentes oficiales de información electoral, como se describe en sus directrices de seguridad. . Además, OpenAI apoya la "Ley de Protección de Elecciones contra la IA Engañosa" en el Senado de EE.UU., que prohibiría el contenido generado por IA engañoso en la publicidad política. Puede leer el texto de este proyecto de ley en GovTrack.us.
Una nueva beca para la seguridad de la IA
Basándose en estos esfuerzos, OpenAI anunció un programa piloto de "Beca de Seguridad" el 6 de abril de 2026, diseñado para fomentar la investigación independiente en seguridad y alineación de IA y cultivar nuevos talentos. Este programa se desarrollará del 14 de septiembre de 2026 al 5 de febrero de 2027. Los becarios se centrarán en cuestiones de seguridad relevantes para los sistemas de IA actuales y futuros, incluida la evaluación de seguridad, la ética, la robustez, las mitigaciones escalables, los métodos de seguridad que preservan la privacidad, la supervisión de agentes y áreas con alto riesgo de uso indebido. Los participantes trabajarán en estrecha colaboración con mentores de OpenAI, ya sea de forma remota o en Constellation en Berkeley, como se indica en el sitio web de Constellation. . La beca incluye un estipendio mensual, soporte computacional y mentoría continua. Las solicitudes estuvieron abiertas hasta el 3 de mayo, y los candidatos seleccionados serán notificados antes del 25 de julio.
Evolución de la filosofía de seguridad de OpenAI
OpenAI ve el desarrollo de la IAG no como un salto singular y discontinuo, sino como una progresión de sistemas que ofrecen una utilidad creciente, como se indica en sus principios de seguridad. . Su principio de despliegue iterativo permite aprender de los sistemas actuales y adaptar la sociedad a la tecnología en evolución, lo cual se explica más detalladamente en su enfoque de seguridad. . Esta filosofía se alinea con el enfoque de OpenAI para el lanzamiento de GPT-2, que, según el ex líder de políticas Miles Brundage, era totalmente coherente con su filosofía actual de despliegue iterativo. Los comentarios de Brundage se pueden encontrar en su tweet. . Brundage afirmó que la cautela en torno al lanzamiento de GPT-2 estaba justificada, como se señala en el mismo tweet.
. A pesar de estos compromisos declarados, han surgido críticas internas y externas, lo que sugiere una posible desviación de los principios de seguridad fundamentales de OpenAI.
Creciente descontento interno
Un informe de *The New Yorker* en abril de 2026 reveló cómo la misión inicial de OpenAI de priorizar a la humanidad sobre las ganancias supuestamente se desmoronó bajo las presiones comerciales. Este cambio llevó a la compañía a convertirse en una entidad con fines de lucro, desmantelar muchos de sus equipos de seguridad y destituir a miembros de la junta que buscaron destituir al CEO Sam Altman por presuntos engaños sobre los protocolos de seguridad. El informe, basándose en documentos internos del ex científico jefe Ilya Sutskever y el ex líder de seguridad Dario Amodei (ahora CEO de Anthropic), destacó un conflicto fundamental. Amodei, por ejemplo, había abogado por una cláusula de "Fusión y Asistencia" en la carta constitutiva de OpenAI, obligando a la empresa a apoyar a otras empresas de IA si lograban una IAG segura primero. Microsoft, durante su inversión de 2019, supuestamente obtuvo poder de veto sobre esta cláusula.
El estilo de liderazgo de Sam Altman también ha sido objeto de escrutinio, con un memorando de Sutskever que supuestamente comenzaba con una lista donde el primer punto era "Sam muestra un patrón consistente de... Mentir". Amodei concluyó: "El problema con OpenAI es el propio Sam".
❝ El problema con OpenAI es el propio Sam. ❞
CEO de Anthropic
El propio Altman admitió a *The New Yorker* que sus "vibras no están alineadas con muchas de las cosas tradicionales de seguridad de IA".
❝ las vibras no están alineadas con muchas de las cosas tradicionales de seguridad de IA. ❞
CEO de OpenAI
Fuente: stablediffusionweb.com
El "Equipo de Superalineación", establecido a mediados de 2023 con la promesa de una quinta parte de la potencia de cálculo de OpenAI para prevenir el "empoderamiento humano o incluso la extinción humana", supuestamente recibió solo del uno al dos por ciento de la potencia de cálculo del hardware más antiguo y luego fue disuelto. Un representante de OpenAI pareció no conocer a los investigadores centrados en la seguridad existencial, diciendo: "Eso no existe".
❝ Eso no existe. ❞
Función desconocida
Estos relatos internos sugieren una desviación significativa del ethos declarado de la empresa de "primero la seguridad".
Preocupaciones externas y percepción pública
Ex empleados de OpenAI han expresado públicamente sus preocupaciones. En julio de 2024, un informe de *The Washington Post* detalló empleados anónimos que afirmaban que OpenAI apresuró las pruebas de seguridad y celebró sus productos prematuramente. El informe completo se puede leer en The Washington Post. . Jan Leike, un investigador clave de OpenAI, renunció, alegando que la "cultura y los procesos de seguridad de la empresa han pasado a un segundo plano frente a los productos brillantes".
❝ la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes. ❞
Investigador de OpenAI
Miles Brundage, en marzo de 2025, criticó a OpenAI por supuestamente "reescribir" su historia de seguridad de IA. Sus comentarios se pueden acceder a través de este tweet. . Brundage temía que la nueva narrativa de OpenAI tuviera como objetivo desestimar las preocupaciones como "alarmistas" y exigir "evidencia abrumadora de peligros inminentes", lo que aclaró además en su publicación en redes sociales.
Fuente: robots.law.miami.edu
A pesar de estas críticas, Taya Christianson, portavoz de OpenAI, afirmó el orgullo de la empresa por su historial de entrega de sistemas de IA capaces y seguros.
El panorama más amplio de la seguridad de la IA
El campo de la seguridad de la IA ha ganado una tracción significativa, especialmente desde 2023, impulsado por los rápidos avances en IA generativa y las crecientes preocupaciones públicas de investigadores y directores ejecutivos. Esto incluye discusiones sobre riesgos actuales como errores de IA, sesgos y vigilancia impulsada por IA, así como amenazas emergentes como desinformación y armas autónomas. Los riesgos especulativos, como la pérdida de control sobre futuros agentes de IAG o la IA que permite dictaduras estables, también forman parte de estas discusiones.
Históricamente, los riesgos de la IA se han debatido desde los primeros días de la cibernética, como señaló Norbert Wiener en 1949. Roman Yampolskiy introdujo el término "ingeniería de seguridad de IA" en 2011, prediciendo un aumento en la frecuencia y gravedad de las fallas de la IA. El libro de Nick Bostrom de 2014, *Superinteligencia*, popularizó aún más estas preocupaciones, con figuras como Elon Musk, Bill Gates y Stephen Hawking haciendo eco de sus advertencias.
Organismos gubernamentales y académicos de todo el mundo están participando activamente en la seguridad de la IA. La Comisión de Seguridad Nacional de IA de EE. UU. informó en 2021 que los sistemas de IA deben alinearse con los objetivos y valores humanos, incluida la seguridad y la confiabilidad. El Instituto Nacional de Estándares y Tecnología (NIST) desarrolló un marco para la gestión de riesgos de IA. China publicó directrices éticas en 2021 enfatizando el control y la responsabilidad humanos, y la Estrategia Nacional de IA del Reino Unido de 2021 reconoce los riesgos a largo plazo de la IAG no alineada.
Áreas clave de investigación en seguridad de IA
La investigación en seguridad de IA abarca ampliamente varias áreas críticas:
| Área | Descripción | Desafíos de ejemplo |
|---|---|---|
| Robustez | Garantizar que los sistemas de IA funcionen de manera confiable y predecible, incluso en condiciones inesperadas o ataques adversarios. | "Ejemplos adversarios", "Inyección de "prompt"", "Robo de modelos". |
| Monitoreo | Desarrollar métodos para comprender y supervisar el comportamiento de la IA, especialmente a medida que los sistemas se vuelven más complejos. | Problema de "caja negra", "Interpretabilidad interna", detección de "caballos de Troya" o puertas traseras. |
| Alineación | Garantizar que los sistemas de IA persiguen los objetivos, preferencias y principios éticos previstos, en lugar de aquellos no deseados o perjudiciales. | "Objetivos proxy", "Objetivos instrumentales", engaño estratégico, codificación de valores humanos. |
| Seguridad sistémica | Abordar riesgos más amplios derivados de presiones competitivas, cultura de seguridad inadecuada e implicaciones geopolíticas. | "Carrera hacia el abismo", implicaciones de ciberseguridad, impacto en la toma de decisiones. |
OpenAI reconoce varios principios centrales para su enfoque de seguridad y alineación: aceptar la incertidumbre, abogar por la defensa en profundidad, desarrollar métodos de seguridad escalables, mantener el control humano y fomentar esfuerzos colaborativos. Estos principios se detallan en su artículo, Cómo pensamos sobre la seguridad y la alineación. . Buscan construir sistemas transparentes, auditables y controlables, codificando políticas explícitas y "jurisprudencia" en el entrenamiento de modelos, como se explora más a fondo en su página de seguridad.
Conclusión
El viaje de OpenAI a través de la seguridad de la IA refleja una compleja interacción de promesas ambiciosas, contribuciones técnicas significativas y desafíos internos. Si bien la compañía continúa anunciando nuevas iniciativas como la "Beca de Seguridad" y enfatiza su compromiso con el desarrollo seguro, los informes críticos de ex empleados y *The New Yorker* plantean importantes preguntas sobre la coherencia de sus acciones con su misión declarada. El debate en curso sobre la cultura interna de OpenAI y la priorización del producto sobre la seguridad resalta las dificultades inherentes para navegar la rápida evolución de la IA mientras se mantienen los estándares éticos y de seguridad en beneficio de todos. Los ojos de la comunidad de IA, los responsables políticos y el público permanecen en OpenAI mientras se esfuerza por reconciliar sus imperativos comerciales con su visión fundacional de una IAG segura y beneficiosa.
Fuente: YouTube
Preguntas frecuentes sobre las prácticas de seguridad de OpenAI
Aquí hay algunas preguntas comunes sobre el enfoque de OpenAI hacia la seguridad de la IA y los desarrollos recientes:
- ¿Cuál es la misión declarada de OpenAI con respecto a la seguridad de la IA?
La misión de OpenAI es garantizar que la inteligencia artificial general (IAG) beneficie a toda la humanidad. Declaran que la seguridad es una parte fundamental de esta misión, con el objetivo de maximizar los impactos positivos y minimizar los negativos.
- ¿Qué es el programa de "Beca de Seguridad"?
La "Beca de Seguridad" es un programa piloto anunciado por OpenAI en abril de 2026 para apoyar la investigación independiente en seguridad y alineación de IA, y para cultivar nuevos talentos en el campo. Incluye estipendios, soporte computacional y mentoría.
- ¿Por qué existen preocupaciones sobre el compromiso de OpenAI con la seguridad?
Las preocupaciones provienen de informes de *The New Yorker* y ex empleados que alegan un cambio del ethos original de "primero la seguridad" de OpenAI debido a presiones comerciales. Puntos específicos de controversia incluyen la disolución de equipos de seguridad, la supuesta minimización del "Equipo de Superalineación" y críticas sobre la priorización del liderazgo de los lanzamientos de productos sobre las pruebas de seguridad exhaustivas.
- ¿Quiénes son algunas figuras clave que plantean preocupaciones sobre la cultura de seguridad de OpenAI?
Los críticos prominentes incluyen al ex científico jefe Ilya Sutskever, el ex líder de seguridad Dario Amodei (ahora CEO de Anthropic), el ex líder de políticas Miles Brundage y el investigador Jan Leike, quienes han expresado preocupaciones sobre las prácticas internas y los cambios filosóficos de la empresa.
- ¿Cómo afirma OpenAI garantizar la seguridad de la IA?
OpenAI afirma integrar medidas de seguridad desde el desarrollo inicial, empleando prácticas como el red-teaming empírico, las pruebas previas al lanzamiento y un "Marco de preparación". También participan en colaboraciones con expertos externos, gobiernos y organizaciones para abordar riesgos como el material de abuso infantil y la interferencia electoral.