Superintelligence : réactions d'experts à la vision et aux défis d'OpenAI
La course à l'intelligence artificielle générale (IAG) et à quelque chose de bien au-delà a captivé l'attention des technologues et du public. En tant que journaliste couvrant le paysage en rapide évolution de l'IA, j'ai constaté de première main l'ambition et l'appréhension qui accompagnent ces progrès. OpenAI, un acteur de premier plan dans ce domaine, se retrouve à la pointe de cette discussion, aux prises non seulement avec les obstacles techniques, mais aussi avec les profondes implications éthiques et sociétales de ce qu'ils construisent.
Source: Illustration personnelle
Résumé rapide
- OpenAI vise à développer la « superintelligence », définie comme une intelligence surpassant largement les performances cognitives humaines.
- Le PDG Sam Altman estime que la superintelligence pourrait arriver dans « quelques milliers de jours » (5,5 à 11 ans).
- OpenAI a créé une équipe « Superalignment », consacrant 20 % de sa puissance de calcul sur quatre ans au développement d'une IA sécurisée.
- L'entreprise reconnaît des risques importants, notamment des perturbations économiques, des mésusages et la désautonomisation ou l'extinction potentielle de l'humanité si la superintelligence n'est pas correctement alignée.
- OpenAI plaide pour de nouvelles politiques industrielles et une prise de décision démocratique sur les valeurs de l'IA, allant au-delà des ajustements incrémentiels.
- Les défis internes, y compris les changements de direction et les départs de chercheurs, soulignent les tensions persistantes concernant la sécurité et le développement rapide.
La recherche de la superintelligence
OpenAI a déclaré publiquement sa confiance dans la construction d'une IAG, qu'elle définit comme un « système hautement autonome qui surpasse les humains dans la plupart des travaux économiquement précieux », selon ses propres termes. Cependant, l'ambition de l'entreprise va au-delà de l'IAG traditionnelle, se concentrant sur ce qu'elle appelle la « superintelligence ». Sam Altman, PDG d'OpenAI, a suggéré que la superintelligence pourrait arriver dans « quelques milliers de jours ». Ce délai, allant d'environ 5,5 à près de 11 ans, souligne l'urgence que beaucoup dans le domaine ressentent concernant son développement. La superintelligence, telle que définie par Nick Bostrom dans son livre de 2014
Superintelligence : Chemins, Dangers, Stratégies, est « toute intelligence qui dépasse largement les performances cognitives des humains dans pratiquement tous les domaines pertinents ».
Source: tedapp.ai
Le livre de Nick Bostrom (2014) fournit une définition fondamentale de la superintelligence, décrivant ses voies potentielles, ses dangers et ses stratégies.
Altman a qualifié le livre de Bostrom de « meilleure chose qu'il ait vue sur le sujet ».
OpenAI estime que la superintelligence pourrait accélérer les avancées scientifiques et médicales, augmenter considérablement la productivité et réduire les coûts. Les coûts associés à la construction de la superintelligence diminuent chaque année, et le nombre d'entités qui en poursuivent le développement augmente rapidement. L'entreprise reconnaît que les risques d'une technologie aussi puissante sont considérables, notamment les perturbations économiques, les mésusages par des acteurs malveillants, les systèmes mal alignés et la concentration du pouvoir et de la richesse. OpenAI pense que la superintelligence a le potentiel de désautonomiser l'humanité, voire de la conduire à son extinction si elle n'est pas correctement alignée.
L'initiative Superalignment
Reconnaissant ces risques profonds, OpenAI a annoncé la formation de son équipe « Superalignment » le 5 juillet 2023, comme détaillé dans leur article de blog. Initialement dirigée par Ilya Sutskever et Jan Leike, la mission de l'équipe est de résoudre le problème de la gouvernance et du contrôle des systèmes d'IA qui sont beaucoup plus intelligents que les humains. OpenAI a engagé 20 % de sa puissance de calcul actuellement sécurisée sur les quatre prochaines années pour relever le défi du superalignment. L'objectif de l'équipe est de résoudre les problèmes techniques fondamentaux de l'alignement de la superintelligence dans les quatre ans.
Les techniques actuelles d'alignement de l'IA, qui reposent sur la supervision humaine, ne seront pas efficacement adaptées à la superintelligence. L'approche de l'équipe Superalignment implique la construction d'un chercheur d'alignement automatisé de niveau humain, le développement d'une méthode d'entraînement évolutive, la validation du modèle et le test de stress de l'ensemble du pipeline d'alignement. OpenAI a publié les premiers résultats de son équipe Superalignment le 14 décembre 2023, détaillant une technique où un modèle linguistique plus petit peut superviser un modèle plus puissant. Par exemple, l'équipe a utilisé GPT-2 pour superviser GPT-4 dans diverses tâches afin d'explorer comment les humains pourraient surveiller des modèles surhumains. Les résultats ont montré que GPT-4, lorsqu'il était formé par GPT-2, obtenait de 20 % à 70 % de meilleures performances sur les tâches linguistiques, mais moins bonnes sur les puzzles d'échecs. Cependant, le chercheur en IA Thilo Hagendorff a soulevé des inquiétudes quant au fait que GPT-2 pourrait être trop « stupide » pour servir d'enseignant efficace.
OpenAI prévoit de partager largement les résultats de ses efforts de Superalignment pour contribuer à l'alignement et à la sécurité des modèles non-OpenAI. Pour faire avancer cette recherche, OpenAI a annoncé un fonds de 10 millions de dollars pour soutenir les chercheurs travaillant sur le superalignment.
Gouvernance et politique à l'ère de l'intelligence
OpenAI a publié un article sur la « Gouvernance de la superintelligence » le 22 mai 2023, soulignant la nécessité de considérer la gouvernance des futurs systèmes d'IA beaucoup plus puissants que l'IAG. L'entreprise suggère trois approches pour gouverner la superintelligence : la coordination entre les principaux efforts de développement, une agence internationale similaire à l'AIEA pour les efforts de superintelligence, et la capacité technique de rendre la superintelligence sûre. OpenAI soutient que les peuples du monde entier devraient décider démocratiquement des valeurs des systèmes d'IA.
Le 6 avril 2026, OpenAI a publié un article sur la « Politique industrielle pour l'ère de l'intelligence », présentant des idées pour façonner l'avenir avec l'IA avancée. Cet article suggère que des ajustements politiques incrémentiels seront insuffisants à mesure que la société se dirige vers la superintelligence. OpenAI offre des subventions et des prix de recherche allant jusqu'à 100 000 dollars et jusqu'à 1 million de dollars de crédits API pour les travaux basés sur ces idées politiques. L'entreprise a également annoncé un nouvel atelier à Washington, D.C., en mai pour organiser des discussions sur la politique industrielle pour l'ère de l'intelligence.
OpenAI propose qu'une nouvelle politique industrielle est nécessaire pour relever les défis et les opportunités présentés par la superintelligence. Cela inclut de donner aux travailleurs une voix dans la transition de l'IA, de favoriser l'entrepreneuriat alimenté par l'IA et de traiter l'accès à l'IA comme fondamental pour une économie moderne. Ils recommandent de moderniser la base d'imposition pour assurer un financement continu des programmes sociaux et de créer des filets de sécurité sociale adaptatifs. OpenAI souligne l'importance des garanties avant et après le déploiement des systèmes d'IA, y compris la surveillance en temps réel et l'intégration dans les institutions existantes. Ils proposent des contrôles plus stricts, y compris des audits, pour un petit nombre de modèles de haute capacité qui pourraient présenter des risques chimiques, biologiques, radiologiques, nucléaires ou cybernétiques.
Dynamiques internes et départs
La quête de la superintelligence n'a pas été sans défis internes chez OpenAI. L'équipe responsable de la gouvernance des systèmes superintelligents a été récemment dissoute après le départ de ses deux co-responsables, Ilya Sutskever et Jan Leike, de l'entreprise.
Source: artificial-intelligence.blog
Ilya Sutskever, co-responsable de l'équipe Superalignment, a récemment quitté OpenAI, marquant un changement interne important.
❝ ces dernières années, la culture et les processus de sécurité sont passés au second plan au profit de produits attrayants. ❞
Chercheur en IA
En juin 2024, Ilya Sutskever a fondé une nouvelle société nommée « Safe Superintelligence ».
Le bref limogeage de Sam Altman en tant que PDG en novembre 2023 a été un moment important, qu'il a qualifié de « grave échec de gouvernance ». Une enquête de WilmerHale a attribué sa destitution à une « rupture de la relation et une perte de confiance » entre le conseil d'administration précédent et Altman. Depuis fin 2023, plusieurs chercheurs de premier plan ont quitté OpenAI, dont Ilya Sutskever et Alec Radford. Ces départs soulignent les tensions persistantes et les perspectives divergentes au sein de l'organisation concernant la sécurité, le développement rapide et la gouvernance d'entreprise. OpenAI dispose actuellement de trois organes de sécurité : un groupe consultatif interne sur la sécurité, un comité de sécurité et de sûreté au niveau du conseil d'administration, et le comité de sécurité du déploiement.
Comités de sécurité d'OpenAI
OpenAI fonctionne actuellement avec trois organes de sécurité distincts, reflétant son engagement à relever les risques complexes associés au développement avancé de l'IA :
| Nom du comité | Fonction principale |
|---|---|
| Groupe consultatif interne sur la sécurité | Fournit des conseils et des recommandations internes sur les protocoles et la recherche en matière de sécurité. |
| Comité de sécurité et de sûreté au niveau du conseil d'administration | Supervise les stratégies de haut niveau en matière de sécurité et de sûreté, relevant directement du conseil d'administration. |
| Comité de sécurité du déploiement | Se concentre sur la sécurité et les implications éthiques lors du déploiement des systèmes d'IA. |
Conclusion
Le débat entourant la superintelligence et son développement est complexe, englobant des bénéfices potentiels extraordinaires et des risques tout aussi profonds. OpenAI, un architecte clé de cet avenir, continue de naviguer ces défis en engageant des ressources importantes dans la recherche sur l'alignement et en plaidant pour des politiques de gouvernance avant-gardistes. Le chemin vers la superintelligence nécessite non seulement des avancées technologiques, mais aussi une conversation mondiale soutenue sur ses implications éthiques et sur la manière de garantir qu'elle serve ultimement les meilleurs intérêts de l'humanité.
Questions fréquemment posées (FAQ)
Quelle est la différence entre l'IAG et la superintelligence ?
L'IAG (Intelligence Artificielle Générale) fait référence à un système hautement autonome capable de surpasser les humains dans la plupart des travaux économiquement précieux. La superintelligence, telle que définie par Nick Bostrom, est toute intelligence qui dépasse largement les performances cognitives humaines dans pratiquement tous les domaines pertinents, impliquant un niveau de capacité beaucoup plus élevé que l'IAG.
À quelle vitesse OpenAI s'attend-elle à l'arrivée de la superintelligence ?
Sam Altman, PDG d'OpenAI, a suggéré que la superintelligence pourrait arriver dans « quelques milliers de jours », ce qui se traduit par environ 5,5 à 11 ans à compter de sa déclaration.
Quel est le but de l'équipe Superalignment d'OpenAI ?
La mission de l'équipe Superalignment est de résoudre le problème de la gouvernance et du contrôle des systèmes d'IA qui sont beaucoup plus intelligents que les humains. Ils se consacrent à la résolution des défis techniques fondamentaux de l'alignement de la superintelligence dans les quatre ans, afin de garantir que ces systèmes puissants restent sûrs et bénéfiques.
Quels sont les principaux risques associés à la superintelligence, selon OpenAI ?
OpenAI identifie plusieurs risques importants, notamment les perturbations économiques, les mésusages potentiels par des acteurs malveillants, les systèmes mal alignés qui n'agissent pas dans le meilleur intérêt de l'humanité, et la concentration du pouvoir et de la richesse. Ils mettent également en garde contre le potentiel de désautonomisation de l'humanité, voire de son extinction, si la superintelligence n'est pas correctement alignée.