Сверхинтеллект: Реакция экспертов на видение и вызовы OpenAI
Гонка за созданием общего искусственного интеллекта (AGI) и чего-то гораздо большего вызвало интерес как у технологов, так и у общественности. Будучи журналистом, освещающим быстро развивающуюся область ИИ, я лично наблюдал за амбициями и опасениями, которые сопровождают эти достижения. OpenAI, ведущий игрок в этой области, оказалась в центре этой дискуссии, сталкиваясь не только с техническими препятствиями, но и с глубокими этическими и социальными последствиями того, что они создают.
Источник: Собственная иллюстрация
Краткое изложение
- OpenAI стремится разработать «сверхинтеллект», определяемый как интеллект, значительно превосходящий человеческие когнитивные способности.
- Генеральный директор Сэм Альтман оценивает, что сверхинтеллект может появиться в течение «пары тысяч дней» (от 5,5 до 11 лет).
- OpenAI создала команду «Superalignment», выделяя 20% своих вычислительных мощностей в течение четырех лет для обеспечения безопасной разработки ИИ.
- Компания признает значительные риски, включая экономические потрясения, злоупотребление и потенциальный упадок сил или вымирание человечества, если сверхинтеллект не будет правильно согласован.
- OpenAI выступает за новую промышленную политику и демократическое принятие решений относительно ценностей ИИ, выходя за рамки постепенных корректировок.
- Внутренние проблемы, включая смену руководства и уход исследователей, подчеркивают продолжающуюся напряженность в отношении безопасности и быстрой разработки.
Стремление к сверхинтеллекту
OpenAI публично заявила о своей уверенности в создании AGI, который она определяет как «высокоавтономную систему, превосходящую людей в большинстве экономически ценных работ». Однако амбиции компании выходят за рамки традиционного AGI, фокусируясь на том, что они называют «сверхинтеллектом». Сэм Альтман, генеральный директор OpenAI, предположил, что сверхинтеллект может появиться в течение «пары тысяч дней». Этот временной интервал, составляющий примерно от 5,5 до почти 11 лет, подчеркивает срочность, которую многие в этой области ощущают в отношении его развития. Сверхинтеллект, как определил Ник Бостром в своей книге 2014 года
Сверхинтеллект: пути, опасности, стратегии, — это «любой интеллект, который значительно превосходит когнитивные способности человека практически во всех релевантных областях».
Источник: tedapp.ai
Книга Ника Бострома 2014 года дает фундаментальное определение сверхинтеллекта, излагая его потенциальные пути, опасности и стратегии.
Альтман назвал книгу Бострома «лучшим, что он видел по этой теме».
OpenAI считает, что сверхинтеллект может ускорить научные и медицинские открытия, значительно повысить производительность и снизить затраты. Затраты, связанные с созданием сверхинтеллекта, ежегодно снижаются, а число организаций, занимающихся его разработкой, стремительно растет. Компания признает, что риски такой мощной технологии значительны, включая экономические потрясения, злоупотребления со стороны злоумышленников, несогласованные системы и концентрацию власти и богатства. OpenAI считает, что сверхинтеллект несет в себе потенциал лишить человечество власти или даже привести к его вымиранию, если он не будет должным образом согласован.
Инициатива Superalignment
Признавая эти глубокие риски, OpenAI объявила о создании своей команды «Superalignment» 5 июля 2023 года, как подробно описано в их посте в блоге. Под руководством Ильи Суцкевера и Яна Лейке, миссия команды заключается в решении проблемы управления и контроля над системами ИИ, которые значительно умнее людей. OpenAI обязалась выделить 20% своих текущих обеспеченных вычислительных мощностей в течение следующих четырех лет для решения проблемы сверхинтеллектуального выравнивания. Цель команды — устранить основные технические проблемы сверхинтеллектуального выравнивания в течение четырех лет.
Современные методы выравнивания ИИ, которые полагаются на человеческий надзор, не будут эффективно масштабироваться для сверхинтеллекта. Подход команды Superalignment включает создание автоматизированного исследователя выравнивания человеческого уровня, разработку масштабируемого метода обучения, валидацию модели и стресс-тестирование всего конвейера выравнивания. OpenAI опубликовала первые результаты своей команды Superalignment 14 декабря 2023 года, детально описав технику, в которой менее мощная большая языковая модель может контролировать более мощную. Например, команда использовала GPT-2 для надзора над GPT-4 в различных задачах, чтобы исследовать, как люди могут контролировать сверхразумные модели. Результаты показали, что GPT-4, обученный GPT-2, показал на 20% - 70% лучшие результаты в языковых задачах, но худшие в шахматных головоломках. Однако исследователь ИИ Тило Хагендорф выразил опасения, что GPT-2 может быть слишком «глупым», чтобы служить эффективным учителем.
OpenAI планирует широко делиться результатами своих усилий по сверхинтеллекте, чтобы внести вклад в выравнивание и безопасность моделей, не связанных с OpenAI. Для дальнейшего продвижения этого исследования OpenAI объявила о фонде в размере 10 миллионов долларов для поддержки исследователей, работающих над сверхинтеллектом.
Управление и политика в эпоху интеллекта
OpenAI опубликовала статью «Управление сверхинтеллектом» 22 мая 2023 года, подчеркнув необходимость рассмотрения вопросов управления будущими системами ИИ, значительно более мощными, чем AGI. Компания предлагает три подхода к управлению сверхинтеллектом: координация между ведущими разработками, международное агентство, аналогичное МАГАТЭ, для сверхинтеллектуальных начинаний и техническая возможность сделать сверхинтеллект безопасным. OpenAI утверждает, что люди по всему миру должны демократически решать вопросы ценностей для систем ИИ.
6 апреля 2026 года OpenAI опубликовала статью «Промышленная политика для эпохи интеллекта», представляющую идеи по формированию будущего с помощью продвинутого ИИ. Эта статья предполагает, что постепенные корректировки политики будут недостаточными, поскольку общество движется к сверхинтеллекту. OpenAI предлагает гранты и исследовательские премии до 100 000 долларов США и до 1 миллиона долларов США в кредитах API для работ, основанных на этих политических идеях. Компания также объявила о новом семинаре в Вашингтоне, округ Колумбия, в мае для проведения дискуссий по промышленной политике для эпохи интеллекта.
OpenAI предлагает, что новая промышленная политика необходима для решения проблем и использования возможностей, представленных сверхинтеллектом. Это включает предоставление работникам права голоса в переходе к ИИ, содействие предпринимательству на базе ИИ и рассмотрение доступа к ИИ как фундаментального для современной экономики. Они рекомендуют модернизировать налоговую базу для обеспечения непрерывного финансирования социальных программ и создания адаптивных систем социальной защиты. OpenAI подчеркивает важность мер безопасности до и после развертывания систем ИИ, включая мониторинг в реальном времени и интеграцию в существующие институты. Они предлагают более строгие меры контроля, включая аудиты, для небольшого числа высокоэффективных моделей, которые могут представлять химические, биологические, радиологические, ядерные или кибернетические риски.
Внутренняя динамика и отбытия
Стремление к сверхинтеллекту не обошлось без внутренних проблем в OpenAI. Команда, ответственная за управление сверхразумными системами, была недавно распущена после ухода из компании ее двух соруководителей, Ильи Суцкевера и Яна Лейке.
Источник: artificial-intelligence.blog
Илья Суцкевер, соруководитель команды Superalignment, недавно покинул OpenAI, что ознаменовало значительный внутренний сдвиг.
❝ в последние годы культура и процессы безопасности отошли на второй план по сравнению с блестящими продуктами. ❞
Исследователь ИИ
В июне 2024 года Илья Суцкевер основал новую компанию под названием "Safe Superintelligence".
Кратковременное смещение Сэма Альтмана с поста генерального директора в ноябре 2023 года было важным моментом, который он охарактеризовал как «серьезный сбой управления». Расследование WilmerHale приписало его увольнение «разрыву отношений и потере доверия» между предыдущим советом директоров и Альтманом. С конца 2023 года несколько ведущих исследователей покинули OpenAI, в том числе Илья Суцкевер и Алек Рэдфорд. Эти уходы подчеркивают продолжающуюся напряженность и разногласия внутри организации относительно безопасности, быстрой разработки и корпоративного управления. В настоящее время OpenAI имеет три органа по безопасности: внутреннюю консультативную группу по безопасности, комитет по безопасности и защите на уровне совета директоров и комитет по безопасности развертывания.
Комитеты по безопасности OpenAI
OpenAI в настоящее время работает с тремя отдельными органами по обеспечению безопасности, отражая свою приверженность решению сложных рисков, связанных с разработкой передовых ИИ:
| Название комитета | Основная функция |
|---|---|
| Внутренняя консультативная группа по безопасности | Предоставляет внутренние руководящие указания и рекомендации по протоколам безопасности и исследованиям. |
| Комитет по безопасности и защите на уровне совета директоров | Курирует высокоуровневые стратегии безопасности и защиты, отчитываясь непосредственно перед советом директоров. |
| Комитет по безопасности развертывания | Сосредоточен на вопросах безопасности и этических последствий при развертывании систем ИИ. |
Заключение
Дебаты вокруг сверхинтеллекта и его развития сложны и охватывают как исключительные потенциальные преимущества, так и одинаково глубокие риски. OpenAI, ключевой архитектор этого будущего, продолжает преодолевать эти проблемы, выделяя значительные ресурсы на исследования выравнивания и выступая за дальновидные политики управления. Путь к сверхинтеллекту требует не только технологических прорывов, но и устойчивого, глобального диалога о его этических последствиях и о том, как гарантировать, что он в конечном итоге послужит наилучшим интересам человечества.
Часто задаваемые вопросы (FAQ)
Какова разница между AGI и сверхинтеллектом?
AGI (Artificial General Intelligence) относится к высокоавтономной системе, способной превосходить людей в большинстве экономически ценных работ. Сверхинтеллект, как определено Ником Бостромом, — это любой интеллект, который значительно превосходит когнитивные способности человека практически во всех релевантных областях, что подразумевает гораздо более высокий уровень возможностей, чем AGI.
Как быстро OpenAI ожидает появления сверхинтеллекта?
Сэм Альтман, генеральный директор OpenAI, предположил, что сверхинтеллект может появиться в течение «пары тысяч дней», что переводится примерно в 5,5-11 лет с момента его заявления.
Какова цель команды Superalignment OpenAI?
Миссия команды Superalignment заключается в решении проблемы управления и контроля над системами ИИ, которые значительно умнее людей. Они посвящены решению основных технических проблем сверхинтеллектуального выравнивания в течение четырех лет, обеспечивая безопасность и пользу этих мощных систем.
Каковы основные риски, связанные со сверхинтеллектом, по мнению OpenAI?
OpenAI определяет несколько значительных рисков, включая экономические потрясения, потенциальное злоупотребление со стороны злоумышленников, несогласованные системы, которые не действуют в наилучших интересах человечества, и концентрацию власти и богатства. Они также предупреждают о потенциале сверхинтеллекта лишить человечество власти или даже привести к его вымиранию, если он не будет должным образом согласован.