التنقل في الذكاء الاصطناعي في الأنظمة الحرجة: دروس من حوادث روبوت الترميز الخاص بأمازون
عندما سمعت لأول مرة عن أدوات الذكاء الاصطناعي التي تسببت في انقطاع الأنظمة، أعترف، تخيلت ذكاءً اصطناعيًا مارقًا يسيطر على الأمور، مشهدًا مستوحى من الخيال العلمي. الواقع، كما يحدث غالبًا، أكثر تعقيدًا، متجذرًا في التفاعل المعقد بين التكنولوجيا المتقدمة واتخاذ القرارات البشرية. تبرز الحوادث الأخيرة في Amazon Web Services (AWS) هذا التوازن الدقيق، مما يثير نقاشًا حيويًا حول دمج الذكاء الاصطناعي في البنية التحتية الحرجة.
المصدر: رسم توضيحي خاص
ملخص سريع
إليك نظرة عامة موجزة على النقاط الرئيسية المتعلقة بحوادث روبوت ترميز الذكاء الاصطناعي الخاص بأمازون:
- حادثان موثقان: شهدت AWS انقطاعين على الأقل حيث يُزعم أن أدوات ترميز الذكاء الاصطناعي الداخلية، Kiro و Amazon Q Developer، كانت متورطة.
- دور Kiro: وقع انقطاع لمدة 13 ساعة في منتصف ديسمبر بعد أن سمح المهندسون لـ Kiro، وهو ذكاء اصطناعي وكيل، بإجراء تغييرات، مما أدى إلى حذفه وإعادة إنشاء بيئة.
- موقف أمازون: تنفي أمازون وجود صلة مباشرة بين أدوات الذكاء الاصطناعي وانقطاع الخدمة، وتنسبها إلى أخطاء المستخدمين وضوابط الوصول غير الصحيحة.
- تأثير محدود: أثر الحادث الذي وقع في ديسمبر على AWS Cost Explorer فقط في منطقة واحدة من البر الرئيسي للصين، مع عدم وجود تأثير على خدمات الحوسبة الأساسية أو التخزين أو قواعد البيانات.
- ضمانات جديدة: نفذت AWS حمايات إضافية بعد الحادث، بما في ذلك المراجعة الإلزامية للأقران وتدريب الموظفين، وهو ما يراه البعض متعارضًا مع ادعاء أمازون بوجود خطأ من المستخدم.
انقطاعات AWS وأدوات ترميز الذكاء الاصطناعي
شهدت Amazon Web Services (AWS) انقطاعين على الأقل حيث يُقال إن أدوات ترميز الذكاء الاصطناعي الداخلية لعبت دورًا. الحادث الأكثر بروزًا شمل انقطاعًا لمدة 13 ساعة في نظام AWS في منتصف ديسمبر، وقع بعد أن سمح المهندسون لأداة الذكاء الاصطناعي Kiro بتنفيذ التغييرات، كما هو مفصل في مقال Ars Technica. . يبدو أن Kiro، وهي أداة ذكاء اصطناعي وكيل مصممة للعمل بشكل مستقل نيابة عن المستخدمين، قامت بحذف البيئة المتأثرة ثم أعادت إنشائها. قامت أمازون لاحقًا بصياغة تقرير داخلي عن مراجعة ما بعد الحادث لهذا الانقطاع، الذي أثر على وظائف إدارة تكاليف AWS.
المصدر: aws.amazon.com
في ديسمبر/كانون الأول، تسببت أداة الذكاء الاصطناعي الوكيل Kiro في انقطاع لمدة 13 ساعة لنظام AWS، مما أثر على وظائف إدارة التكاليف بعد أن سمح المهندسون لها بحذف وإعادة إنشاء بيئة.
حادث ثانٍ أحدث، يُقال إنه شمل أداة Amazon Q Developer للذكاء الاصطناعي. على الرغم من هذه التقارير، نفت أمازون باستمرار وجود صلة مباشرة بين أدواتها للذكاء الاصطناعي وانقطاعات الخدمة، وعزتها بدلاً من ذلك إلى أخطاء المستخدمين، كما ورد في The Register. . أوضح متحدث باسم AWS أن الأحداث نتجت عن أخطاء المستخدمين، وخاصة ضوابط الوصول غير الصحيحة، بدلاً من مشاكل في الذكاء الاصطناعي نفسه.
نطاق وتأثير انقطاعات الخدمة
أثر حادث ديسمبر على AWS Cost Explorer فقط في واحدة من منطقتين في البر الرئيسي للصين. والأهم من ذلك، ظلت خدمات الحوسبة أو التخزين أو قواعد البيانات أو الذكاء الاصطناعي غير متأثرة بهذا الحدث المحدد. وفقًا لأمازون، لم يكن للحادث الثاني أي تأثير على أي خدمة AWS تواجه العملاء. تؤكد أمازون أن مشاركة أدوات الذكاء الاصطناعي في هذه الأحداث كانت عرضية، وتؤكد أن مشاكل مماثلة يمكن أن تنشأ مع أي أداة مطور أو تدخل يدوي. كما تدعي الشركة أنها لم تجد أي دليل على أن الأخطاء تحدث بشكل متكرر مع أدوات الذكاء الاصطناعي أكثر من بدونها.
وفقًا لأمازون، كان لدى المهندس المشارك في حادث ديسمبر صلاحيات أوسع مما كان متوقعًا، وهو ما صنفها أمازون على أنها مشكلة في التحكم في الوصول، وليس مشكلة في استقلالية الذكاء الاصطناعي. افتراضيًا، يطلب Kiro التفويض قبل القيام بأي إجراء.
Kiro والذكاء الاصطناعي الوكيل في الترميز
يعمل Kiro كخدمة ترميز وكيل داخل AWS، وقادرة على تحويل المطالبات إلى مواصفات مفصلة ثم إلى رمز وظيفي، كما هو مفصل في تقرير Financial Times. . تم تصميمه للتخفيف من المخاطر المرتبطة بأدوات التطوير الأخرى المدعومة بالذكاء الاصطناعي، مثل GitHub Copilot أو Amazon CodeWhisperer. أشارت التقارير إلى أن أداة الذكاء الاصطناعي Kiro تمتعت بنفس مستوى التفويض كمهندس بشري، مما سمح بإجراء التغيير دون موافقة محددة، وفقًا لـ Ars Technica. . فرضت أمازون على مهندسيها استخدام Kiro حصريًا، وتجاهل أدوات تطوير الذكاء الاصطناعي التابعة لجهات خارجية مثل OpenAI Codex و Claude Code. ذكر موظف كبير في AWS أن انقطاعات الخدمة كانت طفيفة ولكن يمكن التنبؤ بها تمامًا.
❝ انقطاعات الخدمة كانت طفيفة ولكن يمكن التنبؤ بها تمامًا ❞
AWS
المصدر: github.blog
تم تصميم Kiro، خدمة ترميز الذكاء الاصطناعي الوكيل في AWS، للتخفيف من المخاطر التي شوهدت في أدوات مثل GitHub Copilot أو Amazon CodeWhisperer.
بعد حادث ديسمبر، نفذت AWS العديد من الضمانات الإضافية، بما في ذلك المراجعة الإلزامية للأقران للوصول إلى الإنتاج وتحسين تدريب الموظفين. ومع ذلك، يبدو أن إدخال هذه التدابير الوقائية يتعارض مع تأكيد أمازون بأن المشاكل كانت بسبب أخطاء المستخدمين فقط، كما نوقش في منتدى على The Register. . توجد أيضًا تقارير عن مشاكل أخرى مع Kiro منذ تقديمه، بما في ذلك تطبيق قوائم الانتظار و "مأساة محطمة للمحافظ" بسبب الطلب المرتفع بشكل غير متوقع.
الدروس الرئيسية لدمج الذكاء الاصطناعي
تقدم حوادث أمازون رؤى قيمة حول التحديات وأفضل الممارسات لدمج الذكاء الاصطناعي في الأنظمة التشغيلية المعقدة:
| الجانب | الدروس المستفادة |
|---|---|
| التحكم في الوصول | قم بإدارة الأذونات الخاصة بأدوات الذكاء الاصطناعي بدقة، مع ضمان عدم تجاوزها للصلاحيات الضرورية. |
| الإشراف البشري | قم بتطبيق مراجعة بشرية إلزامية (مثل مراجعة الأقران) للتغييرات المدفوعة بالذكاء الاصطناعي، خاصة في بيئات الإنتاج. |
| التدريب والبروتوكولات | قم بتوفير تدريب شامل للمهندسين على استخدام أدوات الذكاء الاصطناعي ووضع بروتوكولات تشغيلية واضحة. |
| الشفافية | حافظ على الشفافية بشأن قدرات الذكاء الاصطناعي وحدوده، وتجنب الاعتماد المفرط أو الثقة العمياء. |
| التخطيط للطوارئ | قم بتطوير خطط احتياطية واستعادة قوية للأنظمة التي تتم إدارتها أو يتأثر بها الذكاء الاصطناعي. |
الخاتمة
تؤكد حوادث AWS التي شملت Kiro و Amazon Q Developer على التحديات والفرص المعقدة التي يوفرها دمج الذكاء الاصطناعي الوكيل في الأنظمة التشغيلية الحرجة. في حين أن أمازون تنسب المشاكل إلى خطأ المستخدم وضوابط الوصول غير الكافية، فإن تنفيذ ضمانات جديدة يشير إلى إدراك أوسع للحاجة إلى إشراف قوي وإدارة دقيقة لقدرات الذكاء الاصطناعي المستقلة. مع تزايد تطور أدوات الذكاء الاصطناعي وتكاملها، يظل تحسين التعاون بين الإشراف البشري واستقلالية الذكاء الاصطناعي أمرًا بالغ الأهمية لمنع الاضطرابات غير المتوقعة وضمان استقرار النظام.