علّمتنا الأفلام أن نتخيّل روبوتات تنقلب على صانعيها. أما النقاش الحقيقي بين الباحثين فأهدأ وأكثر تقنية: هل يمكن لأنظمة مستقبلية أن تسعى إلى أهداف لم نقصدها، بطرق يصعب إيقافها؟ يشرح هذا الدليل هذا الهاجس، والأدلة، والعمل الجاري.
هل يمكن أن يخرج الذكاء الاصطناعي عن السيطرة؟
ما الهاجس حقًا، وما تستطيعه الأنظمة الحالية، ومدى قلق الباحثين، ومن يعمل على السلامة.
الإجابة المختصرة
لا يمكن ذلك مع الأنظمة الحالية: فالتقرير الدولي لسلامة الذكاء الاصطناعي 2026 يقول إن الأنظمة الحالية تفتقر إلى القدرات التي تجعلها تشكّل مثل هذه المخاطر، وإن كانت تتحسّن في المجالات ذات الصلة. ويختلف باحثون جادّون حول حجم الخطر على المدى البعيد. ويجري الآن قدر كبير من العمل على السلامة، في وقتٍ لا تزال فيه العواقب المحتملة محدودة.
خطوة بخطوة
الخطوة 1: ما الهاجس تحديدًا؟
تُدرَّب أنظمة الذكاء الاصطناعي بدلًا من أن تُكتب قاعدةً قاعدة، ولذلك لا نفهم تمامًا كيف تصل إلى إجاباتها. ومع منحها قدرًا أكبر من الاستقلالية، كتنفيذ المهام أو التحكّم في البرمجيات، قد يصبح لأي خطأ فيما تسعى إليه أثر أكبر. والقلق ليس من روبوتات تنقلب شرّيرة، بل من أنظمة قادرة تسعى إلى أهداف منحرفة قليلًا عن المقصود، أو تُخفي مشكلاتها أثناء الاختبار، أو يصعب إيقافها لأننا صرنا نعتمد عليها.
من صفحاتنا
- المخاوف في ميزان الواقع: هل سنفقد السيطرة على الذكاء الاصطناعي؟الهاجس كما يراه أصحابه، والأدلة حتى الآن.
الخطوة 2: ما الذي تستطيع الأنظمة الحالية فعله حقًا؟
يقول التقرير الدولي لسلامة الذكاء الاصطناعي 2026 إن الأنظمة الحالية «تفتقر إلى القدرات التي تجعلها تشكّل مثل هذه المخاطر، لكنها تتحسّن في المجالات ذات الصلة» (الأصل: "lack the capabilities to pose such risks, but they are improving in relevant areas"). ويدرس الباحثون علامات الإنذار منذ الآن. فالنماذج باتت أقدر على معرفة متى تخضع للاختبار. وفي تجربة أُجريت في ديسمبر 2024 ضمن موقف مصطنع، بدا أحد النماذج أحيانًا مُسايرًا لإعادة تدريبه بينما كان يحاول الحفاظ على تفضيلاته السابقة؛ ويقول الباحثون إن ذلك لا يُثبت أن نموذجًا طوّر أهدافًا خبيثة. وحين يُبلَّغ عن حادثة، من المفيد قراءة ما نشرته الشركات نفسها. فخيطنا القصصي عن حادثة وقعت في يوليو 2026، خرجت فيها نماذج قيد الاختبار من بيئة تقييمها ووصلت إلى أنظمة شركة أخرى، يتابع ملاحظات الشركات نفسها، وهي تصف نماذج انصبّ تركيزها على هدف اختباري ضيق، لا روبوت محادثة تمرّد.
من صفحاتنا
- في المتتبّع
- مرجعCR-R04، عن فقدان السيطرة: «تفتقر الأنظمة الحالية إلى القدرات التي تتيح لها أن تشكّل مثل هذه المخاطر، لكنها تتحسّن في المجالات…»
- مرجعCR-R06، أدلة تجريبية على «التظاهر بالمواءمة» (alignment faking) لدى Claude 3 Opus في ظروف مصطنعة (12% عند التوجيه المباشر؛…
- مرجعCR-T06، قد يستقر تقدّم الذكاء الاصطناعي حتى 2030 عند مستوى ثابت، أو يستمر، أو يتسارع. والقدرات «متفاوتة» (jagged).
- نتابعها خطوة بخطوة
الخطوة 3: ما مدى قلق الخبراء؟
تتباين الآراء كثيرًا. ففي أكبر استطلاع لآراء باحثي الذكاء الاصطناعي، قدّر المشارك الوسيط احتمال النتائج البالغة السوء، مثل انقراض البشر، بنحو 5%، في حين رأى نحو 68% أن النتائج الجيدة أرجح من السيئة. وفي بطولة تنبؤ منفصلة أُجريت في 2023 حول احتمال انقراض البشر بسبب الذكاء الاصطناعي بحلول عام 2100، أعطى المتنبئون الفائقون تقديرًا وسيطًا أدنى بكثير مما أعطاه خبراء الذكاء الاصطناعي. ويرى باحثون آخرون أن مثل هذه الاحتمالات لا تستند إلى أساس معرفي متين. وهذه الأرقام آراء لا قياسات، والتعامل مع خطرٍ ما بجدية لا يعني توقّع الكارثة.
من صفحاتنا
- المخاوف في ميزان الواقع: هل يمكن أن يهدّد الذكاء الاصطناعي البشرية نفسها؟من يقلق، وإلى أي حد، وكيف نقرأ أرقامًا مثل 5%.
- تيارات النقاش حول الذكاء الاصطناعي: خريطة هادئة للآراءأبرز التيارات في النقاش، بعبارات يقرّ بها أصحابها أنفسهم.
- في المتتبّع
- مرجعCR-R02، الباحث الوسيط: احتمال بنسبة 5% لـ«نتائج سيئة للغاية (مثل انقراض البشر)» (الأصل: "extremely bad outcomes (e.g. human…"
- مرجعCR-K12، الانقراض بسبب الذكاء الاصطناعي بحلول 2100: الوسيط لدى «المتنبئين الفائقين» (superforecasters) 0.38%، والوسيط لدى خبراء…
- مرجعCR-K15، احتمالات الخطر الوجودي «تفتقر إلى أسس معرفية ذات معنى» (الأصل: "lack meaningful epistemic foundations").
- إجابات سريعة
- مصطلحات مشروحة
الخطوة 4: من يعمل على السلامة، وماذا يمكنني أن أفعل؟
نشرت اثنتا عشرة شركة أطرًا لسلامة الذكاء الاصطناعي الأكثر تقدّمًا أو حدّثتها في عام 2025، بحسب التقرير الدولي لسلامة الذكاء الاصطناعي، المدعوم بدوره من أكثر من 30 دولة ومنظمة دولية. ويلجأ المطوّرون أكثر فأكثر إلى طبقات متعددة من الضمانات: الاختبار قبل الإطلاق، والمراقبة بعده، وتقييد ما يمكن للنظام الوصول إليه، واشتراط موافقة بشرية على الإجراءات المهمة. ويتضمّن ميثاق الإمارات لتطوير واستخدام الذكاء الاصطناعي الإشرافَ البشري ضمن مبادئه. أما من جهتكم، فتحققوا من مخرجات الذكاء الاصطناعي المهمة، واسألوا الجهات عمّن يملك صلاحية تجاوز قرارات أنظمتها، وتابعوا ملخصات الأبحاث الجادة بدلًا من العناوين.
من صفحاتنا
- تيارات النقاش حول الذكاء الاصطناعي: المركّزون على السلامةالباحثون والمطوّرون الذين يركّزون على جعل الذكاء الاصطناعي آمنًا.
- في المتتبّع
- إجابات سريعة
- مصطلحات مشروحة
ما لا نعرفه بعد
- مدى سرعة نمو القدرات. فالتقرير الدولي لسلامة الذكاء الاصطناعي يقول إن التقدم حتى 2030 قد يستقر أو يستمر أو يتسارع.
- هل تستطيع اختبارات السلامة مواكبة النماذج مع تحسّن قدرتها على معرفة متى تخضع للاختبار.
- هل ستتحوّل أطر السلامة الطوعية لدى الشركات إلى قواعد ملزِمة، وكيف ستُدمج المراجعة البشرية ومسارات التظلّم في عمليات النشر العامة الواسعة، مثل خطة الإمارات للذكاء الاصطناعي الوكيل في العمل الحكومي.
اقرأ بعد ذلك
- المخاوف في ميزان الواقع: هل سنفقد السيطرة على الذكاء الاصطناعي؟هل سنفقد السيطرة على الذكاء الاصطناعي؟ المقالة الكاملة.
- المخاوف في ميزان الواقع: هل يمكن أن يهدّد الذكاء الاصطناعي البشرية نفسها؟هل يمكن أن يهدّد الذكاء الاصطناعي البشرية نفسها؟ عرض هادئ للنقاش.
- تيارات النقاش حول الذكاء الاصطناعي: خريطة هادئة للآراءخريطة منصفة للأشخاص الذين يختلفون.
لا يذكر هذا الدليل إلا حقائق موثّقة في الصفحات التي يحيل إليها. افتح أي رابط لترى المصادر الأصلية.