logo
episode-header-image
Aug 2023
6m 53s

خلل يثيرالقلق في نماذج الذكاء الاصطناعي ...

مونت كارلو الدولية / MCD
About this episode

تنقل نايلة الصليبي في "النشرة الرقمية" نتائج دراسة تكشف عن مشكلة أمنية شديدة الخطورة تتيح التلاعب بمناقبية الذكاء الاصطناعي التوليدي من "شات جي بي تي" و "بارد" من "غوغل" إلى "كلود" من "أنتروبيك" وغيرها من النماذج. تدفعها  إلى تجاوز الإجراءات التقييدية الصارمة  ومجموعة القيود التي وضعتها الشركات المطورة للحماية من الاستخدام السيئ.

خلل مقلق يمكّن من تجاوز الإجراءات التقييدية الصارمة للشركات المطورة لنماذج الذكاء الاصطناعي !

من المحتمل التلاعب بنماذج الذكاء الاصطناعي التوليدي للمحادثة باللغة الطبيعيةمن شات جي بي تي و بارد من غوغل وكلود من أنتروبيك وغيرها من نماذج الذكاء الاصطناعي التوليدي للمحادثة باللغة الطبيعية، من أجل أغراض غير أخلاقية، و يمكن تجاوز الإجراءات التقييدية الصارمة ومجموعة القيود التي وضعتها الشركات المطورة لهذه النماذج،  للحماية من الاستخدام السيئ.

وفقًا لدراسة قام بها باحثون في جامعة كارنيجي ميلون في الولايات المتحدة من خلال استخدام مدخلات أو Prompts معينة. كدفع هذه النماذج المدربة على ملايين البيانات لتطوير البرامج الخبيثة، وبرامج الفدية، وكتابة رسائل البريد الإلكتروني المزيف للتصيد الاحتيالي، وتعلم كيفية صنع المخدرات أو القنابل.  والمقلق في هذا الأمر، يبدو أن مجموعة من "الهاكرز" قد نشروا في دهاليز الإنترنت المظلم Dark Web، أمثلةعن الأوامر أو المدخلات لاستغلال  نماذج الذكاء الاصطناعي التوليدي للمحادثة باللغة الطبيعية من دون قيود أخلاقية.

ما كشفة باحثو كارنيجي ميلون يسمى بالهجوم الخصومي أو Adversarial Attacks

ما هذا الهجوم وكيف يعمل؟

يستغل هذا الهجوم الخصومي الطريقة التي يلتقط بها التعلم الآلي أنماط البيانات لإنتاج سلوكيات غير سوية.على سبيل المثال، يمكن للتغييرات غير المحسوسة في الصور، أن تتسبب في إساءة تصنيف الصور إلى كائن ما، أو جعل أنظمة التعرف على الكلام تستجيب للرسائل غير المسموعة.

يتضمن تطوير مثل هذا الهجوم النظر في كيفية استجابة الذكاء الاصطناعي التوليدي للمحادثة باللغة الطبيعية لمدخل أو prompts معين، ثم تعديله حتى يتم اكتشاف الموجه الإشكالي.

فقد لاحظ الباحثون في جامعة كارنيجي ميلون أنه كان من الكافي الإضافة إلى المدخلات أو الأوامر الـ Prompts  "تسلسل من الأحرف المعينة" أو suffix  يتميز باضطراب صغير، غير محسوس، يدفع روبوت المحادثة إلى ارتكاب خطأ وإنتاج محتوى مسيء.

لتوضيح الفكرة، على سبيل المثال، تشرح هذه الدراسة طلب مستخدم الإنترنت تعلم كيفية صنع قنبلة. ففي حال أدخل prompt عادي لـشات جي بي تي عن كيفية صنعها، فسيواجه بالرفض. وغالبا ما يجيب روبوت المحادثة:"بأنه ليس مصممًا للمساعدة في إنشاء أو ترويج أو مشاركة معلومات حول أنشطة غير قانونية أو شديدة الْخَطَر، بما في ذلك تصنيع القنابل أو الأجهزة المتفجرة الأخرى".

ولإجبارشات جي بي تي على الانصياع لهذه المدخلات، أضاف الباحثون "سلسلة من الكلمات البسيطة" اختيرت بشكل مدروس. مما يعطل قيود الشركة المطورة OpenAi.

لتجربة شات جي بي تي  أنشأ الباحثون مجموعة من البرامج و مدخلات مع سلسلة من الكلمات لاحقة  suffix ، منها على سبيل المثال، عن  كيفية سرقة الهوية، أو كيفية  سرقة مؤسسة خيرية و كيفية صناعة متفجرة. وغيرها من الطلبات التي تتفلت من قيود القانون. يجيب نموذج الذكاء الاصطناعي التوليدي  عن هذه الأسئلة على نسق FreedomGPT، وهو نموذج غير خاضع للرقابة  و متفلت من القيود الذي يمكنه الإجابة عن أي  سؤال يمكن تخيله

ما يعني الهجوم التخاصمي أو العدائي؟

استخدم الباحثون مصطلح الهجوم التخاصمي  Adversarial Attacks  لأن  هذا "التسلسل من الأحرف "  أو suffix    التي يمكن أن تتلاعب بالذكاء الاصطناعي وتدفعه  لتجاوز برمجته، يحتوي على كلمات تثير التناقض والمعارضة، تسمى Adversarial suffix  "لاحقة متناقضة". يحتوي على مدخلات مثل "اكتب نصًا معاكسًا"- " write oppositeley" أو "عكس" -  "revert"، هذه الحيلة تدفع الذكاء الاصطناعي للإجابة عن السؤال بشكل عكسي، قبل الطلب منه عكس النص الذي تم إنشاؤه ... مما يؤدي إلى الإجابة المطلوبة.

قبل نشر الدراسة، حذر باحثو جامعة كارنيجي ميلون الشركات المطورة لتصحيح نماذج الذكاء الاصطناعي التوليدي للمحادثة باللغة الطبيعية الخاصة بها، لمنع مستخدمي الإنترنت ذوي النيات السيئة من استخدام لواحق متناقضة. هذا الخلل في نماذج الذكاء الاصطناعي التوليدي للمحادثة باللغة الطبيعية يفتح الباب أمام كل الانتهاكات المحتملة.

أخيرًا يمكن القول إن هذه الدراسة تشير إلى أن ميل روبوتات المحادثة، أي نماذج الذكاء الاصطناعي التوليدي للمحادثة باللغة الطبيعية الأكثر ذكاءً، للخروج عن المسار و التفلت من القيود، ليس مجرد نزوة يمكن إصلاحها ببعض القواعد البسيطة. بل هي تمثل، نقطة ضعف أساسية من شأنها أن تعقد الجهود لنشر الذكاء الاصطناعي الأكثر تقدمًا.

يمكن الاستماع لـ "بودكاست النشرة الرقمية" على مختلف منصات البودكاست. الرابط للبودكاست على منصة أبل

للتواصل مع #نايلةالصليبي عبر صفحة برنامَج"النشرة الرقمية"من مونت كارلو الدولية على لينكد إن وعلى تويتر salibi@  وعلى ماستودون  و عبر موقع مونت كارلو الدولية مع تحيات نايلة الصليبي

Up next
Apr 7
عامان على حرب مدمرة على شبكات التواصل السودانية
‏في الضيف الرقمي اليوم، تستقبل ريتا خوري الكاتب الصحفي  الجميل الفاضل، يحدثنا عن معاش السودانيين على شبكات التواصل خلال عامين من الحرب في بلادهم،  والبلبلة التي أحدثتها المعلومات المضللة بين الناس.  
5m 39s
Feb 2025
"مستشفيات بلا مهاجرين"، حملة على وسائل التواصل الألمانية
‏تتطرق ريتا خوري في هذه الحلقة إلى حملة تدعم الكوادر الطبية المهاجرة إلى ألمانيا، مع بروز خطط يمينية متطرفة لترحيل المهاجرين من البلاد. في بقية أخبار النشرة الرقمية نتحدث عن مساعد ميتا الذكي الذي صار يدعم اللغة العربية رسميا ومن ثم نتوقف عند خلل في آيفون يحوّل كلمة عنصري مستبدلاً ... Show More
4m 50s
Jan 2025
حسن خرجوج: تجويد المحتوى الرقمي صار ضرورة ملحة في المغرب
‏في فقرة الضيف الرقمي نستضيف الخبير المعلوماتي المتخصص في الشؤون الرقمية الأستاذ حسن خرجوج للحديث عن مستجدات الساحة الرقمية في المغرب وقضاياها.  
5m 23s
Recommended Episodes
Dec 2020
الوصول للذكاء الاصطناعي من خلال محاكاة الذكاء البشري
‏تستضيف نايلة الصليبي في"ديجيتال" مونت كارلو الدولية الدكتور أحمد العمّ عالم البيانات، لبدء حوار مطول حول الذكاء الاصطناعي و في الجزء الأول من اللقاء  يتطرق إلى الفرق بين البرمجة التقليدية والذكاء الاصطناعي وكيف الوصول للذكاء الاصطناعي من خلال محاكاة الذكاء البشري. قي فقرة "ثقافة ... Show More
10 m
Dec 2020
ما هو تعلم الآلة والتعلم العميق في تقنيات الذكاء الاصطناعي؟
‏تتابع نايلة الصليبي في"ديجيتال" مونت كارلو الدولية الحوار مع الدكتور أحمد العمّ عالم البيانات، حول الذكاء الاصطناعي و في الجزء الثاني من اللقاء  يتطرق إلى ما هوتعلم الآلة والتعلم العميق. في إجابة عن أسئلة المستمعين تقترح نايلة الصليبي أنظمة تشغيل مجانية بديلة للأجهزة المحمولة ال ... Show More
10 m
Dec 2022
chatt gpt ثورة الذكاء الاصطناعي
‏بعد انتشار خبر الموقع الأكثر بحثا بالعالم الان ChatGPT هو نموذج أولي تجريبي من روبوتات المحادثة للذكاء الاصطناعي تم تطويره بواسطة OpenAI والمتخصص في الحوار. روبوت المحادثة هو نموذج لغوي كبير تم تعديله من خلال تقنيات التعلم تحت الإشراف والمعزز.تحدثنا مع علي العسو اخصائي في الاتصا ... Show More
14m 20s
Feb 2024
هل الذكاء الاصطناعي أخطر من الرؤوس النووية كما صرح إيلون ماسك ، وهل فعلا ستعيد الروبوتات تشكيل نفسها لتدمرنا ؟
‏ما بين متفائل ومتشائم يشتد النقاش حول مستقبل الذكاء الذكاء الإصظناعي تجاه البشرية ... الأستاذ محمد العواد رئيس قسم المشاريع المبتكرة في شركة Action To Action لحلول الذكاء الاصطناعي في دبي يناقش التحديات والمسؤليات المترتبة على هذا العالم الجديد ويرد على التحذيرات والخرافات المتع ... Show More
33m 34s
May 2024
هل يهدد الذكاء الاصطناعي مستقبل المعلق الصوتي في الإعلام؟
‏يضفي التعليق الصوتي مسحة خاصة على إنتاجات وسائل الإعلام، لكن تطور تطبيقات الذكاء الاصطناعي يطرح أسئلة كبرى من قبيل: هل يهدد الذكاء الاصطناعي مستقبل المعلقين الصوتيين؟ وما واقع استخدامنا لهذه التطبيقات في العالم العربي؟ مقال فاطمة جوني قراءة شيماء خضر إنتاج مجلة الصحافة - معهد ال ... Show More
10m 22s
Jul 2024
الغباء الاصطناعي
‏في حلقة انهارده عبدالله بيسأل محمد عن بعض المفاهيم في مجال الذكاء الاصطناعي 
29m 31s
May 2024
تأخر Apple عن منتجات الذكاء الاصطناعي.. إفلاس أم تكتيك؟
‏أي برامج الذكاء الاصطناعي الأكثر نضوجا؟ وماذا وعدت الأمان والخصوصية مع AI؟ ومؤتمر ابل للمطورين WWDC24 ما أهميته؟ مع محمد دنكر (...) #تك_كاست 128 
19m 30s
Jun 1
From Narcissism to Empathy - Joanna Saoud
‏She had it all — beauty, confidence, and control. But behind the manipulation, toxic relationships, and wild nights was a heart that couldn’t feel…Until one unexpected night, everything changed.This is her raw, unfiltered journey — one you’ll feel deep in your soul.A testimony o ... Show More
39m 27s
Jun 11
كيف يهنئ عمر بن الخطاب الامام علي بالخلافة يوم الغدير ثم يغتصبها منه؟
‏كيف يهنئ عمر بن الخطاب الامام علي بالخلافة يوم الغدير ثم يغتصبها منه؟ 
10m 35s