تم العثور على الأخطاء في نماذج الذكاء الاصطناعي في DEF CON 31

 

تقدم LLMs العديد من الطرق لمساعدة إبداع المستخدمين، ولكنها تواجه تحديات، ولا سيما فيما يتعلق بالأمان والخصوصية.


هذا الحدث قد يسلط الضوء على آثار استخدام الذكاء الاصطناعي الإنتاجي ، وهي تقنية لديها العديد من التطبيقات المحتملة ولكن لها أيضًا عواقب محتملة لم نفهمها بعد بالكامل.


خلال المؤتمر، ستقوم الفرق الحمراء بإخضاع طرز اللغة الطويلة الذاكرة من بعض الموردين الرائدين مثل Anthropic و Google و Hugging Face و NVIDIA و OpenAI و Stability و Microsoft للاختبار. سيتم ذلك على منصة تقييم وضعتها Scale AI.


"تقليدياً، حلت الشركات هذه المشكلة باستخدام فِرَق الحمراء المتخصصة. ومع ذلك، فإن هذا العمل حدث في الغالب بشكل خاص. ولن يتم حل المشاكل المتنوعة المتعلقة بهذه النماذج حتى يتعلم المزيد من الناس كيفية تشكيل فِرَق الأحمر وتقييمها"، و هذا ما قال سفين كاتيل، مؤسس قرية الذكاء الاصطناعي.


"يمكن تعديل جوائز الثغرات وفعاليات اختبار الاختراق الحية والمشاركات الأخرى المعتادة في المجتمع الأمني لتتناسب مع أنظمة النماذج التعلم الآلي. وتلك الإجراءات تلبي حاجتين في عمل واحد، حيث تتعامل مع الأضرار وتنمي مجتمع الباحثين الذين يعرفون كيفية المساعدة."


أما الهدف من هذا التمرين هو كشف الإمكانيات والقيود على حد سواء للنماذج اللغوية الطويلة الأجل. من خلال اختبار هذه النماذج، وتأمل الفرق الحمراء في كشف أي ثغرات محتملة وتقييم مدى إمكانية التلاعب بالنماذج اللغوية الطويلة الأجل.


كما سيتم أيضا نشر نتائج تمرين الفريق الأحمر هذا، مما يسمح للجميع بالاستفادة من الإدراكات التي تم جمعها.



from موضوع جديد لك https://ift.tt/EYDFHts