ما هو أمن الذكاء الاصطناعي؟ وكيف تحمي أنظمة AI داخل شركتك
الأمن السيبراني

ما هو أمن الذكاء الاصطناعي؟ وكيف تحمي أنظمة AI داخل شركتك

٣٠ يونيو ٢٠٢٦
Serajj

يحمي أمن الذكاء الاصطناعي النماذج والبيانات والقرارات المدفوعة بالذكاء الاصطناعي من فئات المخاطر الجديدة. تعرف على التهديدات التي يجب على كل مؤسسة التخطيط لمواجهتها الآن

في 2023، منع موظفو سامسونج من استخدام ChatGPT بعد أن أدخل بعضهم شيفرة مصدرية داخلية في الأداة. التفصيلة المهمة ليست الحظر، بل ما كشفه: أن أخطر تسريب في عصر الذكاء الاصطناعي قد لا يأتي من مهاجم خارجي، بل من موظف حسن النية يلصق بيانات الشركة في نموذج لا يملك أحد في الشركة السيطرة عليه.

هذه هي المشكلة التي وُجد أمن الذكاء الاصطناعي ليعالجها. وهي أوسع من حماية نموذج من الاختراق.

إجابة سريعة

أمن الذكاء الاصطناعي (AI Security) هو حماية أنظمة الذكاء الاصطناعي وبياناتها ونماذجها من التهديدات الخاصة بها، كحقن التعليمات وتسميم البيانات وتسريب المعلومات عبر النموذج. يختلف عن أمن المعلومات التقليدي لأن سطح الهجوم يشمل النموذج نفسه وبيانات تدريبه ومدخلات المستخدم. أطر مثل OWASP Top 10 for LLM وNIST AI RMF تحدد معالمه.

ما المقصود بأمن الذكاء الاصطناعي؟

هو حماية ثلاث طبقات يتجاهل كثيرون أنها منفصلة: البيانات التي يتدرب عليها النموذج، والنموذج نفسه بأوزانه ومنطقه، والتفاعلات الحيّة بينه وبين المستخدمين. كل طبقة لها سطح هجوم مختلف، ومعالجة واحدة لا تحمي الأخريات.

ما يجعل الأمر مختلفًا عن أمن التطبيقات التقليدي أن النموذج ليس برنامجًا ثابتًا. سلوكه يعتمد على مدخلات لغوية مفتوحة، وعلى بيانات تدريب قد تحمل ثغرات لا تظهر في الكود. أصدرت منظمة OWASP قائمتها لأخطر عشر ثغرات في تطبيقات نماذج اللغة الكبيرة (OWASP Top 10 for LLM Applications)، وهي اليوم المرجع العملي الأول لفرق الأمن لدي شركة نظم التي تبني على هذه النماذج. ويقدّم إطار NIST لإدارة مخاطر الذكاء الاصطناعي (NIST AI RMF 1.0, 2023) البنية الأشمل للحوكمة فوق ذلك.

لماذا يهم هذا المؤسسات الآن؟

النموذج صار متصلًا بكل شيء

في أغلب الشركات، لم يعد الذكاء الاصطناعي أداة منعزلة. صار متصلًا بأنظمة إدارة العملاء وتخطيط الموارد، وأحيانًا بصلاحيات قراءة بيانات حقيقية. وهذا الاتصال هو ما يحوّل ثغرة بسيطة في النموذج إلى باب خلفي نحو بيانات المؤسسة. النموذج الذي يستطيع قراءة قاعدة بيانات العملاء ليجيب عن سؤال، يستطيع المهاجم أن يخدعه ليُفشي محتواها.

الالتزام التنظيمي بدأ يلحق

قانون الذكاء الاصطناعي الأوروبي (EU AI Act)، الذي بدأ سريانه التدريجي من 2024، يصنّف أنظمة الذكاء الاصطناعي حسب الخطورة ويفرض التزامات على عالية الخطورة منها. وفي السعودية، تضع سدايا (SDAIA) ضوابط للذكاء الاصطناعي تشمل التحيّز والشفافية ومعالجة البيانات. ومن يعالج بيانات شخصية عبر نموذج، يبقى خاضعًا لنظام حماية البيانات الشخصية (PDPL) بكل التزاماته، فلا إعفاء لأن المعالجة تمت داخل نموذج.

المخاطر الرئيسة التي تواجه الشركات

حقن التعليمات (Prompt Injection)

يصوغ المهاجم مدخلًا يخدع النموذج ليتجاهل تعليماته الأصلية أو يكشف ما لا ينبغي. تخيّل تطبيق خدمة عملاء متصلًا ببيانات الحسابات؛ مدخل مصمَّم بعناية قد يدفعه لكشف بيانات عميل آخر. تضع OWASP حقن التعليمات على رأس قائمتها لنماذج اللغة لسبب وجيه: لا يوجد حتى الآن حل يلغيه تمامًا، والدفاع طبقات متراكمة لا جدار واحد.

تسريب البيانات عبر النموذج

النموذج يتعلم من بيانات الشركة، وقد يعيد إنتاج أجزاء منها في إجاباته. وحادثة سامسونج 2023 مثال موثّق على الوجه الآخر للمشكلة: إدخال الموظفين بيانات حساسة في أداة عامة لا تتحكم فيها المؤسسة. العلاج هنا يبدأ بفصل بيانات التدريب عن البيانات الحساسة، وبضوابط واضحة على ما يُسمح بإدخاله في الأدوات الخارجية أصلًا.

تسميم البيانات (Data Poisoning)

يُدخِل المهاجم بيانات خبيثة في مرحلة التدريب ليفسد سلوك النموذج لاحقًا. في سياق صناعي، قد يُفسَد نموذج للصيانة التنبؤية حتى يعجز عن اكتشاف نمط عطل بعينه. وخطورة هذا النوع أنه يكمن صامتًا حتى اللحظة التي يُستغَلّ فيها، فلا يظهر في اختبار عابر.

الهجمات الخصومية (Adversarial Attacks)

تعديل طفيف في المدخل يقود إلى خطأ كبير في التصنيف. في أنظمة الرؤية الحاسوبية، أظهرت أبحاث أكاديمية موثّقة أن ملصقات صغيرة على إشارة مرور قد تخدع نظام تصنيف الصور. النوع هذا يهم تحديدًا المؤسسات التي تعتمد على الرؤية الآلية في قرارات حساسة.

تعرف علي: التحول الرقمي استراتيجية وتنفيذ وحوكمة في السعودية

أفضل الممارسات

سأرتّبها من الأهم، لأن بعضها شرط لما بعده، لا قائمة متساوية.

ابدأ بجرد ما لديك فعلًا. أغلب المؤسسات لا تعرف كم أداة ذكاء اصطناعي تعمل داخلها، لأن الموظفين يتبنّون أدوات خارجية دون علم الأمن. لا يمكنك حماية ما لا تعرف بوجوده. والجرد هو الخطوة التي تكشف "الذكاء الاصطناعي الظلّي" قبل أن يكشفه حادث.

شكّل حوكمة فعلية لا لجنة شكلية. اجمع الأمن والقانون والأعمال في جهة واحدة تقرّر أي النماذج يُنشر وأيها يُمنع، وتربط القرار بتقييم مخاطر مكتوب قبل النشر. يضع إطار NIST AI RMF (2023) هذا التقييم في قلب العملية، لا كإجراء لاحق.

اختبر نماذجك هجوميًا قبل أن يفعل غيرك. الفريق الأحمر للذكاء الاصطناعي يحاول حقن التعليمات واستخراج بيانات التدريب قبل النشر. وقد بنت مزوّدات كبرى آليات للكشف عن حقن التعليمات، لكن الاعتماد عليها وحدها دون اختبار داخلي خطأ، لأن سياقك أنت ليس سياقها.

طبّق مبدأ أقل صلاحية على وصول النموذج. النموذج الذي لا يحتاج قراءة قاعدة بيانات كاملة لا يُعطى صلاحية قراءتها. هذا المبدأ من أمن المعلومات التقليدي، لكنه يصير حاسمًا حين يكون "المستخدم" نموذجًا يمكن خداعه بلغة.

افصل البيانات الحساسة عن التدريب. استخدم تقنيات كالخصوصية التفاضلية (Differential Privacy) أو التعلّم الموزّع (Federated Learning) حيث يتدرب النموذج دون نقل البيانات الخام من مصدرها. وفكّر في النماذج المحلية أو السحابة الخاصة للبيانات الأكثر حساسية، بدل إرسالها لخدمة عامة.

قد يهمك: الأمن السيبراني الهجومي

أين تتعثر برامج أمن الذكاء الاصطناعي؟

أشيع فشل هو الذكاء الاصطناعي الظلّي. تتبنّى الفرق أدوات خارجية بأنفسها، فتتسرب بيانات الشركة إلى خدمات لا يراها الأمن أصلًا. وحادثة سامسونج خرجت من هنا بالضبط. والسبب الجذري ليس سوء نية الموظف، بل غياب بديل معتمد وسياسة واضحة، فيلجأ الموظف لما هو متاح.

والفشل الثاني هو معاملة أمن الذكاء الاصطناعي كأمن تطبيقات عادي. تطلق الفرق أدوات الأمن المعتادة، التي لا ترى سطح الهجوم الجديد: حقن التعليمات، وتسميم البيانات، وتسريب النموذج. هذه ثغرات لا يلتقطها ماسح تقليدي، لأنها في طبقة لم تُصمَّم تلك الأدوات لفحصها.

والثالث، وهو الأخطر إداريًا، هو فراغ الملكية. من يملك أمن الذكاء الاصطناعي؟ فريق علوم البيانات الذي بنى النموذج؟ أم فريق الأمن الذي لا يفهم داخله؟ حين تغيب الإجابة، يسقط الأمن في الفجوة بينهما، وينشر النموذج دون من يسأل عن مخاطره.

ما الذي ينتظرنا خلال 18 إلى 36 شهرًا؟

الالتزام التنظيمي سيتصلّب. مع تقدّم تطبيق قانون الذكاء الاصطناعي الأوروبي على مراحل حتى ما بعد 2025، ستجد المؤسسات نفسها مطالَبة بتوثيق مخاطر أنظمتها عالية الخطورة بشكل ملزم. ومن يبني التوثيق الآن يسبق الموجة.

وفئة أدوات أمن الذكاء الاصطناعي المتخصصة تنضج. ظهرت منتجات تركّز تحديدًا على حماية نماذج اللغة من حقن التعليمات وتسريب البيانات، وهي تتحول من تقنية ناشئة إلى توقع أساسي في المؤسسات التي تبني على هذه النماذج جديًا.

وقراءة متحفظة على اتجاه واحد: كثير من ادعاءات "الأمن المدفوع بالذكاء الاصطناعي" تسبق إجماع الممارسين. الأداة التي تَعِد بكشف كل تهديد آليًا تنتج إنذارات كاذبة كثيرة، وفي سياق حساس قد يكون الإنذار الكاذب مكلفًا. الأنضج اليوم استخدامه معينًا لمحلل بشري، لا بديلًا عنه.

اقرا ايضا: الخصوصية وحماية البيانات

خلاصة

أمن الذكاء الاصطناعي يبدأ بسؤال تعرف إجابته اليوم أو لا تعرفها: كم أداة ذكاء اصطناعي تعمل داخل مؤسستك الآن، ومن يملك أمن كل منها؟ إن لم تكن تملك الجرد، فابدأ به هذا الأسبوع، لأنك لا تستطيع حماية ما لا تعرف بوجوده. الجرد ليس خطوة تمهيدية، بل هو الكشف الأول الذي يُظهر حجم المشكلة الحقيقي.

الأسئلة الشائعة

هل أدوات الذكاء الاصطناعي العامة آمنة لبيانات الشركة؟ ليست افتراضيًا. ما تدخله في أداة عامة قد يخرج عن سيطرتك، وحادثة سامسونج 2023 مثال موثّق. القاعدة العملية: لا تُدخِل بيانات حساسة أو ملكية فكرية في خدمة لا تتحكم في احتفاظها بالبيانات. وفّر بديلًا معتمدًا للموظفين، وإلا لجأوا للمتاح.

ما الفرق بين أمن الذكاء الاصطناعي وأمن المعلومات التقليدي؟ أمن المعلومات يحمي أنظمة ذات سلوك محدد. أمن الذكاء الاصطناعي يضيف سطح هجوم جديدًا: النموذج نفسه، وبيانات تدريبه، ومدخلاته اللغوية المفتوحة. ثغرات كحقن التعليمات وتسميم البيانات لا وجود لها في التطبيقات التقليدية، ولا تلتقطها أدواتها. الاثنان متكاملان، لا بديل أحدهما عن الآخر.

من أين نبدأ تأمين الذكاء الاصطناعي بميزانية محدودة؟ ابدأ بما لا يكلّف كثيرًا ويعطي أكبر أثر: جرد الأدوات المستخدمة، وسياسة واضحة لما يُسمح بإدخاله فيها، وتطبيق مبدأ أقل صلاحية على وصول النماذج للبيانات. هذه الثلاثة تغلق أكبر الثغرات قبل شراء أي أداة متخصصة.

هل النماذج المحلية أكثر أمانًا من السحابية؟ ليست أكثر أمانًا تلقائيًا، لكنها تمنحك تحكمًا أكبر في مكان بقاء البيانات، وهو ما يهم للبيانات الحساسة وللالتزام بمتطلبات الإقامة مثل PDPL. السحابة الخاصة أو النموذج المحلي خيار منطقي للبيانات الأكثر حساسية، بشرط تأمين البيئة نفسها، فالمحلي غير المؤمَّن ليس أكثر أمانًا.

مقالات ذات صلة

ما هو نظام GRC؟ | الحوكمة وإدارة المخاطر والامتثال للمؤسسات
٣٠ يونيو ٢٠٢٦
الأمن السيبراني

ما هو نظام GRC؟ | الحوكمة وإدارة المخاطر والامتثال للمؤسسات

تعرّف على نظام GRC وكيف يساعد المؤسسات في منطقة الخليج على دمج الحوكمة وإدارة المخاطر والامتثال التنظيمي ضمن إطار عمل موحد وفعّال من ضمنها شركة نظم تك.

ما هو اختبار الاختراق؟ والفرق عن تقييم الثغرات
٣٠ يونيو ٢٠٢٦
الأمن السيبراني

ما هو اختبار الاختراق؟ والفرق عن تقييم الثغرات

اختبار الاختراق يثبت ما يستطيع المهاجم فعله، لا مجرد إحصاء الثغرات. إليك الفرق عن تقييم الثغرات، وأنواع الاختبار، وما الذي يصنع تقريرًا احترافيًا.

إدارة المخاطر السيبرانية: ما الذي ينجح فعلًا
٣٠ يونيو ٢٠٢٦
الأمن السيبراني

إدارة المخاطر السيبرانية: ما الذي ينجح فعلًا

إدارة المخاطر السيبرانية تنجح حين يرتبط الخطر بالميزانية والملكية وإطار مثل NIST CSF 2.0 أو ISO 27005. إليك ما يحقق نتيجة وما هو مجرد مسرح مخاطر.

ما هو أمن الأنظمة التشغيلية ولماذا لا يُدار كأمن IT
٣٠ يونيو ٢٠٢٦
الأمن السيبراني

ما هو أمن الأنظمة التشغيلية ولماذا لا يُدار كأمن IT

أمن الأنظمة التشغيلية يحمي ما يدير العمليات الفيزيائية: المصانع والشبكات وخطوط الأنابيب. إليك لماذا لا يصلح أن تديره كأمن المعلومات، وما الذي ينجح وفق IEC 62443.