امنیت و حاکمیت AI
امنیت اطلاعات در هوش مصنوعی سازمانی؛ چکلیست اجرایی
آنچه پیش از انتشار یک راهکار هوش مصنوعی در سازمان باید مشخص، مکتوب و آزموده شده باشد.
انتشار: · آخرین بهروزرسانی:
نویسنده: تحریریه پیکا با کمک هوش مصنوعی — پژوهش، نگارش و ویرایش فارسی
پیش از انتخاب مدل باید مشخص شود چه دادهای وارد سامانه میشود، کجا پردازش و نگهداری میشود، چه کسی دسترسی دارد و در صورت خطا چه اتفاقی میافتد. جمله «مدل امن است» جای یک مدل تهدید را نمیگیرد.
طبقهبندی و حداقلسازی داده
همه دادهها نباید در اختیار همه کاربردها قرار گیرند. داده حساس، شخصی، قراردادی و عمومی را تفکیک کنید و فقط حداقل اطلاعات لازم را در هر درخواست بفرستید. حذف یا ماسککردن شناسهها در بسیاری از سناریوها ممکن است.
هویت و مجوز
دسترسی کاربر باید در منبع داده و هنگام بازیابی اعمال شود. مجوز رابط کاربری بهتنهایی کافی نیست. حسابهای سرویس، کلیدها و اقدامهای ابزارمحور نیز باید دامنه محدود و چرخش دورهای داشته باشند.
Prompt injection و محتوای غیرقابلاعتماد
اسناد و صفحات خارجی میتوانند دستور مخرب داشته باشند. محتوای بازیابیشده باید داده تلقی شود نه دستور. تفکیک دستور سیستم، محدودکردن ابزارها، تأیید اقدام حساس و تست خصمانه ضروری است.
ثبت رخداد و نگهداری
سؤال، منابع بازیابیشده، نسخه مدل، اقدامها و خطاها باید با رعایت حریم خصوصی قابل ردیابی باشند. مدت نگهداری و دسترسی به لاگها نیز باید سیاست مشخص داشته باشد.
چکلیست پیش از تولید
- مالک ریسک و مسیر گزارش رخداد مشخص است
- طبقهبندی داده و محدودیت پردازش مکتوب شده
- مجوز در لایه بازیابی آزموده شده است
- تست خصمانه prompt injection انجام شده
- ثبت رخداد و مانیتورینگ فعال است
- محدودیت نرخ و سقف مصرف تعریف شده
- برنامه بازگشت و توقف اضطراری آماده است
- سیاست نگهداری و حذف داده تعیین شده
پرسشهای پرتکرار
آیا استقرار داخلی امنتر است؟
الزاماً نه. استقرار داخلی کنترل بیشتری میدهد اما مسئولیت امنیت زیرساخت، بهروزرسانی و پایش را هم منتقل میکند. انتخاب باید بر پایه طبقهبندی داده و توان عملیاتی سازمان باشد.
چگونه از تأمینکننده اطمینان کنیم؟
با بررسی مکتوب محل پردازش، سیاست نگهداری داده، تعهد عدم استفاده از داده برای آموزش، گواهیهای امنیتی و شرایط خروج از سرویس.
مدل تهدید مخصوص جریان داده و ابزار
مدل تهدید را از مسیر واقعی داده بسازید: ورودی کاربر، اسناد بازیابیشده، دستور سیستم، مدل، ابزارها، خروجی و لاگ. خدمت هوش مصنوعی سازمانی پیکا برای هر مرز اعتماد، مالک و کنترل مشخص تعریف میکند. سند بازیابیشده و پاسخ ابزار باید داده نامطمئن تلقی شوند و نتوانند بهتنهایی مجوز یا دستور سطح بالاتر ایجاد کنند.
در معماری RAG، فیلتر مجوز باید پیش از بازگرداندن محتوا اعمال شود، نه بعد از ساختهشدن پاسخ. راهنمای RAG سازمانی نشان میدهد متادیتای مالک، نسخه و سطح دسترسی چگونه در بازیابی استفاده میشود. آزمون امنیت باید شامل کاربر با چند نقش، سند آلوده به تزریق دستور و سؤالهایی برای استخراج اطلاعات واحد دیگر باشد.
برای چتبات سازمانی، ابزارها از خود متن پاسخ پرریسکترند. راهنمای چتبات سازمانی توصیه میکند ورودی هر ابزار با طرحواره محدود، مجوز سمت سرور و تأیید اقدام حساس کنترل شود. لاگها نیز باید حداقل داده لازم را نگه دارند؛ ذخیره کامل گفتگو بدون سیاست نگهداری میتواند خود به مخزن تازهای از اطلاعات حساس تبدیل شود.
- فهرست داراییها و مرزهای اعتماد
- آزمون تزریق مستقیم و غیرمستقیم دستور
- کنترل مجوز در بازیابی و ابزار
- پوشاندن رازها و داده حساس در لاگ
- سقف مصرف و محدودیت نرخ
- کلید توقف و برنامه بازگشت برای قابلیتهای پرریسک
پرسشهای پرتکرار
آیا فیلترکردن متن ورودی برای جلوگیری از تزریق دستور کافی است؟
خیر. ورودی نامطمئن را نمیتوان کاملاً پاکسازی کرد؛ جداسازی دستور و داده، حداقل مجوز، محدودیت ابزار و کنترل خروجی نیز لازماند.