راهنمای چتبات سازمانی
راهنمای طراحی چتبات سازمانی امن و قابلاعتماد
چرا در محیط سازمانی «پاسخ سریع» کافی نیست و یک چتبات قابل اعتماد چه اجزایی دارد.
انتشار: · آخرین بهروزرسانی:
نویسنده: تحریریه پیکا با کمک هوش مصنوعی — پژوهش، نگارش و ویرایش فارسی
در محیط سازمان، پاسخ سریع کافی نیست. پاسخ باید از منبع مجاز بیاید، با نقش کاربر سازگار باشد، قابل پیگیری باشد و در موقعیت حساس به انسان تحویل داده شود. یک پاسخ روان اما نادرست میتواند از سکوت سیستم پرهزینهتر باشد.
دانش و محدوده پاسخ
منابع معتبر، مالک محتوا و چرخه بهروزرسانی باید مشخص شوند. سیستم باید بداند چه سؤالهایی خارج از دامنهاند و بهجای حدسزدن، درخواست توضیح بیشتر یا ارجاع به کارشناس بدهد.
ارجاع به انسان
مسیر ارجاع یک شکست نیست؛ بخشی از طراحی است. سطح اطمینان پایین، موضوع حساس، درخواست صریح کاربر و چند تلاش ناموفق میتوانند ارجاع را فعال کنند. خلاصه مکالمه و منابع دیدهشده باید همراه درخواست منتقل شوند.
- اطمینان پایین سیستم به پاسخ
- موضوع حساس مالی، حقوقی یا سلامت
- درخواست صریح کاربر برای گفتوگو با کارشناس
- تکرار پرسش پس از پاسخ ناموفق
- شناسایی نارضایتی در متن کاربر
ارزیابی پیش از انتشار
مجموعه تست باید از مکالمات و سؤالهای واقعی ساخته شود و پاسخ درست، منبع موردانتظار و رفتار در نبود پاسخ را پوشش دهد. ارزیابی امنیتی شامل تلاش برای دورزدن دستورها و دسترسی به محتوای غیرمجاز نیز هست.
پایش پس از انتشار
نرخ پاسخ موفق، سؤالهای بدون پوشش، ارجاع، بازخورد منفی، زمان پاسخ و هزینه باید پایش شوند. این دادهها مشخص میکنند کدام سند یا سناریو نیاز به اصلاح دارد.
پرسشهای پرتکرار
اگر بات پاسخ را نداند چه باید بکند؟
اعلام کند اطلاعات کافی ندارد و بسته به تنظیمات، توضیح بیشتر بخواهد یا مکالمه را به کارشناس منتقل کند. حدس زدن بدترین گزینه است.
آیا باید مکالمات را ذخیره کنیم؟
برای بهبود کیفیت مفید است، اما باید سیاست مشخص نگهداری، دسترسی و حذف داشته باشد و اطلاعات شخصی در صورت امکان ماسک شود.
قرارداد پاسخ و ارجاع به انسان
پیش از انتشار، برای هر نوع سؤال یک قرارداد پاسخ تعریف کنید: منبع مجاز، اقدام مجاز، قالب پاسخ، شرایط عدم پاسخ و مقصد ارجاع. خدمت چتبات سازمانی پیکا این قرارداد را به سناریوهای قابل آزمون تبدیل میکند. چتبات نباید در نبود منبع، پاسخ قطعی بسازد یا کاربر را در حلقه تکرار نگه دارد؛ باید محدودیت خود را روشن بگوید و زمینه لازم را به کارشناس منتقل کند.
اگر پاسخ از اسناد داخلی میآید، معماری RAG باید منبع و سطح دسترسی را همراه نتیجه نگه دارد. راهنمای RAG سازمانی توضیح میدهد که استناد نمایشی کافی نیست؛ سند بازیابیشده باید واقعاً از پاسخ پشتیبانی کند و کاربر اجازه مشاهده همان سند را داشته باشد. رویدادهای بازیابی و پاسخ برای ممیزی ثبت شوند.
چکلیست امنیت هوش مصنوعی را با آزمون تزریق دستور، استخراج داده، جعل نقش و سوءاستفاده از ابزار اجرا کنید. برای اقدامهایی مانند ساخت تیکت، ارسال پیام یا تغییر رکورد، تأیید صریح کاربر و کنترل سمت سرور لازم است. نرخ ارجاع، پاسخ بدون منبع، رضایت پس از حل و زمان رسیدگی کارشناس شاخصهای عملیاتی مناسبتری از تعداد گفتگو هستند.
- نمایش منبع و زمان آخرین بهروزرسانی
- انتقال تاریخچه و خلاصه مسئله هنگام ارجاع
- محدودکردن ابزارها بر اساس نقش کاربر
- ثبت پاسخهای بدون منبع و بازخورد منفی
- امکان غیرفعالسازی سریع قابلیت پرریسک
پرسشهای پرتکرار
چه زمانی چتبات باید گفتگو را به انسان ارجاع دهد؟
در نبود منبع معتبر، درخواست خارج از دامنه، تصمیم حساس، تکرار خطا، تشخیص نارضایتی یا درخواست مستقیم کاربر باید مسیر انسانی فعال شود.