معماری بازیابی افزوده تولید (RAG)
RAG چیست و چگونه هوش مصنوعی را به دانش سازمان وصل میکند؟
چرا ریختن همه PDFها در یک پایگاه برداری کافی نیست و یک سامانه بازیابی قابل اتکا از چه اجزایی ساخته میشود.
انتشار: · آخرین بهروزرسانی:
نویسنده: تحریریه پیکا با کمک هوش مصنوعی — پژوهش، نگارش و ویرایش فارسی
Retrieval-Augmented Generation پیش از تولید پاسخ، بخشهای مرتبط را از یک منبع دانشی پیدا میکند و در اختیار مدل قرار میدهد. مدل بهجای تکیه صرف بر دانستههای عمومی، پاسخ را با زمینهای میسازد که سازمان انتخاب و کنترل کرده است.
اجزای یک سامانه RAG
اسناد باید دریافت، پاکسازی، بخشبندی و همراه متادیتا ذخیره شوند. در زمان سؤال، جستوجوی معنایی یا ترکیبی نامزدها را پیدا میکند، رتبهبندی مجدد بهترین منابع را برمیگزیند و مدل بر اساس آنها پاسخ میدهد.
- خط دریافت و نسخهبندی محتوا
- بخشبندی متناسب با نوع سند
- جستوجوی معنایی و کلیدواژهای
- رتبهبندی مجدد و ساخت context
- تولید پاسخ همراه استناد
- ثبت رویداد و حلقه بازخورد
کنترل دسترسی فراموش نشود
اگر موتور بازیابی سندی را به کاربر غیرمجاز برگرداند، محدودکردن رابط چت کمکی نمیکند. مجوز باید هنگام بازیابی اعمال شود و هر قطعه محتوا مالک، منبع، نسخه و سطح دسترسی مشخص داشته باشد.
چطور کیفیت را بسنجیم؟
ارزیابی باید بازیابی و تولید را جدا کند. آیا منبع درست پیدا شد؟ آیا پاسخ واقعاً از منبع پشتیبانی میشود؟ آیا در نبود اطلاعات، سیستم عدم قطعیت را اعلام میکند؟ مجموعه تست باید شامل سؤالهای دشوار، مبهم و بدون پاسخ نیز باشد.
دو لایه ارزیابی
| ارزیابی بازیابی | ارزیابی تولید |
|---|---|
| آیا سند صحیح در نتایج برتر هست؟ | آیا پاسخ از سند پشتیبانی میشود؟ |
| حساس به بخشبندی و متادیتا | حساس به دستور سیستم و ساخت context |
| با مجموعه پرسش و سند مرجع سنجیده میشود | با بازبینی انسانی یا داوری خودکار سنجیده میشود |
خطاهای رایج
ریختن همه PDFها در یک پایگاه برداری راهکار کامل نیست. اسناد منقضی، بخشهای بیمعنا، نبود متادیتا، فقدان کنترل دسترسی و ارزیابی با چند مثال تصادفی باعث میشوند دموی خوب به سامانهای غیرقابلاعتماد تبدیل شود.
پرسشهای پرتکرار
برای شروع چند سند لازم است؟
شروع با مجموعهای محدود اما معتبر و بهروز، نتیجه بهتری از وارد کردن همه فایلهای موجود میدهد.
اگر سند بهروز شود چه اتفاقی میافتد؟
خط دریافت محتوا نسخه جدید را جایگزین و نسخه قدیمی را از نمایه خارج میکند، بنابراین پاسخها به سند منقضی استناد نمیکنند.
طراحی مجموعه ارزیابی پیش از انتخاب ابزار
پیش از مقایسه پایگاه برداری یا مدل، مجموعهای از سؤالهای واقعی بسازید که برای هرکدام سند مرجع، بخش پشتیبان و پاسخ قابل قبول مشخص باشد. خدمات RAG و دانش سازمان پیکا میتواند این مجموعه را به تفکیک واحد، سطح دسترسی و نوع پرسش طراحی کند. سؤالهای بدون پاسخ، نسخههای منقضی، اصطلاحات داخلی و درخواستهای مبهم باید عمداً در آزمون حضور داشته باشند تا سامانه فقط روی نمونههای آسان خوب به نظر نرسد.
در یکپارچهسازی نرمافزارها، شناسه سند، نسخه، مالک، طبقهبندی و زمان آخرین تغییر باید از سامانه مبدأ به لایه بازیابی منتقل شوند. حذف این متادیتا باعث میشود نتیجه ظاهراً مرتبط باشد اما از منبع اشتباه یا منقضی بیاید. قرارداد اتصال همچنین باید رفتار حذف، خطای همگامسازی و بازسازی نمایه را تعریف کند.
کنترلهای راهنمای امنیت هوش مصنوعی را روی کل زنجیره اعمال کنید: دریافت سند، بخشبندی، نمایه، بازیابی، ساخت زمینه و تولید پاسخ. گزارش ارزیابی باید نرخ یافتن سند صحیح، صحت استناد، پاسخندادن ایمن و نشت میان سطوح دسترسی را جدا نشان دهد؛ یک امتیاز کلی محل واقعی خطا را پنهان میکند.
- حداقل ۳۰ پرسش نماینده برای پایلوت محدود
- وجود سؤال بدون پاسخ و سند منقضی در مجموعه آزمون
- سنجش بازیابی، استناد و پاسخ بهصورت جدا
- اجرای آزمون دسترسی با نقشهای واقعی
- ثبت نسخه مدل، نمایه و دستور در هر نتیجه
پرسشهای پرتکرار
هر چند وقت یکبار مجموعه ارزیابی RAG باید اجرا شود؟
پس از تغییر مدل، روش بخشبندی، نمایه، دستور اصلی یا منبع مهم و همچنین بهصورت دورهای روی نسخه تولید باید دوباره اجرا شود.