RAG یعنی قبل از پاسخ دادن، تکه‌های مرتبط از دانش خودتان را پیدا کنید و به مدل بدهید.

تکه‌بندی؛ مهم‌ترین تصمیم

بیشتر پروژه‌های RAG نه به خاطر مدل، بلکه به خاطر تکه‌بندی بد شکست می‌خورند. تکه‌های خیلی کوچک بی‌معنی می‌شوند و تکه‌های خیلی بزرگ نویز می‌آورند. تکه‌بندی بر اساس ساختار متن تقریباً همیشه بهتر از برش با تعداد کاراکتر ثابت است.

جستجوی ترکیبی

جستجوی برداری در مفهوم خوب است ولی در نام‌های خاص و کد ضعیف عمل می‌کند. ترکیب آن با جستجوی کلیدواژه‌ای نتیجه را به شکل محسوسی بهتر می‌کند.

Rerank

بیست نتیجه اول را بگیرید و با یک مدل rerank به پنج نتیجه واقعاً مرتبط برسانید. این کار هم کیفیت را بالا می‌برد هم توکن مصرفی را پایین می‌آورد.

ارزیابی

بدون مجموعه سوال و پاسخ مرجع، هر تغییری در RAG حدس و گمان است. یک مجموعه کوچک ولی واقعی بسازید و هر تغییر را روی آن بسنجید.