RAG بمقابلہ پورا سیاق — کب ٹکڑے کریں اور کب نہیں

RAG vs full context — when to chunk and when not

36 منٹ

افتتاحیہ

HBL کی لیگل ٹیم کو ریگولیٹری آڈٹ کے لیے 12,000 معاہدے جانچنے ہیں۔ دو انجینئر دو معماریاں تجویز کرتے ہیں۔ ایک کہتا ہے: ہر معاہدہ ماڈل میں پیسٹ کرو، سوال پوچھو۔ دوسرا کہتا ہے: ہر معاہدہ صفحات میں توڑو، انہیں ایمبیڈ کرو، ویکٹر ڈیٹابیس میں رکھو، فی سوال ٹاپ پانچ ٹکڑے نکالو، پھر ماڈل سے پوچھو۔ دوسرے کا ڈیزائن ہفتہ لگاتا ہے۔ پہلے کا ایک شام میں ہو جاتا ہے۔ کون جیتتا ہے؟ ایماندار جواب: حالات پر منحصر ہے۔ آگے پڑھنے سے پہلے وہ تین عدد لکھیں جو آپ کو سفارش سے پہلے چاہیئں۔ یہی تین عدد اس سبق کی ریڑھ کی ہڈی ہیں۔

تین طریقے

RAG، یعنی retrieval augmented generation، وہ معماری ہے جس میں آپ دستاویزات کو چھوٹے ٹکڑوں میں بانٹتے ہیں، ہر ٹکڑے کو ایک ویکٹر (ایمبیڈنگ) میں بدلتے ہیں جو اس کا معنی نمایاں کرتا ہے، ان ویکٹرز کو سرچ انڈیکس میں رکھتے ہیں، اور سوال کے وقت صرف وہ ٹکڑے نکالتے ہیں جو سوال سے سب سے زیادہ متعلقہ ہوں۔ ماڈل پوری کارپس کے بجائے ایک مختصر، نشانہ مند سیاق دیکھتا ہے۔ پورا سیاق اس کا الٹ ہے: ہر بار پوری دستاویز پیسٹ کرو اور ماڈل کو جواب خود ڈھونڈنے دو۔ دونوں ایماندار انجینئرنگ انتخاب ہیں۔ سوال یہ ہے کہ آپ کے حالات کس سے ملتے ہیں۔
فیصلہ تین عددوں پر ٹکتا ہے۔ پہلا، کارپس کا سائز: تمام دستاویزات کے ٹوکنوں کا کل۔ 1,00,000 ٹوکن سے کم پر RAG کی ضرورت نہیں؛ پوری چیز ونڈو میں آ جاتی ہے۔ 1,00,000 سے 20 لاکھ کے درمیان، فی دستاویز پورا سیاق چل سکتا ہے؛ RAG اختیاری۔ 20 لاکھ سے زیادہ کارپس میں RAG لازمی ہو جاتا ہے کیونکہ کوئی ایک ونڈو اسے نہیں رکھ سکتی۔ HBL کی 12,000 معاہدے RAG علاقے میں ہیں۔ ایک اسٹارٹ اپ جس کے پاس ایک پروڈکٹ مینوئل ہے، نہیں۔ دوسرا، سوالات کا حجم: روزانہ ایک سوال کا مطلب RAG انفراسٹرکچر اپنی قیمت نہیں کماتا؛ روزانہ 10,000 سوالات کا مطلب بچت تعمیراتی لاگت کو مات دیتی ہے۔ تیسرا، صحت کی ضرورت: ہسپتال کا ٹرائیج چیٹ بوٹ یہ برداشت نہیں کر سکتا کہ ماڈل کوئی ٹکڑا چھوڑ دے؛ اندرونی HR کا FAQ کر سکتا ہے۔
RAG کہاں چمکتا ہے: بڑے مستحکم کارپس، بار بار سوالات، ساختی سوالات جو ٹکڑوں سے صاف ملتے ہیں (ایک سیکشن ایک سوال کا جواب)، حوالے کی ضرورت (آپ دکھا سکتے ہیں کہ کون سا ٹکڑا نکالا)، اجازت کی ضرورت (آپ ACLs ٹکڑے کی سطح پر لگا سکتے ہیں)۔ HBL کا معاہدے کا جائزہ پانچوں پر پورا اترتا ہے۔ پورا سیاق کہاں چمکتا ہے: چھوٹا یا اکیلی دستاویز، تلاشی نوعیت کے سوالات جو کئی حصوں کو ایک ساتھ چھوتے ہیں ('مجموعی لہجہ بیان کریں')، ایک بار کا تجزیہ جہاں انفراسٹرکچر بنانا جواز نہیں رکھتا، کیسز جہاں ماڈل کو عالمی ساخت دیکھنی ہو (مکمل بیلنس شیٹ، مکمل پالیسی)۔ FBR کی سہ ماہی پریس ریلیز ایک وزارتی بریفنگ نوٹ سے بنانا پورا سیاق کا علاقہ ہے۔

فوری چیک

فوری چیک: جدید AI روایتی قاعدہ بنیاد پروگرام سے کس طرح مختلف ہے؟

کیوں؟

کیوں کا پہلا درجہ: ٹکڑے کا سائز کیوں اہم ہے؟ کیونکہ بہت چھوٹے ٹکڑے سیاق کھو دیتے ہیں (آس پاس کے پیراگراف کے بغیر ایک جملہ مبہم ہوتا ہے)؛ بہت بڑے ٹکڑے RAG کی لاگت کا فائدہ ختم کر دیتے ہیں۔ زیادہ تر پروڈکشن سسٹم فی ٹکڑا 500 سے 1500 ٹوکن میں آتے ہیں، اور 50 سے 200 ٹوکن کا اوورلیپ خیالات کو ٹکڑے کی سرحد پر کٹنے سے بچاتا ہے۔

Claude کے ساتھ آزمائیں

AI پرامپٹ: 'میں PIA میں کسٹمر سپورٹ چلاتا ہوں۔ ہمارے پاس 5000 اندرونی دستاویزات (منسوخی کی پالیسیاں، کرایہ کے قواعد، سامان کے قواعد) ہیں، روزانہ 800 سوالات، اور ہم کرایے کی رقم میں ہیلوسینیشن برداشت نہیں کر سکتے۔ RAG، پورا سیاق، یا ہائبرڈ کی سفارش کریں، ٹوکن کے حساب سے جواز دیں، اور 6 ہفتے کی تعمیراتی منصوبہ بندی بتائیں۔ تکمیل پر ماہانہ PKR لاگت کا اندازہ لگائیں۔'

ماخذ

ماخذ اور مزید مطالعہ۔ Lewis et al. کا اصل RAG مقالہ 2020۔ Anthropic Contextual retrieval۔ OpenAI Embeddings گائیڈ۔ LangChain RAG ٹیوٹوریلز۔ LlamaIndex کی چنکنگ حکمتِ عملی کی دستاویزات۔ Pinecone، Weaviate، اور Qdrant کی پروڈکشن دستاویزات۔