کانٹیکسٹ ونڈو اور بڑا سائز مفت کیوں نہیں

تین طریقے

1. 1

   کانٹیکسٹ ونڈو ٹوکنوں کی وہ زیادہ سے زیادہ تعداد ہے جو ماڈل ایک وقت میں اپنے ذہن میں رکھ سکتا ہے۔ Claude Sonnet 4.5 دو لاکھ ٹوکن تک رکھتا ہے (تقریباً 1,50,000 انگریزی الفاظ)۔ کچھ ماڈلز تجرباتی 10 لاکھ ٹوکن کی ونڈو کے ساتھ مزید آگے جاتے ہیں۔ GPT-4o 1,28,000 پر ہے۔ Gemini Pro دس لاکھ تک پہنچتا ہے۔ یہ حدیں زور سے مشتہر کی جاتی ہیں کیونکہ متاثر کن لگتی ہیں۔ یہی وہ جگہ ہے جہاں انٹرپرائز AI کی سب سے مہنگی غلطیاں ہوتی ہیں، کیونکہ صارفین 'ماڈل رکھ سکتا ہے' کو 'ماڈل مفت میں سنبھال لے گا' سمجھ لیتے ہیں۔ ونڈو زیادہ سے زیادہ تھیلے کا سائز ہے۔ تھیلے میں جو ڈالیں گے، اس کی قیمت دیں گے۔

2. 2

   خرچ کو محسوس کرنے کا پہلا طریقہ: توجہ مربع کی بنیاد پر ہے۔ اگلے ٹوکن کی پیش گوئی کے لیے ماڈل ونڈو کے ہر ٹوکن کو باقی ہر ٹوکن سے ملاتا ہے۔ اگر آپ کے پرامپٹ میں N ٹوکن ہیں، تو ماڈل تقریباً N اسکوائر موازنے کرتا ہے۔ پرامپٹ دگنا کریں، کام چوگنا۔ نئے ماڈلز عملی طور پر اس کرو کو نرم کرنے کے لیے ہوشیار تکنیکیں استعمال کرتے ہیں، مگر اصول قائم ہے: 1,00,000 ٹوکن کا پرامپٹ 50,000 ٹوکن کے مقابلے میں دگنا نہیں، تقریباً چار گنا مہنگا ہے۔ آپ یہ بل اور تاخیر دونوں جگہ محسوس کرتے ہیں۔ لمبا پرامپٹ جواب شروع کرنے میں بھی زیادہ وقت لیتا ہے۔

3. 3

   دوسرا طریقہ: lost in the middle مسئلہ۔ تحقیق نے دکھایا ہے کہ LLMs لمبے پرامپٹ کے شروع اور آخر پر سب سے زیادہ توجہ دیتے ہیں اور بیچ میں دفن حقائق سے غافل ہو جاتے ہیں۔ اگر آپ 500 صفحات کا ٹیکس آرڈیننس پیسٹ کر کے سیکشن 122 (جو بیچ میں ہے) کے بارے میں پوچھیں، تو ماڈل واقعی کم قابلِ اعتبار ہوگا بمقابلہ اس کے کہ آپ صرف متعلقہ صفحے دیتے۔ آپ زیادہ ادا کرتے ہیں اور درستگی کم ملتی ہے۔ یہ جال کا بدترین حصہ ہے، کیونکہ صارف سمجھتا ہے زیادہ سیاق و سباق کا مطلب بہتر جواب ہے۔ کبھی کبھی، اکثر نہیں۔

کیوں؟

Claude کے ساتھ آزمائیں

AI پرامپٹ: 'میرے پاس FBR کا 500 صفحات کا ٹیکس آرڈیننس ہے اور آڈیٹرز سے ماہانہ 200 سوالات آتے ہیں۔ تین معماریوں کا موازنہ کریں: (الف) ہر بار پوری دستاویز پیسٹ، (ب) RAG کے ساتھ ٹاپ 5 چنک، (ج) فائن ٹیون چھوٹا ماڈل۔ ہر ایک کے لیے ماہانہ PKR لاگت اور جواب کے معیار کا خطرہ بتائیں۔ ایک کی سفارش کریں اور وضاحت کریں۔'