زبان کے ماڈل متن کا اندازہ کیسے لگاتے ہیں

تین طریقے

1. 1

   ایک بڑا لینگویج ماڈل یا LLM چلتے وقت ایک ہی کام کرتا ہے: دیے گئے ٹوکنوں کی ترتیب کے بعد سب سے ممکنہ اگلا ٹوکن بتائے۔ یہی پورا چکر ہے۔ ٹوکن تقریباً ایک لفظ یا لفظ کا حصہ ہوتا ہے۔ 'I want chai and biscuit' جملہ تقریباً سات ٹوکن ہے۔ 'مجھے چائے چاہیے' بھی چند ٹوکن بنتا ہے، کچھ لفظوں کے ٹکڑے بھی ہوتے ہیں۔ ماڈل ایک وقت میں ایک ٹوکن نکالتا ہے، اسے واپس ان پُٹ کے طور پر شامل کرتا ہے، اور اگلا، اور اگلا بناتا چلا جاتا ہے، جب تک وہ خود رکنے کا فیصلہ کرے یا صارف کا صبر ختم ہو۔

2. 2

   پیش گوئی سے پہلے الفاظ نمبر بنتے ہیں۔ ہر ٹوکن کو ایک ویکٹر سے جوڑا جاتا ہے، جسے ایمبیڈنگ کہتے ہیں۔ ایمبیڈنگ نمبروں کی لمبی فہرست ہے، اکثر ہزار یا اس سے زیادہ، اور یہ معنی کی کوئی جھلک پکڑتی ہے۔ 'چائے' اور 'tea' آپس میں قریب آ جاتے ہیں۔ 'چائے' اور 'بریف کیس' دور رہتے ہیں۔ ایمبیڈنگ ہاتھ سے نہیں لکھی جاتیں؛ یہ اربوں زبان کی مثالوں سے سیکھی جاتی ہیں۔ جب الفاظ نمبر بن جائیں، باقی پوری مشین حساب کا معاملہ بن جاتی ہے۔

3. 3

   ٹرانسفارمر کی ساخت ماڈل کو اجازت دیتی ہے کہ اگلا ٹوکن طے کرتے وقت پہلے کے متعلقہ ٹوکنوں پر توجہ دے۔ اگر جملہ ہے 'بلال نے وہ فائل کھولی جو سعد نے پچھلے ہفتے بھیجی تھی، اور اس کی سب سے نمایاں چیز اس کا'، تو ماڈل کو پیچھے بہت سے ٹوکنوں تک، شاید سعد یا فائل تک، دیکھنا پڑتا ہے۔ Attention وہ طریقہ ہے جو ہر ٹوکن کو دوسرے ہر ٹوکن سے اس کی اہمیت پوچھنے دیتا ہے۔ اسی لیے ایک ہی ماڈل صبح اردو نظم لکھ سکتا ہے اور دوپہر FBR کا نوٹس بنا سکتا ہے۔ Attention پیٹرن مختلف ہے؛ مشین وہی۔

کیوں؟

Claude کے ساتھ آزمائیں

آزمائش کے لیے پرامپٹ: 'سادہ اردو اور انگریزی میں بتاؤ کہ تم نے پچھلا جواب کیسے بنایا۔ کس چیز پر دھیان دیا، کہاں اندازہ لگایا، اور مجھے کہاں دوبارہ چیک کرنا چاہیے۔ مخصوص بتاؤ۔' یہ ایک طرح کی خود وضاحت لاتا ہے جو نامکمل سہی، اکثر کمزور جگہیں نقصان پہنچنے سے پہلے دکھا دیتا ہے۔