تین طریقے

1. 1

   آپ نے غالباً ChatGPT میں ٹائپ کیا ہوگا، کسی ساتھی کو Claude میں رپورٹ پیسٹ کرتے دیکھا ہوگا، یا Google کی تلاش میں Gemini کا جواب نمودار ہوتے دیکھا ہوگا۔ چیٹ بوٹ نے رواں انگریزی میں، کبھی قابلِ قبول اردو میں جواب دیا، اور لگا جیسے جواب کسی سوچتے ہوئے ذہن سے آیا۔ ایسا نہیں ہے۔ ان تمام نظاموں کے پیچھے ایک large language model یعنی LLM بیٹھا ہے، اور اس سبق کا مقصد یہی ہے کہ ہم اس اصطلاح کو ٹکڑے ٹکڑے کر کے تب تک کھولیں جب تک یہ لفظ کسی برانڈ کی طرح نہیں بلکہ ایک سمجھی ہوئی چیز کی طرح لگنے لگے۔

2. 2

   پہلے لفظ large سے شروع کرتے ہیں۔ ایک ماڈل اس وقت بڑا کہلاتا ہے جب اس میں بہت سے parameters ہوں۔ parameters وہ قابل تعدیل اعداد ہیں جن میں ماڈل کی ساری سیکھی ہوئی معلومات محفوظ ہوتی ہیں۔ 2019 میں جاری ہونے والے GPT-2 میں قریباً ڈیڑھ ارب parameters تھے اور وہ مشکل سے ایک رواں پیراگراف لکھ پاتا تھا۔ آج کے سرکردہ ماڈل کھربوں parameters پر کام کرتے ہیں۔ 2023 کے بعد سے روانی میں جو چھلانگ آپ نے دیکھی ہے، وہ بڑی حد تک سائز کی چھلانگ ہے۔ بڑے ماڈل زیادہ پڑھتے ہیں، زیادہ تعلق محفوظ کرتے ہیں، اور زیادہ پراعتماد جواب دیتے ہیں۔ ان کا چلانا بھی مہنگا ہے، اور یہ بات اس وقت اہم ہو جاتی ہے جب کسی پاکستانی وزارت کو خریداری کا حکم نامہ لکھنا ہو۔

3. 3

   اب لفظ language پر آئیں۔ ماڈل متن پر تربیت پاتا ہے۔ کھربوں الفاظ کا متن: کھلی ویب سے، کتابوں سے، کوڈ کے مخزن سے، فورمز سے، خبر کی ویب سائٹوں سے، لیک شدہ ڈیٹا سیٹس سے۔ ماڈل یہ متن اس طرح نہیں پڑھتا جیسے بچہ پڑھتا ہے۔ وہ ہر لفظ کو tokens نامی چھوٹے ٹکڑوں میں کاٹتا ہے، انگریزی میں تقریباً چار حروف فی token، اردو میں tokenizer کے حساب سے اکثر پورا لفظ یا آدھا لفظ۔ آپ نے ChatGPT میں جو بھی اردو جملہ ٹائپ کیا ہے، وہ پہلے tokens میں کٹا، پھر ماڈل نے اسے دیکھا۔ آپ کو ملنے والی اردو کے معیار کا انحصار اس بات پر ہے کہ اس تربیتی ڈھیر میں اردو متن کتنا تھا، اور سچا جواب یہ ہے: انگریزی کا پانچ فیصد بھی نہیں۔

کیوں؟