ٹوکن کیسے گنیں اور انہیں روپوں میں کیسے بدلیں

تین طریقے

1. 1

   پیسے خرچ کرنے سے پہلے ٹوکن گننے کے تین ایماندار طریقے ہیں۔ پہلا، متن کو سرکاری ٹوکنائزر ٹول میں پیسٹ کریں۔ OpenAI کا platform.openai.com/tokenizer پر ہے؛ Anthropic کا ایک API اور Python ہیلپر دستیاب ہے۔ یہ مختصر متن کے لیے کارگر ہے اور سمجھ بوجھ بنانے کا تیز ترین طریقہ ہے۔ دوسرا، SDK استعمال کریں۔ Python میں anthropic.Anthropic().messages.count_tokens(...) آپ کے بتائے گئے ماڈل کے لیے درست گنتی دیتا ہے۔ tiktoken یہی کام OpenAI ماڈلز کے لیے کرتا ہے۔ تیسرا، جلدی کا اندازہ چاہیے تو اصول یاد رکھیں: انگریزی اوسطاً 1.3 ٹوکن فی لفظ، ملی جلی اردو انگریزی 2.0، خالص اردو 2.5 سے 3.0۔ ان پر ٹھہریں اور 20 فیصد سے زیادہ فرق شاذ ہی پڑے گا۔

2. 2

   اب ٹوکنوں کو روپوں میں بدلیں۔ ہر ماڈل کی دو قیمتیں ہوتی ہیں، ایک ان پُٹ ٹوکن کی (جو آپ بھیجتے ہیں) اور ایک آؤٹ پُٹ ٹوکن کی (جو ماڈل واپس دیتا ہے)۔ آؤٹ پُٹ تقریباً ہمیشہ ان پُٹ سے مہنگا ہوتا ہے، اکثر 3 سے 5 گنا۔ اس وقت Claude Sonnet کی قیمت تقریباً USD 3 فی دس لاکھ ان پُٹ ٹوکن اور USD 15 فی دس لاکھ آؤٹ پُٹ ہے۔ Claude Haiku تقریباً دس گنا سستا ہے۔ GPT-4o بیچ میں ہے۔ اپنی ٹوکن گنتی کو فی دس لاکھ قیمت سے ضرب دیں، دس لاکھ سے تقسیم، پھر PKR-USD ریٹ سے ضرب۔ یہی آپ کا بل ہے۔ کمٹ کرنے سے پہلے ہمیشہ تازہ قیمتوں کا صفحہ دیکھ لیں، کیونکہ تینوں فروشنے ہر چند ماہ بعد قیمتیں بدلتے ہیں۔

3. 3

   ایک حقیقی مثال۔ SBP کی صائمہ کے پاس 100 مانیٹری پالیسی رپورٹیں ہیں، انگریزی، 25 صفحے فی رپورٹ۔ ایک معیاری صفحہ 500 الفاظ کا ہے۔ تو فی رپورٹ 12,500 الفاظ، یعنی 1.3 ٹوکن فی لفظ کے حساب سے تقریباً 16,000 ان پُٹ ٹوکن۔ وہ آدھے صفحے کا خلاصہ چاہتی ہیں، تقریباً 600 آؤٹ پُٹ ٹوکن فی رپورٹ۔ ان پُٹ: 100 x 16,000 = 16 لاکھ ٹوکن۔ آؤٹ پُٹ: 100 x 600 = 60,000 ٹوکن۔ Sonnet کی قیمت پر: ان پُٹ = 1.6 x 3 = USD 4.80۔ آؤٹ پُٹ = 0.06 x 15 = USD 0.90۔ کل = USD 5.70۔ PKR 280 فی USD کے حساب سے پورا کام بینک کو تقریباً PKR 1,600 میں پڑے گا۔ یہ پیٹرول کی ایک ٹینکی سے بھی کم ہے۔ یہی وہ عدد ہے جو آپ پروکیورمنٹ کے سامنے رکھیں گے۔

کیوں؟

Claude کے ساتھ آزمائیں

AI کے ساتھ آزمانے کا پرامپٹ: 'میں HBL میں LLM رول آؤٹ کے لیے لاگت کا ماڈل بنا رہا ہوں۔ ایک گوگل شیٹ ڈیزائن کرنے میں مدد کریں جو (الف) روزانہ پرامپٹس کی تعداد، (ب) اوسط پرامپٹ کی لمبائی بالفاظ، (ج) اوسط جواب کی لمبائی بالفاظ، (د) اردو بمقابلہ انگریزی کا تناسب، (ہ) چنا گیا ماڈل لے کر روزانہ، ماہانہ اور سالانہ لاگت USD اور PKR دونوں میں قابلِ ترتیب شرحِ تبادلہ پر دے۔ فارمولے سیل نوٹیشن میں لکھیں، سیوڈو کوڈ میں نہیں۔'