تۆکن (Token) چییە لە زیرەکیی دەستکرددا؟ ڕێبەرێکی گشتگیر لەسەر دراوی فەرمی LLMs

هەموو کەسێک کە کەرەستەکانی زیرەکیی دەستکرد و مۆدێلە زمانەوانییە گەورەکان (LLMs) وەک ChatGPT، Claude، یان Gemini بەکاردێنێت، یان لە ڕێگەی APIـەوە پڕۆژەکانی پێ دەبەستێتەوە، هەمیشە ڕووبەڕووی وشەی تۆکن (Token) دەبێتەوە. تۆکن بنچینەی کارکردن، پێوەرەکەی سنووردارکردنی بیرگە (Context Window)، و تەنانەت فاکتەری سەرەکی دیاریکردنی تێچووی دارایی مۆدێلەکانە.

بەڵام تۆکن بەڕاستی چییە؟ چۆن کاردەکات؟ و بۆچی زمانی کوردی و عەرەبی تێچوویەکی جیاوازیان هەیە لە ناو ئەم سیستەمەدا؟ لەم وتارە گشتگیرەدا بە زمانێکی تەکنیکی و سادە وەڵامی هەموو ئەمانە دەدەینەوە.

١. لۆژیکی کارکردن: AI وەک مرۆڤ ناخوێنێتەوە

کۆمپیوتەر و مۆدێلەکانی AI لە بنەڕەتدا تەنها لە "ژمارە" تێدەگەن، نەک پیت و وشە. بۆیە کاتێک تۆ دەقێک (Prompt) بۆ AI دەنوسیت، مۆدێلەکە ناتوانێت ڕاستەوخۆ پرۆسێسی بکات. لێرەدا پڕۆسەیەک ڕوودەدات پێی دەوترێت Tokenization.

تۆکنایزەر (Tokenizer) بریتییە لە بەرنامەیەک کە دەقەکە پارچە پارچە دەکات بۆ یەکەی بچووکتر. ئەم پارچە بچووکانە پێیان دەوترێت تۆکن. پاشان هەر تۆکنێک ژمارەیەکی تایبەتی پێدەدرێت (ID) و دەنێردرێت بۆ مۆدێلەکە.

📌 یاسای گشتی: تۆکنێک مەرج نییە وشەیەکی تەواو بێت. دەکرێت پیتێکی تاقانە بێت، هێمایەکی خاڵبەندی بێت، یان بەشێک بێت لە وشەیەک.

• بۆ نموونە لە زمانی ئینگلیزیدا، وشەی کورت وەک "the" یان "and" زۆرجار دەبنە ١ تۆکن.

• بەڵام وشەیەکی درێژ یان ئاڵۆز وەک "International" ڕەنگە ببێتە ٣ تۆکن: Inter + nat + ional.

٢. پێوەری حەجمی تۆکن (Token Metrics)

بۆ ئەوەی قەبارەی تۆکن لە مێشکتدا دیاری بکەیت (بۆ زمانی ئینگلیزی):

• ١ تۆکن بە نزیکەیی یەکسانە بە ٤ پیت (Characters).

• ١ تۆکن بە نزیکەیی یەکسانە بە ٠.٧٥ وشە.

• ١٠٠ وشە بە نزیکەیی دەبێتە ١٣٥ تۆکن.

• پەرەگرافێکی ئاسایی ڕەنگە ١٠٠ تۆکن بێت، و کتێبێکی گشتی نێوان ٨٠,٠٠٠ بۆ ١٠٠,٠٠٠ تۆکن بێت.

٣. چەمکی (Context Window) چییە؟

کاتێک کۆمپانیاکان مۆدێلێکی نوێ ڕادەگەیەنن، دەڵێن ئەم مۆدێلە Context Windowەکەی وەک نموونە $128,000$ یان ملیۆنێک تۆکنە. ئەمە بەو مانایەیە کە مۆدێلەکە لە یەک کاتدا (لە ناو یەک چاتدا) توانای هەیە هێندە بڕە تۆکن لە مێشکی خۆیدا بهێڵێتەوە.

ئەگەر قسەکردنت لەگەڵ AI لەو سنوورە تێپەڕی، مۆدێلەکە دەست دەکات بە بیرچوونەوەی سەرەتای چاتەکە، چونکە ناتوانێت لەوە زیاتر تۆکن لە یەک کاتدا پرۆسێس بکات.

٤. بۆچی زمانی کوردی و عەرەبی لە ناو AI "گرانترن"؟

ئەمە گرنگترین خاڵە کە پێویستە هەموو بەکارهێنەر و گەشەپێدەرێکی کورد بیزانێت. مۆدێلە گەورەکانی وەک GPT-4 یان Claude لەسەر داتایەکی یەکجار زۆری ئینگلیزی ڕاهێنراون، بۆیە تۆکنایزەرەکانیان زۆر زیرەکن لە پارچەکردنی دەقی ئینگلیزیدا و وشەکان بە یەک پارچە وەردەگرن.

بەڵام بۆ پیتەکانی وەک (چ، پ، ژ، گ، ڤ) یان ئەلفوبێی عەرەبی، تۆکنایزەرەکە ناچارە وشەکە پیت بە پیت یان بەپێی کۆدی UTF-8 پارچە بکات چونکە نەخشەی زمانەکە لە مێشکیدا چڕ نییە.

• نموونەی واقیعی:

  • ڕستەی ئینگلیزی: "Learning programming is very fun" ⬅️ دەبێتە ٥ تۆکن.

  • وەرگێڕانی کوردی: "فێربوونی پرۆگرامسازی زۆر خۆشە" ⬅️ ڕەنگە ببێتە ١٥ بۆ ٢٠ تۆکن!

ئەمە چی دەگەیەنێت؟

1. تێچووی دارایی زیاتر: کاتێک تۆ لە ڕێگەی API کورتە پڕۆژەیەک بە کوردی دەنوسیت، سێ بۆ چوار هێندەی دەقێکی ئینگلیزی پارەت لێ دەڕوات، چونکە پارەدانەکە بەپێی ژمارەی تۆکنەکانە (Per Million Tokens).

2. زوو پڕبوونی بیرگە: چاتە کوردییەکانت خێراتر لە چاتە ئینگلیزییەکان دەگەنە کۆتایی سنووری Context Window و مۆدێلەکە زووتر شتەکانی بیر دەچێتەوە.

💡 چۆن تێچووی تۆکن کەم بکەینەوە؟ (بۆ گەشەپێدەران)

ئەگەر خەریکی دروستکردنی ئەپڵیکەیشنێکی وەک OpenClaw یان هەر سیستمێکی ئۆتۆمەیشنیت کە بە API کاردەکات:

• System Prompt خاوێن بەکاربهێنە: ڕێنماییە سەرەتاییەکان کورت و پوخت بکەرەوە.

• فلتەرکردنی داتا: پێش ئەوەی دەقەکە بنێریت بۆ AI، هەر زانیارییەکی زیادە یان کۆدی بێسوود (وەک تاگە تێکچووەکانی HTML) پاك بکەرەوە.

• بەکارهێنانی مۆدێلی گونجاو: بۆ ئەرکە سادەکان مۆدێلی سووک (وەک Gemini Flash یان GPT-4o-mini) بەکاربهێنە کە نرخی هەر ملیۆن تۆکنێکیان زۆر هەرزانترە.