Skip to content
AI Engineering

4. Tokens, Cost aur Limits – AI Ka Bill Kaise Kam Karein

November 19, 2026 3 min read

नमस्ते दोस्तों!

स्वागत है The Easy Master पर!

Local model पर सब free है, लेकिन जिस दिन आपकी app hosted AI API पर जाएगी, हर सवाल का बिल बनेगा। और वो बिल शब्दों से नहीं, tokens से बनता है।

आज हम AI का meter पढ़ना सीखेंगे – real numbers के साथ।

Is LLM tokens in Hindi post mein aap seekhenge:

✅ Token kya hai – AI का meter
✅ Input vs output tokens – दोनों का हिसाब
✅ Har call ka meter dekhna – code से
✅ Context window – AI कितना पढ़ सकता है
✅ Lambi chat ka kharcha – और history trim करना

1. Token Kya Hai?

AI शब्द नहीं पढ़ता, वो text को छोटे टुकड़ों में तोड़ता है जिन्हें tokens कहते हैं। अंदाज़ा:

  • English में 1 token ≈ 4 characters, यानी करीब ¾ शब्द
  • "unbelievable" जैसे लंबे शब्द कई tokens बन जाते हैं
  • Hindi (देवनागरी) में अक्सर ज़्यादा tokens लगते हैं – वही बात English या Roman Hinglish से महँगी पड़ सकती है

Taxi ke meter ki tarah: जितनी लंबी यात्रा, उतना किराया। और hosted APIs में output tokens अक्सर input से महँगे होते हैं – यानी AI का लंबा जवाब, आपके लंबे सवाल से ज़्यादा खर्च करता है।

2. Har Call Ka Meter Dekhiye

Ollama हर जवाब के साथ बताता है कि कितने tokens लगे: prompt_eval_count (input) और eval_count (output)। Hosted APIs भी हर जवाब में ऐसा usage field देती हैं।

Code
// tokens.js — har call ka meter dekhna, aur lambi history ko chhota rakhna
async function ask(messages, options = {}) {
  const res = await fetch('http://localhost:11434/api/chat', {
    method: 'POST',
    headers: { 'Content-Type': 'application/json' },
    body: JSON.stringify({ model: 'llama3.2', messages, stream: false, options }),
  });
  const data = await res.json();
  console.log(`input tokens: ${data.prompt_eval_count}, output tokens: ${data.eval_count}`);
  return data.message;
}

// 1. Chhota sawal vs lamba sawal — meter dekho
await ask([{ role: 'user', content: 'Hi' }]);
await ask([{ role: 'user', content: 'Hi! '.repeat(200) + 'Kaise ho?' }], { num_predict: 20 });

// 2. Jawab ki lambai par limit
const short = await ask([{ role: 'user', content: 'React kya hai?' }], { num_predict: 30 });
console.log('30 tokens ka jawab:', short.content);

// 3. History ko chhota rakhna: system prompt + sirf aakhri N messages
function trim(messages, keep = 6) {
  const [system, ...rest] = messages;
  return [system, ...rest.slice(-keep)];
}
const history = [{ role: 'system', content: 'Tum helpful ho.' }];
for (let i = 1; i <= 20; i++) history.push({ role: i % 2 ? 'user' : 'assistant', content: `message ${i}` });
console.log('pehle:', history.length, 'messages, trim ke baad:', trim(history).length);

Chalaiye: node tokens.js – हमारे laptop पर यह आया:

Code
input tokens: 26, output tokens: 8
input tokens: 429, output tokens: 20
input tokens: 30, output tokens: 30
30 tokens ka jawab: React ek JavaScript library hai jo web applications banane ke liye upyog kiya jaata hai. Iska prathmik goal y
pehle: 21 messages, trim ke baad: 7

3. Numbers Kya Bata Rahe Hain?

"Hi" ke 26 tokens?

"Hi" एक शब्द है, लेकिन 26 input tokens लगे। क्यों? हर message के साथ model का chat format (role के निशान वगैरह) भी जाता है। हर call का एक fixed खर्च होता है – इसलिए 100 छोटी calls, 1 बड़ी call से महँगी पड़ सकती हैं।

Lamba sawal = lamba bill

200 बार "Hi!" भेजा तो 429 input tokens। यही होता है जब आप बिना सोचे पूरा document या पूरी chat history भेज देते हैं।

num_predict – jawab ki limit, lekin dhyan se

num_predict: 30 ने जवाब 30 tokens पर बीच शब्द में काट दिया ("prathmik goal y")। यह limit खर्च पर ताला है, जवाब छोटा करने का तरीका नहीं। छोटा जवाब चाहिए तो prompt में बोलिए ("2 line mein batao"), और limit को सिर्फ़ safety के लिए रखिए।

4. Context Window – AI Kitna Padh Sakta Hai

हर model एक बार में एक सीमित मात्रा तक ही tokens पढ़ सकता है – इसे context window कहते हैं। इसमें system prompt, पूरी history, आपका document और AI का जवाब – सब आना चाहिए।

  • Window भर जाए तो पुरानी बातें कट जाती हैं या API error देती है
  • Ollama में default window छोटी रखी जाती है ताकि RAM कम लगे; options: { num_ctx: 8192 } से बढ़ा सकते हैं (ज़्यादा RAM लगेगी)
  • बड़ी window का मतलब यह नहीं कि सब भर दो – जितना ज़्यादा भेजोगे, उतना महँगा और धीमा

5. Lambi Chat Ka Chhupa Kharcha

Part 2 के chatbot को याद कीजिए – वो हर बार पूरी history भेजता है। 50वें message पर वो पिछले 49 भी भेज रहा है। यानी chat जितनी लंबी, हर नया सवाल उतना महँगा।

सबसे आसान इलाज: system prompt रखो, और सिर्फ़ आख़िरी कुछ messages भेजो। ऊपर के code का trim() यही करता है – 21 messages से 7। Chatbot में इसे ऐसे लगाइए:

Code
body: JSON.stringify({ model: 'llama3.2', messages: trim(messages), stream: false }),

Kamee: AI पुरानी बातें भूल जाएगा। बड़ी apps में पुरानी बातों का एक छोटा summary बनाकर रखते हैं – वो भी एक AI call से।

6. Bill Kam Rakhne Ke 6 Tarike

  • System prompt chhota rakhiye – यह हर call में जाता है
  • History trim kijiye – आख़िरी N messages या summary
  • Poora document mat bhejiye – सिर्फ़ ज़रूरी हिस्सा (यही RAG है – Part 7)
  • Jawab ki lambai prompt mein boliye – "2 line mein"
  • Chhota model chuniye – आसान काम (classify, extract) के लिए बड़ा model ज़रूरी नहीं
  • Rate limit lagaiye – एक user हज़ार requests भेजे तो bill आपका बढ़ेगा। Express Rate Limiting से हर user की सीमा तय कीजिए
  • Ek jaise sawal ka jawab cache kijiye – वही FAQ बार-बार पूछा जाए तो AI को दोबारा मत बुलाइए (Caching Strategies – Redis वाला post यहाँ सीधे काम आएगा)

Conclusion

AI का bill tokens से बनता है – input और output दोनों से। हर call का fixed खर्च है, history हर message के साथ बढ़ती है, और context window की एक सीमा है। अच्छा AI Engineer हर feature के साथ पूछता है: "Kam tokens mein yeh kaam kaise ho?"

अगले post में AI का जवाब ChatGPT जैसा word-by-word दिखाएंगे – streaming के साथ, terminal से browser तक। Part 5 पढ़िए → (20 Nov को आएगा) 🚀

Author at The Easy Master.

Related posts

Prompt Engineering Cheat Sheet in Hindi: Complete Guide

The tutorial teaches it; the cheat sheet is for when you just need reminding.

Leave a Reply

Your email address will not be published. Required fields are marked *