नमस्ते दोस्तों!
स्वागत है The Easy Master पर!
यह series का सबसे ज़रूरी post है। आज हम बनाएंगे वो चीज़ जो आजकल हर company चाहती है: एक bot जो आपके अपने documents पढ़कर जवाब दे। Company की policies, college का handbook, आपके notes – कुछ भी।
इसे कहते हैं RAG – Retrieval-Augmented Generation। नाम भारी है, idea आसान: open-book exam।
Is RAG tutorial in Hindi post mein aap seekhenge:
✅ RAG kyun – पूरा document AI को क्यों नहीं भेजते
✅ RAG ke 4 steps – chunk, embed, retrieve, generate
✅ "Pata nahi" kehna sikhana – hallucination रोकना
✅ Model ka asar – छोटा vs बड़ा model, real result
✅ Project: Institute handbook bot – Node.js और Python
1. Poora Document Hi Kyun Na Bhej Dein?
छोटा document हो तो भेज सकते हैं। लेकिन असली दुनिया में:
- Documents सैकड़ों pages के होते हैं – context window में नहीं आएंगे (Part 4)
- हर सवाल पर पूरा document = हर बार भारी bill
- बहुत ज़्यादा text में AI ज़रूरी बात miss कर देता है
RAG कहता है: सिर्फ़ वो 2-3 हिस्से भेजो जो सवाल से जुड़े हैं।
2. Hamara Data – Ek Institute Ki Handbook
एक notes.txt बनाइए (यह एक काल्पनिक institute है):
CodeKul Institute – Student Handbook
Fees: Full Stack course ki fees 45,000 rupaye hai. Fees do installments mein di ja sakti hai: pehli joining par, doosri 45 din baad.
Refund: Joining ke 7 din ke andar course chhodne par poori fees wapas milti hai. 7 din ke baad koi refund nahi milta.
Classes: Classes Monday se Friday, shaam 6 se 8 baje tak hoti hain. Saturday ko doubt-clearing session hota hai, subah 11 baje.
Attendance: Certificate ke liye kam se kam 75% attendance zaroori hai. Bimari ki chhutti ke liye doctor ka note dena hoga.
Projects: Har student ko course mein 3 projects banane hain – ek portfolio website, ek REST API, aur ek full stack app. Final project ka demo course ke aakhri hafte mein hota hai.
Placement: Course poora hone ke baad 6 mahine tak placement support milta hai, jismein mock interviews aur resume review shaamil hain.
Contact: Kisi bhi sawal ke liye help@codekul.example par email karein ya office mein Monday se Saturday, 10 se 6 baje aayein.3. RAG Ke 4 Steps
| Step | Kya hota hai | Kab |
|---|---|---|
| 1. Chunk | Document को छोटे टुकड़ों में तोड़ो | एक बार |
| 2. Embed | हर टुकड़े का embedding बनाओ (Part 6) | एक बार |
| 3. Retrieve | सवाल से सबसे मिलते 2-3 टुकड़े ढूँढो | हर सवाल पर |
| 4. Generate | सवाल + टुकड़े AI को दो, जवाब लो | हर सवाल पर |
4. Poora Code
// rag.js — apne notes se sawal-jawab (open-book exam)
import fs from 'node:fs';
const OLLAMA = 'http://localhost:11434';
const MODEL = 'qwen2.5:7b'; // chhota laptop? 'llama3.2' bhi chalega, par galti zyada karega
async function embed(texts) {
const res = await fetch(`${OLLAMA}/api/embed`, {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify({ model: 'nomic-embed-text', input: texts }),
});
return (await res.json()).embeddings;
}
function similarity(a, b) {
let dot = 0, na = 0, nb = 0;
for (let i = 0; i < a.length; i++) { dot += a[i] * b[i]; na += a[i] * a[i]; nb += b[i] * b[i]; }
return dot / (Math.sqrt(na) * Math.sqrt(nb));
}
// Step 1: notes ko tukdon (chunks) mein todo — yahan har paragraph ek chunk
const chunks = fs.readFileSync('notes.txt', 'utf8').split(/ns*n/).map((c) => c.trim()).filter(Boolean);
// Step 2: har chunk ka embedding ek baar bana lo
const vectors = await embed(chunks);
// Step 3: sawal ke sabse milte-julte chunks dhoondo
async function retrieve(question, k = 2) {
const [q] = await embed([question]);
return chunks
.map((text, i) => ({ text, score: similarity(q, vectors[i]) }))
.sort((a, b) => b.score - a.score)
.slice(0, k);
}
// Step 4: sawal + mile hue chunks LLM ko do
async function ask(question) {
const found = await retrieve(question);
const context = found.map((f) => f.text).join('nn');
const res = await fetch(`${OLLAMA}/api/chat`, {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify({
model: MODEL,
stream: false,
options: { temperature: 0 },
messages: [
{ role: 'system', content: 'Sirf neeche diye NOTES se jawab do. Agar jawab notes mein nahi hai, toh saaf kaho "Yeh jaankari notes mein nahi hai." Hinglish mein, chhota jawab do.' },
{ role: 'user', content: `NOTES:n${context}nnSAWAL: ${question}` },
],
}),
});
const data = await res.json();
return { answer: data.message.content, sources: found.map((f) => f.text.split(':')[0]) };
}
for (const q of ['Refund kab tak mil sakta hai?', 'Saturday ko kya hota hai?', 'Kya hostel ki suvidha hai?']) {
const { answer, sources } = await ask(q);
console.log(`nQ: ${q}nA: ${answer}n (sources: ${sources.join(', ')})`);
}Chalaiye: node rag.js
Q: Refund kab tak mil sakta hai?
A: 7 din ke andar
(sources: Refund, Fees)
Q: Saturday ko kya hota hai?
A: Doubt-clearing session hota hai.
(sources: Classes, Contact)
Q: Kya hostel ki suvidha hai?
A: Yeh jaankari notes mein nahi hai.
(sources: Refund, Projects)तीसरा जवाब सबसे ज़रूरी है। Hostel के बारे में notes में कुछ नहीं – और AI ने कुछ बनाया नहीं, साफ़ कहा "notes mein nahi hai"। यह system prompt की वजह से हुआ।
5. System Prompt – Open-Book Exam Ke Niyam
हमारा system prompt दो काम करता है:
- "Sirf NOTES se jawab do" – AI अपनी याद से नहीं, दिए गए हिस्सों से जवाब दे
- "Notes mein nahi hai toh saaf kaho" – AI को "मुझे नहीं पता" कहने की इजाज़त
दूसरा नियम न हो तो AI hostel के बारे में कुछ भी बना देगा – "Haan, hostel ki suvidha hai, fees 5000 per month…" – और user उस पर भरोसा कर लेगा। RAG का असली फ़ायदा यही है: जवाब आपके data से बंधा रहता है।
6. Model Ka Asar – Real Experiment
यही code हमने पहले छोटे model llama3.2 के साथ चलाया था। नतीजा:
Q: Refund kab tak mil sakta hai?
A: Yeh jaankari notes mein nahi hai.
(sources: Refund, Fees)ध्यान से देखिए – search ने सही हिस्सा (Refund) ढूँढा था, फिर भी छोटे model ने कहा "notes mein nahi hai"। ग़लती retrieval की नहीं, model की थी। qwen2.5:7b पर वही सवाल सही हुआ।
Sabak: RAG ख़राब जवाब दे, तो पहले देखिए कि कौन सा step ग़लत है – search या model। Part 8 में इसे debug करने का तरीका सीखेंगे।
7. Python Version
# rag.py — apne notes se sawal-jawab
import math, re, requests
OLLAMA = "http://localhost:11434"
MODEL = "qwen2.5:7b"
def embed(texts):
return requests.post(f"{OLLAMA}/api/embed", json={"model": "nomic-embed-text", "input": texts}).json()["embeddings"]
def similarity(a, b):
dot = sum(x * y for x, y in zip(a, b))
return dot / (math.sqrt(sum(x * x for x in a)) * math.sqrt(sum(y * y for y in b)))
# Step 1-2: chunks aur unke vectors
chunks = [c.strip() for c in re.split(r"ns*n", open("notes.txt", encoding="utf-8").read()) if c.strip()]
vectors = embed(chunks)
# Step 3: milte-julte chunks
def retrieve(question, k=2):
q = embed([question])[0]
scored = sorted(zip(chunks, vectors), key=lambda cv: similarity(q, cv[1]), reverse=True)
return [c for c, _ in scored[:k]]
# Step 4: sawal + chunks LLM ko
def ask(question):
context = "nn".join(retrieve(question))
res = requests.post(f"{OLLAMA}/api/chat", json={
"model": MODEL,
"stream": False,
"options": {"temperature": 0},
"messages": [
{"role": "system", "content": 'Sirf neeche diye NOTES se jawab do. Agar jawab notes mein nahi hai, toh saaf kaho "Yeh jaankari notes mein nahi hai." Hinglish mein, chhota jawab do.'},
{"role": "user", "content": f"NOTES:n{context}nnSAWAL: {question}"},
],
})
return res.json()["message"]["content"]
for q in ["Refund kab tak mil sakta hai?", "Kya hostel ki suvidha hai?"]:
print(f"Q: {q}nA: {ask(q)}n")8. Common Mistakes
- "Pata nahi" ka niyam bhoolna – सबसे ख़तरनाक। AI ख़ाली जगह अपनी कल्पना से भर देगा।
- Bahut bade chunks – पूरा page एक chunk = सवाल से मेल कमज़ोर, और tokens ज़्यादा।
- Bahut chhote chunks – एक-एक line = ज़रूरी बात टुकड़ों में बँट जाती है।
- k = 1 – सिर्फ़ एक chunk लेना जोखिम है; अक्सर जवाब दो हिस्सों में होता है। 2-4 से शुरू कीजिए।
- Har baar index dobara banana – हमारे demo में हर run पर embeddings बनती हैं। असली app में एक बार बनाकर save करते हैं – अगले post में।
- Notes ko "seekha hua" maan lena – RAG model को कुछ सिखाता नहीं, हर सवाल पर सिर्फ़ पढ़कर सुनाता है। Model को सच में सिखाना (training/fine-tuning) अलग चीज़ है – Machine Learning Basics में इसका फ़र्क समझिए।
📌 Cheat sheets: इस post की theory – RAG Cheat Sheet। Series का सारा code एक जगह – AI Engineering Code Cheat Sheet।
Conclusion
RAG = Chunk → Embed → Retrieve → Generate। आपने एक bot बनाया जो सिर्फ़ आपके notes से जवाब देता है, और जानकारी न हो तो साफ़ मना करता है।
लेकिन असली documents पर कुछ नई problems आती हैं: chunks कैसे काटें, embeddings save कैसे करें, जवाब के साथ source कैसे बताएं, और ग़लत जवाब को debug कैसे करें। यह सब Part 8 (23 Nov को आएगा) में। 🚀