नमस्ते दोस्तों!
स्वागत है The Easy Master पर!
आपकी website पर FAQ है: "How can I reset my password?" User search करता है: "I forgot my login"। Normal search (LIKE '%forgot%') कुछ नहीं ढूँढेगा – दोनों में एक भी शब्द common नहीं है। लेकिन मतलब एक ही है।
आज हम ऐसा search बनाएंगे जो शब्दों से नहीं, मतलब से ढूँढता है। यही RAG (अगला post) की नींव है।
Is embeddings in Hindi post mein aap seekhenge:
✅ Embedding kya hai – text का "address"
✅ Cosine similarity – दो texts कितने मिलते हैं
✅ Embedding model – Ollama से free
✅ Project: FAQ search जो मतलब समझता है
✅ Kahan kaam aata hai – search, duplicates, recommendations
1. Embedding Kya Hai?
Embedding मतलब text को numbers की एक लंबी list में बदलना (AI text को अंदर से कैसे "समझता" है, उसकी बिना-code वाली झलक AI Fundamentals में है) – इस तरह कि मिलते-जुलते मतलब वाले texts के numbers भी पास-पास हों।
Aasan tarike se samjhiye: हर sentence को एक शहर के नक्शे पर एक address मिलता है। "Password reset" और "login bhool gaya" एक ही मोहल्ले में रहते हैं। "Refund policy" दूसरे मोहल्ले में। "Pizza recipe" दूसरे शहर में।
बस यह नक्शा 2 dimensions का नहीं, 768 dimensions का है (हमारे model में) – इसलिए हर text के 768 numbers होते हैं।
2. Embedding Model
Chat वाला model embeddings नहीं बनाता – इसके लिए अलग, छोटा model होता है। Ollama में:
ollama pull nomic-embed-textयह करीब 270 MB का है और बहुत तेज़ चलता है। Endpoint है /api/embed, और इसे एक साथ कई texts दे सकते हैं।
3. Cosine Similarity – Kitne Milte Hain?
दो embeddings कितने पास हैं, यह cosine similarity से नापते हैं:
- 1 के पास – मतलब लगभग एक जैसा
- 0 के पास – कोई रिश्ता नहीं
Formula डरावना लगता है, लेकिन code सिर्फ़ एक loop है – दोनों lists को गुणा करके जोड़ो, और उनकी लंबाई से भाग दो। Maths समझना ज़रूरी नहीं, बस याद रखिए: ज़्यादा score = ज़्यादा मिलता-जुलता।
4. Project – FAQ Search Jo Matlab Samjhe
// embed.js — matlab se search: shabd alag, matlab same
async function embed(texts) {
const res = await fetch('http://localhost:11434/api/embed', {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify({ model: 'nomic-embed-text', input: texts }),
});
const data = await res.json();
return data.embeddings; // har text ke liye numbers ki ek list
}
// do vectors kitne milte-julte hain: 1 = bilkul same, 0 = koi rishta nahi
function similarity(a, b) {
let dot = 0, na = 0, nb = 0;
for (let i = 0; i < a.length; i++) {
dot += a[i] * b[i];
na += a[i] * a[i];
nb += b[i] * b[i];
}
return dot / (Math.sqrt(na) * Math.sqrt(nb));
}
const faqs = [
'How can I reset my password?',
'What is the refund policy?',
'How do I change my delivery address?',
'Which payment methods do you accept?',
'How long does shipping take?',
];
const faqVectors = await embed(faqs);
console.log('Ek vector mein kitne numbers:', faqVectors[0].length);
async function search(question) {
const [q] = await embed([question]);
return faqs
.map((text, i) => ({ text, score: similarity(q, faqVectors[i]) }))
.sort((a, b) => b.score - a.score);
}
for (const question of ['I forgot my login', 'I want my money back', 'Can I pay with UPI?']) {
const [best, second] = await search(question);
console.log(`n"${question}"n -> ${best.text} (${best.score.toFixed(2)})n ${second.text} (${second.score.toFixed(2)})`);
}Chalaiye: node embed.js
Ek vector mein kitne numbers: 768
"I forgot my login"
-> How can I reset my password? (0.65)
How do I change my delivery address? (0.36)
"I want my money back"
-> What is the refund policy? (0.55)
How can I reset my password? (0.50)
"Can I pay with UPI?"
-> Which payment methods do you accept? (0.57)
What is the refund policy? (0.39)देखिए – "I want my money back" और "refund policy" में एक भी शब्द common नहीं, फिर भी सही FAQ सबसे ऊपर आया। "UPI" शब्द FAQ में कहीं नहीं, लेकिन model जानता है कि UPI एक payment method है।
Ek zaroori baat – score ka gap
दूसरा सवाल देखिए: सही जवाब 0.55, ग़लत जवाब 0.50 – बहुत कम फ़र्क। Embeddings जादू नहीं, अंदाज़ा हैं। इसीलिए अगले posts में हम top 1 नहीं, top 2-3 results लेंगे और एक minimum score रखेंगे।
5. Ek Baar Banao, Baar-Baar Use Karo
ध्यान दीजिए – FAQs के embeddings एक बार बने (faqVectors), और हर search पर सिर्फ़ सवाल का embedding बनता है। असली app में FAQs के vectors database में save रहते हैं (और बार-बार पूछे जाने वाले सवालों के embeddings cache भी किए जा सकते हैं)। हज़ारों documents हों तो vector database (pgvector, Chroma, Qdrant वगैरह) use करते हैं – वो यही काम बहुत तेज़ी से करते हैं। Part 8 में हम vectors को file में save करना सीखेंगे।
6. Python Version
# embed.py — matlab se search
import math, requests
def embed(texts):
res = requests.post("http://localhost:11434/api/embed", json={"model": "nomic-embed-text", "input": texts})
return res.json()["embeddings"]
def similarity(a, b):
dot = sum(x * y for x, y in zip(a, b))
return dot / (math.sqrt(sum(x * x for x in a)) * math.sqrt(sum(y * y for y in b)))
faqs = [
"How can I reset my password?",
"What is the refund policy?",
"How do I change my delivery address?",
"Which payment methods do you accept?",
"How long does shipping take?",
]
faq_vectors = embed(faqs)
def search(question):
q = embed([question])[0]
scored = [(similarity(q, v), text) for text, v in zip(faqs, faq_vectors)]
return sorted(scored, reverse=True)
for question in ["I forgot my login", "I want my money back", "Can I pay with UPI?"]:
score, best = search(question)[0]
print(f'"{question}" -> {best} ({score:.2f})')7. Embeddings Kahan Kaam Aate Hain?
- Semantic search – blog, docs, products में मतलब से search
- RAG – AI को सही document देना (अगला post)
- Duplicate pakadna – "Same सवाल पहले पूछा गया है" वाला feature
- Recommendations – "इससे मिलते-जुलते posts"
- Grouping – हज़ारों reviews को topics में बाँटना
8. Common Mistakes
- Alag models ke embeddings milana – एक model के vectors दूसरे से compare नहीं होते। Documents और सवाल – दोनों एक ही model से।
- Model badla, purane vectors rakhe – Model बदला तो सारे vectors दोबारा बनाइए।
- Har search par saare documents ka embedding – बहुत धीमा। Documents के vectors एक बार बनाकर save कीजिए।
- Hindi/Hinglish par andha bharosa –
nomic-embed-textEnglish पर सबसे अच्छा है। Hindi content के लिए multilingual embedding model try कीजिए और अपने data पर test कीजिए।
📌 Cheat sheets: इस post की theory – Embeddings & Vector DB Cheat Sheet। Series का सारा code एक जगह – AI Engineering Code Cheat Sheet।
Conclusion
Embedding = text का address, cosine similarity = दो addresses की दूरी। इन दोनों से आपने ऐसा search बनाया जो शब्द नहीं, मतलब ढूँढता है।
अब सब तैयार है AI Engineering के सबसे काम के pattern के लिए – RAG, जहाँ AI आपके अपने notes पढ़कर जवाब देगा। Part 7 पढ़िए → (22 Nov को आएगा) 🚀