जेनेरेटिव एआई, RAG एवं एजेंटिक इंजीनियरिंग (भाग 3)

वेक्टर एम्बेडिंग्स और उच्च-आयामी सिमेंटिक स्पेस

नमस्कार मित्रों!

श्रृंखला के पिछले भाग में हमने देखा कि कैसे बड़े और जटिल दस्तावेज़ों को अर्थपूर्ण, संरचित Chunks में विभाजित किया जाता है। अब हमारे पास पाठ्य सामग्री के छोटे-छोटे टुकड़े तो मौजूद हैं, लेकिन कंप्यूटर सीधे अक्षरों, शब्दों या वाक्यों के अर्थ को नहीं समझता। कंप्यूटर केवल एक ही भाषा समझता है - संख्याओं और गणित की भाषा।

अगर आप किसी पारंपरिक सर्च इंजन में "वाहन" खोजते हैं, तो वह केवल उन्हीं पैराग्राफ को ढूँढ पाएगा जहाँ शब्द "वाहन" लिखा हो; वह "कार", "मोटरसाइकिल" या "ऑटोमोबाइल" वाले वाक्यों को छोड़ देगा।

यहीं पर प्रवेश होता है आधुनिक एआई के सबसे चमत्कारी घटक का - Vector Embeddings।

एम्बेडिंग्स भाषा के शाब्दिक खोल को हटाकर उसके आंतरिक भाव, संदर्भ और अर्थ को एक बहु-आयामी गणितीय स्पेस (Multi-dimensional Space) में बदल देती हैं।

आइए AI Bodh के इस तीसरे भाग में समझें कि टेक्स्ट से वेक्टर बनने की यह यात्रा कैसे घटित होती है और सिमेंटिक समानता का गणित कैसे काम करता है।

1. वेक्टर एम्बेडिंग क्या है?

(शब्दों का ज्यामितीय मानचित्र)

सरल शब्दों में, एम्बेडिंग किसी भी पाठ्य अंश (शब्द, वाक्य या पूरे चंक) का एक संख्यात्मक प्रतिनिधित्व है। यह फ़्लोटिंग-पॉइंट संख्याओं की एक लंबी List या Array होती है - जैसे:

[0.0245, -0.1582, 0.8921, ..., -0.0412]

• आयाम: यह सूची कितनी लंबी होगी, यह एम्बेडिंग मॉडल पर निर्भर करता है। सामान्यतः यह 384, 768, 1536 या 3072 आयामों की होती है।
• अवधारणाओं की मैपिंग: इस उच्च-आयामी space में प्रत्येक आयाम भाषा के किसी सूक्ष्म भाषाई, तार्किक या विषयगत लक्षण को दर्शाता है।
• निकटता का नियम: जो वाक्य या विचार अर्थ की दृष्टि से एक-दूसरे के निकट होते हैं, उनके वेक्टर Coordinates भी इस ज्यामितीय स्पेस में एक-दूसरे के बेहद पास स्थित होते हैं।
• उदाहरण के लिए, "राजा" और "रानी" के वेक्टर पास होंगे, और "सेब" व "संतरा" के वेक्टर पास होंगे; लेकिन "राजा" और "सेब" के बीच की दूरी बहुत अधिक होगी।

2. सिमेंटिक समानता मापने के गणितीय पैमाने

जब कोई उपयोगकर्ता कोई प्रश्न पूछता है, तो सिस्टम पहले उस प्रश्न को भी एक वेक्टर में बदलता है। इसके बाद प्रश्न के वेक्टर और हमारे डेटाबेस में मौजूद हज़ारों चंक्स के वेक्टर्स के बीच की गणितीय निकटता मापी जाती है।

इसके लिए मुख्य रूप से तीन मीट्रिक्स का उपयोग होता है:

1. Cosine Similarity:

यह उद्योग जगत में सबसे लोकप्रिय पैमाना है। यह दो वेक्टर्स के बीच के कोण का कोसाइन मापता है। इसका मान -1 से 1 (या नॉर्मलाइज़्ड वेक्टर्स में 0 से 1) के बीच होता है।

• यदि दो वेक्टर्स की दिशा बिल्कुल एक जैसी है, तो स्कोर 1 होगा (पूर्ण समानता)।
• इसकी सबसे बड़ी खूबी यह है कि यह टेक्स्ट की लंबाई (Vector Magnitude) से अप्रभावित रहता है और केवल दिशा व अर्थ पर ध्यान केंद्रित करता है।
1. Dot Product:

जब सभी वेक्टर्स पहले से सामान्यीकृत (Normalized to unit length) होते हैं, तो डॉट प्रोडक्ट सीधे कोसाइन सिमिलैरिटी के बराबर हो जाता है। यह गणना में अत्यधिक तीव्र होता है, जिससे बड़े पैमाने पर सर्च में लेटेंसी कम रहती है।

3. यूक्लिडियन दूरी (Euclidean Distance / L2 Norm):

यह दो वेक्टर बिंदुओं के बीच की सीधी ज्यामितीय दूरी मापता है। यहाँ मान जितना कम होगा, दोनों वाक्यों का अर्थ उतना ही समान माना जाएगा।

 

3. सही एम्बेडिंग मॉडल का चयन: MTEB लीडरबोर्ड

हर एम्बेडिंग मॉडल हर काम के लिए उपयुक्त नहीं होता। कोई मॉडल छोटे वाक्यों के लिए बेहतर होता है, तो कोई लंबे कानूनी दस्तावेज़ों के लिए।

• MTEB (Massive Text Embedding Benchmark): ओपन-सोर्स दुनिया में विभिन्न एम्बेडिंग मॉडल्स की गुणवत्ता (वर्गीकरण, क्लस्टरिंग, रिट्रीवल आदि) को परखने का यह वैश्विक पैमाना है।
• प्रोप्राइटरी बनाम ओपन-सोर्स मॉडल्स:
• OpenAI (text-embedding-3-small/large): अत्यधिक लोकप्रिय, बहुभाषी और उपयोग में आसान।
• ओपन-सोर्स (BGE, E5, Nomic, Cohere Embed): इन्हें आप अपने निजी सर्वर पर चला सकते हैं, जिससे डेटा की पूर्ण गोपनीयता बनी रहती है और एपीआई लागत शून्य हो जाती है।
• क्रिटिकल नियम: जिस एम्बेडिंग मॉडल से आपने अपने दस्तावेज़ों के चंक्स को वेक्टराइज़ किया है, उपयोगकर्ता के प्रश्न को भी अनिवार्य रूप से उसी मॉडल से वेक्टराइज़ करना होगा। अलग-अलग मॉडल्स के वेक्टर्स की आपस में तुलना करना तकनीकी रूप से असंभव है।

4. क्या डोमेन-विशिष्ट फाइन-ट्यूनिंग की आवश्यकता है?

सामान्यतः आधुनिक एम्बेडिंग मॉडल्स व्यापक इंटरनेट डेटा पर प्रशिक्षित होने के कारण सामान्य ज्ञान, समाचार और तकनीकी विषयों को भली-भाँति समझते हैं।

परंतु यदि आप किसी अत्यधिक विशिष्ट क्षेत्र में काम कर रहे हैं - जैसे विशिष्ट चिकित्सा शब्दावली (Medical Pathology), स्थानीय कानूनी कोड, या किसी संगठन के आंतरिक गुप्त कोडनेम्स - तो सामान्य मॉडल उनके आंतरिक अर्थ को पकड़ने में चूक सकता है। ऐसी स्थिति में अपने डोमेन डेटा पर एम्बेडिंग मॉडल को फाइन-ट्यून (Contrastive Learning द्वारा) करना रिट्रीवल सटीकता को 15% से 25% तक बढ़ा देता है।

निष्कर्ष (Takeaway)

वेक्टर एम्बेडिंग्स ने मशीनों को भाषा का सतही व्याकरण भुलाकर उसका आंतरिक भाव समझना सिखाया है। यह वह पुल है जो असंरचित मानवीय भाषा को शुद्ध गणितीय निर्देशांकों में बदलकर एआई के लिए पठनीय बनाता है।

लेकिन जब आपके पास लाखों दस्तावेज़ों के करोड़ों वेक्टर्स जमा हो जाते हैं, तो हर क्वेरी पर उन सभी के साथ गणितीय गणना करना अत्यंत धीमा और महंगा हो सकता है। यहीं पर हमें आवश्यकता होती है एक विशेष डेटाबेस की - वेक्टर डेटाबेस (Vector Database)।

श्रृंखला के अगले भाग - भाग 4: वेक्टर डेटाबेस और हाइब्रिड सर्च आर्किटेक्चर - में हम समझेंगे कि कैसे HNSW इंडेक्सिंग और BM25 का समन्वय सर्च को बिजली की तरह तेज़ और अचूक बनाता है।

सीखते रहिए, गणित और कोड के इस संतुलन को साधते रहिए और ज्ञान यात्रा में जुड़े रहिए!

–०–

– डॉ. चंद्रेश कुमार छतलानी