जेनेरेटिव एआई, RAG एवं एजेंटिक इंजीनियरिंग (भाग 1)

फाउंडेशनल मॉडल्स की आंतरिक कार्यप्रणाली और अटेंशन मैकेनिज़्म

नमस्कार मित्रों!

आर्टिफिशियल इंटेलिजेंस की आधुनिक यात्रा को समझने के लिए सबसे पहले उस केंद्र बिंदु को समझना आवश्यक है जहाँ से पूरी जेनेरेटिव क्रांति का सूत्रपात हुआ। आज जब हम चैटजीपीटी, क्लाउड या जेमिनी जैसे विशालकाय सिस्टम्स से संवाद करते हैं, तो अक्सर ऐसा आभास होता है मानो स्क्रीन के दूसरी तरफ कोई सचेत प्राणी बैठा है जो हमारी भाषा को ठीक उसी तरह समझता है जैसे कोई मनुष्य।

लेकिन एक कंप्यूटर वैज्ञानिक और सजग अध्येता के रूप में हमें पर्दे के पीछे के गणितीय यथार्थ को देखना होगा। लार्ज लैंग्वेज मॉडल्स (LLMs) किसी रहस्यमयी चेतना पर नहीं, बल्कि संभाव्यता (Probability), सांख्यिकी और ट्रांसफॉर्मर आर्किटेक्चर के सटीक नियमों पर संचालित होते हैं।

आइए AI Bodh पर जेनेरेटिव एआई, RAG एवं एजेंटिक इंजीनियरिंग के इस पहले भाग में फाउंडेशनल मॉडल्स की आंतरिक कार्यप्रणाली, अटेंशन मैकेनिज़्म और उनकी स्वाभाविक सीमाओं की गहरी पड़ताल करते हैं।

1. नेक्स्ट टोकन प्रिडिक्शन: भाषा का सांख्यिकीय खेल

किसी भी लार्ज लैंग्वेज मॉडल का बुनियादी प्रशिक्षण उद्देश्य अत्यंत सरल प्रतीत होता है: नेक्स्ट टोकन प्रिडिक्शन।

जब आप मॉडल को कोई वाक्य देते हैं - जैसे "सूर्य पूर्व दिशा से..." - तो मॉडल का काम यह अनुमान लगाना होता है कि अगला सबसे संभावित शब्द या टोकन क्या होगा।

Tokenization: मॉडल शब्दों को सीधे नहीं समझता। वह इनपुट टेक्स्ट को छोटे-छोटे टुकड़ों (Tokens) में तोड़ता है, जहाँ एक टोकन औसतन 3 से 4 अक्षरों का हो सकता है। प्रत्येक टोकन को एक विशिष्ट संख्यात्मक आईडी दी जाती है।

• संभाव्यता वितरण (Probability Distribution): अपने विशाल प्रशिक्षण डेटा के आधार पर मॉडल अपनी शब्दावली के हज़ारों टोकन्स में से प्रत्येक के लिए एक संभावना स्कोर निकालता है। इस उदाहरण में 'उगता' शब्द का स्कोर सर्वाधिक होगा, इसलिए मॉडल उसका चयन करता है।

सरल शब्दों में कहें तो एलएलएम तथ्यों को 'जानता' नहीं है; वह केवल यह जानता है कि भाषा के विशाल सागर में कौन-से शब्द किस क्रम में एक साथ आने की सबसे अधिक संभावना रखते हैं।

2. ट्रांसफॉर्मर आर्किटेक्चर और सेल्फ-अटेंशन

वर्ष 2017 से पहले भाषा प्रसंस्करण (NLP) के लिए RNN (Recurrent Neural Networks) और LSTM का उपयोग होता था। इनकी सबसे बड़ी कमी यह थी कि वे शब्दों को एक-एक करके क्रम में पढ़ते थे। यदि कोई वाक्य बहुत लंबा हो जाता था, तो वे वाक्य के शुरुआती हिस्से का संदर्भ भूल जाते थे।

2017 में आए ऐतिहासिक शोध पत्र "Attention Is All You Need" ने ट्रांसफॉर्मर आर्किटेक्चर पेश कर इस समस्या को जड़ से समाप्त कर दिया:

1. समानांतर प्रसंस्करण (Parallel Processing): ट्रांसफॉर्मर पूरे वाक्य या पूरे दस्तावेज़ को एक साथ प्रोसेस करता है, जिससे विशाल डेटा पर मॉडल्स को ट्रेन करना संभव हुआ।
2. सेल्फ-अटेंशन मैकेनिज़्म: यह तकनीक मॉडल को यह तय करने की शक्ति देती है कि किसी वाक्य में किस शब्द का संबंध किस दूसरे शब्द से कितना गहरा है।
• उदाहरण के लिए: "बैंक कर्मचारी नदी किनारे बैठा था।" यहाँ 'बैंक' का अर्थ वित्तीय संस्थान नहीं, बल्कि नदी का किनारा (Bank) है। सेल्फ-अटेंशन मैकेनिज़्म 'बैंक' शब्द को प्रोसेस करते समय 'नदी' शब्द पर weightage देता है, जिससे शब्द का सही अर्थ निर्धारित होता है।
3. Query, Key, Value - QKV: अटेंशन मैकेनिज़्म एक डेटाबेस लुकअप की तरह काम करता है। प्रत्येक टोकन अपनी एक 'क्वेरी' भेजता है, बाकी सभी टोकन्स की 'की' से उसका मिलान होता है, और सबसे प्रासंगिक टोकन्स की 'वैल्यू' को जोड़कर अंतिम संदर्भ तैयार किया जाता है।

3. मूलभूत सीमाएँ: ज्ञान की कटऑफ और मतिभ्रम (Hallucination)

चूँकि फाउंडेशनल मॉडल्स केवल सांख्यिकीय संगति पर टिके होते हैं, इसलिए उद्यम और उत्पादन स्तर पर इनकी तीन प्रमुख सीमाएँ सामने आती हैं:

• Static Knowledge Cutoff: मॉडल का प्रशिक्षण जिस तारीख को पूरा हुआ, उसका ज्ञान वहीं ठहर जाता है। वह आज सुबह की घटनाओं, शेयर बाज़ार के ताज़ा आंकड़ों या किसी संगठन की आंतरिक गोपनीय फाइलों को नहीं जान सकता।
• मॉडल Hallucination: जब मॉडल के पास किसी प्रश्न का सटीक उत्तर नहीं होता, तो वह रुकने के बजाय भाषा के प्रवाह को बनाए रखने के लिए पूरी तरह मनगढ़ंत तथ्य, झूठे संदर्भ या गैर-मौजूद शोध-पत्र पूरे आत्मविश्वास के साथ पेश कर देता है।
• तर्क बनाम स्मृति का द्वंद्व: मॉडल के पैरामीटर्स में ज्ञान संघनित (Lossy Compression) रूप में जमा होता है। जटिल बहु-चरणीय गणितीय समस्याओं या तार्किक पहेलियों में वह अक्सर सतही रूप से सही दिखने वाले गलत उत्तर दे बैठता है।

निष्कर्ष (Takeaway)

फाउंडेशनल मॉडल्स जेनेरेटिव एआई की नींव हैं। वे भाषा के उत्कृष्ट शिल्पी हैं, लेकिन वे ज्ञान के निष्पक्ष भंडार या स्वतंत्र निर्णयकर्ता नहीं हैं।

यदि हम चाहते हैं कि एआई वास्तविक दुनिया में बिना मतिभ्रम के काम करे और संगठनों के निजी डेटा पर सटीक उत्तर दे, तो हमें केवल इन मॉडल्स पर निर्भर रहने के बजाय इन्हें बाहरी ज्ञान स्रोतों से जोड़ना होगा। यहीं से शुरुआत होती है RAG (Retrieval-Augmented Generation) की, जिसे हम इस श्रृंखला के अगले भाग में समझेंगे।

सीखते रहिए, बुनियादी सिद्धांतों को परखते रहिए और तकनीक के इस सफर में जुड़े रहिए!

–०–

– डॉ. चंद्रेश कुमार छतलानी