जेनेरेटिव एआई, RAG एवं एजेंटिक इंजीनियरिंग (भाग 2)

 डेटा अंतर्ग्रहण, पार्सिंग और सिमेंटिक चंकिंग रणनीतियाँ

नमस्कार मित्रों!

श्रृंखला के पहले भाग में हमने देखा कि लार्ज लैंग्वेज मॉडल्स (LLMs) भाषा निर्माण में जितने दक्ष हैं, ज्ञान की अद्यतन प्रामाणिकता और विशिष्ट संदर्भों में वे उतने ही सीमित हैं। यदि हमें किसी संगठन के निजी दस्तावेज़ों, कानूनी फाइलों या तकनीकी शोध-पत्रों पर एआई से सटीक उत्तर चाहिए, तो हमें मॉडल को सही संदर्भ उपलब्ध कराना होता है।

लेकिन यहीं पर वास्तविक इंजीनियरिंग चुनौती खड़ी होती है: आप 500 पृष्ठों की तकनीकी रिपोर्ट या हज़ारों असंरचित पीडीएफ फाइलों को सीधे प्रॉम्प्ट में नहीं डाल सकते।

यहीं से शुरू होता है RAG (Retrieval-Augmented Generation) पाइपलाइन का पहला और सर्वाधिक महत्वपूर्ण चरण - Data Ingestion, Parsing और Chunking। यदि डेटा की चंकिंग में गलती हो गई, तो आगे की पूरी सर्च और जनरेशन प्रक्रिया पटरी से उतर जाएगी।

आइए AI Bodh के इस दूसरे भाग में समझें कि असंरचित डेटा को एआई के लिए तैयार करने की सही रणनीतियाँ क्या हैं।

1. डेटा अंतर्ग्रहण और पार्सिंग

वास्तविक दुनिया का डेटा कभी भी साफ-सुथरे टेक्स्ट प्रारूप में नहीं मिलता। वह जटिल पीडीएफ, टेबल्स, स्कैन किए गए दस्तावेज़ों, वर्ड फाइलों और मार्कडाउन में बिखरा रहता है।

• पार्सिंग की चुनौतियाँ: पीडीएफ केवल टेक्स्ट का भंडार नहीं होता; उसमें हेडर, फुटर, पेज नंबर, मल्टी-कॉलम लेआउट और टेबल्स होते हैं। यदि सामान्य पायथन स्क्रिप्ट से टेक्स्ट निकाला जाए, तो दो अलग-अलग कॉलम के वाक्य आपस में मिल जाते हैं और अर्थ का अनर्थ हो जाता है।
• संरचना-जागरूक निष्कर्षण (Layout-Aware Extraction): आधुनिक डेटा पाइपलाइनों में केवल रॉ टेक्स्ट नहीं निकाला जाता, बल्कि दस्तावेज़ की तार्किक संरचना (शीर्षक, उपशीर्षक, पैराग्राफ और तालिकाएँ) को सुरक्षित रखा जाता है। इसके लिए अनस्ट्रक्चर्ड टूल्स, मार्कडाउन पार्सर्स और विज़न-आधारित पार्सिंग तकनीकों का उपयोग किया जाता है ताकि मेटाडेटा (दस्तावेज़ का नाम, पृष्ठ संख्या, सेक्शन हेडिंग) नष्ट न हो।

2. चंकिंग क्या है और यह क्यों अनिवार्य है?

चंकिंग का सीधा अर्थ है - बड़े दस्तावेज़ों को छोटे, अर्थपूर्ण और प्रबंधनीय टुकड़ों (Chunks) में विभाजित करना।

इसके दो मुख्य तकनीकी कारण हैं:

1. एम्बेडिंग मॉडल की सीमा: टेक्स्ट को गणितीय वेक्टर्स में बदलने वाले एम्बेडिंग मॉडल्स की एक निश्चित संदर्भ सीमा (Token Limit) होती है (जैसे 512 या 8192 टोकन्स)। आप पूरे दस्तावेज़ का एक साथ सिंगल वेक्टर नहीं बना सकते, क्योंकि इससे विशिष्ट तथ्यों का सूक्ष्म विवरण खो जाता है।
2. सटीक पुनर्प्राप्ति (Granular Retrieval): यदि उपयोगकर्ता किसी नियम की विशिष्ट उपधारा पूछता है, तो एलएलएम को केवल वही संबंधित पैराग्राफ मिलना चाहिए, न कि पूरा 50 पृष्ठों का अध्याय।

3. प्रमुख चंकिंग रणनीतियाँ

डेटा के प्रकार के अनुसार सही चंकिंग तकनीक चुनना आवश्यक है:

• फिक्स्ड-साइज़ चंकिंग (Fixed-Size Chunking):

यह सबसे सरल तरीका है, जहाँ टेक्स्ट को निश्चित वर्णों या शब्दों (जैसे हर 500 वर्ण) के बाद काट दिया जाता है।

• समस्या: यह विधि किसी वाक्य या विचार को बीच में से काट सकती है, जिससे वाक्य का अर्थ आधा रह जाता है।
• रिकर्सिव कैरेक्टर चंकिंग (Recursive Character Text Splitting):

यह उद्योग जगत में सर्वाधिक उपयोग की जाने वाली विधि है। यह टेक्स्ट को प्राकृतिक विभाजकों के आधार पर तोड़ती है - पहले दो पैराग्राफ के बीच (\n\n), फिर दो वाक्यों के बीच (\n), फिर शब्दों के बीच (स्पेस)। जब तक चंक का आकार सीमा के भीतर न आ जाए, यह तार्किक रूप से टेक्स्ट को विभाजित करती है। इससे पूरे पैराग्राफ का संदर्भ सुरक्षित रहता है।

• सिमेंटिक चंकिंग:

यह सबसे उन्नत तकनीक है। यहाँ चंक की लंबाई शब्दों की गिनती से तय नहीं होती, बल्कि विचारों के बदलाव (Semantic Drift) से तय होती है। एम्बेडिंग मॉडल लगातार दो वाक्यों के बीच के अर्थिक अंतर को मापता है। जैसे ही किसी नए विषय या विचार की शुरुआत होती है, सिस्टम वहीं से नया चंक शुरू कर देता है।

4. टोकन ओवरलैप का Golden Rule

दो चंक्स के बीच संदर्भ की निरंतरता बनाए रखने के लिए ओवरलैप (Overlap) का उपयोग किया जाता है।

यदि आपका चंक साइज 500 टोकन है, तो आप 50 से 100 टोकन का ओवरलैप रखते हैं। इसका अर्थ यह है कि पहले चंक के अंतिम 50-100 शब्द दूसरे चंक की शुरुआत में भी शामिल रहेंगे।

• इससे यह सुनिश्चित होता है कि यदि कोई महत्वपूर्ण तथ्य, तारीख या शर्त ठीक चंक के किनारे (Boundary) पर मौजूद है, तो उसका संदर्भ टूटेगा नहीं।
• सामान्यतः 10% से 20% का ओवरलैप उद्योग मानकों के अनुसार सर्वोत्तम माना जाता है।

निष्कर्ष (Takeaway)

RAG इंजीनियरिंग में एक प्रसिद्ध कहावत है - "Garbage in, Garbage out"। यदि आपकी चंकिंग रणनीति कमजोर है, तो दुनिया का सबसे बेहतरीन वेक्टर डेटाबेस या सबसे महंगा एलएलएम भी आपको सही उत्तर नहीं दे पाएगा।

डेटा को सही तार्किक इकाइयों में तोड़ना, आवश्यक ओवरलैप जोड़ना और समृद्ध मेटाडेटा सुरक्षित रखना ही एक सफल ज्ञान-इकोसिस्टम की पहली शर्त है। जब ये छोटे-छोटे चंक्स तैयार हो जाते हैं, तब अगला कदम होता है इन्हें गणितीय वेक्टर्स में रूपांतरित करना। इस प्रक्रिया को हम श्रृंखला के अगले भाग - वेक्टर एम्बेडिंग्स और सिमेंटिक स्पेस - में विस्तार से समझेंगे।

सीखते रहिए, सिस्टम को धरातल पर गढ़ते रहिए और तकनीक के इस सफर में जुड़े रहिए!

–०–

– डॉ. चंद्रेश कुमार छतलानी

Labels: