2TB शब्दकोश से डुप्लिकेट सामग्री को फ़िल्टर कैसे करें, और बेहद बड़ी टेक्स्ट फ़ाइलों से डुप्लिकेट सामग्री को फ़िल्टर कैसे करें।

पासवर्ड क्रैकिंग या डेटा प्रोसेसिंग के क्षेत्रों में, 2TB का टेक्स्ट प्रकार का डिक्शनरी फ़ाइल एक बहुत शक्तिशाली संसाधन हो सकता है। हालाँकि, इतना बड़ा फ़ाइल अक्सर बहुत सारे दोहराए डेटा से भरा होता है, जो अनावश्यिक स्टोरेज स्पेस लेता है और डिक्शनरी फ़ाइल पर आधारित कार्यों की दक्रियता को प्रभावित कर सकता है, जैसे पासवर्ड खोजने की गति। इसलिए, दोहराए डेटा को प्रभावी ढंग से फ़िल्टर करना बहुत महत्वपूर्ण है।

पहला, दोहराए डेटा के स्रोत और प्रभाव को समझना

सबसे पहले, हमें यह समझना चाहिए कि इतने सारे दोहराए डेटा क्यों उत्पन्न होते हैं। डिक्शनरी फ़ाइल के निर्माण के दौरान, डेटा शायद कई डेटा स्रोतों से एकत्र किया जाता है, जिनमें से कुछ पहले से ही ओवरलैप हो सकते हैं। उदाहरण के लिए, विभिन्न शब्द सूचियों, सामान्य पासवर्ड सेट, विभिन्न अक्षरों के संयोजन सूचियों आदि से डेटा एकत्र करते समय, कुछ बुनियादी शब्द या सरल पासवर्ड संयोजन अनेक सूचियों में मौजूद हो सकते हैं।

दोहराए डेटा के कई प्रतिकूल प्रभाव होते हैं। स्टोरेज के मामले में, 2TB की स्थान पहले से ही बहुत बड़ी है, और यदि इसमें बहुत सारे दोहराए डेटा हों, तो यह मूल्यवान स्टोरेज स्पेस को बर्बाद करेगा। डिक्शनरी फ़ाइल का उपयोग करते समय पासवर्ड क्रैकिंग या अन्य ऑपरेशनों के लिए, दोहराए डेटा अनावश्यिक सर्च और तुलना ऑपरेशनों को ट्रिगर करेंगे। उदाहरण के लिए, यदि पासवर्ड क्रैकिंग में, एल्गोरिथ्म को डिक्शनरी के सारे सामग्री को लक्ष्य पासवर्ड के साथ तुलना करनी होगी, तो दोहराए डेटा तुलना करने के लिए अनेक बार तुलना करेंगे, जिससे पूरी प्रक्रिया में देरी होगी।

दूसरा, टेक्स्ट प्रोसेसिंग टूल का उपयोग करके फ़िल्टरिंग

  विंडोज सिस्टम में टूल

    - पावरशेल

      - विंडोज में, पावरशेल टेक्स्ट प्रोसेसिंग के लिए बहुत सक्षम है। हम निम्नलिखित पावरशेल स्क्रिप्ट का उपयोग करके दोहराए लाइनों को हटा सकते हैं:

        " "

       }

       $uniqueLines | सेट - सामग्री "unique_dictionary.txt"

       ```

  इस स्क्रिप्ट पहले “dictionary.txt” में सभी लाइनों को एक अर्रेय “$lines” में पढ़ता है। फिर, एक लूप के माध्यम से प्रत्येक लाइन को देखता है, और यदि कोई लाइन नई अर्रे “$uniqueLines” में नहीं है, तो उसे इसमें जोड़ देता है। अंत में, नई अर्रे की सामग्री “unique_dictionary.txt” में सेव कर देता है।

  Divide-and-Conquer एल्गोरिथम

   - हमारा डिक्शनरी फ़ाइल बहुत बड़ी है (2T), इसलिए इसे सीधे संभालने से मेमरी इनसुफिशिएंसी जैसी समस्याएँ हो सकती हैं। Divide-and-Conquer एल्गोरिथम इस समस्या को अच्छी तरह हल कर सकता है। हम इस बड़ी फ़ाइल को कई छोटे सब-फ़ाइलों में विभाजित कर सकते हैं। उदाहरण के लिए, हम एक निर्दिष्ट लाइन संख्या या फ़ाइल आकार के आधार पर इसे विभाजित कर सकते हैं।

   - फिर, प्रत्येक सब-फ़ाइल में डुप्लिकेट फ़िल्टरिंग करें। संसाधित सब-फ़ाइलों को फिर एक फ़ाइल में मर्ज करें। मर्ज करते समय, हमें यह भी जाँचना चाहिए कि सब-फ़ाइलों के बीच कोई समान सामग्री है या नहीं।

IV. फ़िल्टरिंग के परिणामों को सत्यापित करें

डुप्लिकेट फ़िल्टरिंग करने के बाद, हमें परिणामों को सत्यापित करना चाहिए। इसके लिए कुछ सरल तरीके हैं, जैसे कि कुछ लाइनों को रैंडम रूप से चुनना और उनकी उपस्थिति को मूल फ़ाइल और फ़िल्टर किए गए फ़ाइल में देखना। यदि वे मूल फ़ाइल में कई बार दिखाई देते हैं, लेकिन फ़िल्टर किए गए फ़ाइल में केवल एक बार दिखाई देते हैं, तो फ़िल्टरिंग काम कर रही है।

इसके अलावा, मूल फ़ाइल और फ़िल्टर किए गए फ़ाइल के आकार की तुलना की जा सकती है। यदि फ़िल्टर किए गए फ़ाइल का आकार मूल फ़ाइल से बहुत कम है, और यदि इसके बाद की परीक्षण (जैसे इस डिक्शनरी फ़ाइल का उपयोग करके सिंपल पासवर्ड खोजने के लिए) में सब कुछ सामान्य रूप से काम करता है और कोई पासवर्ड छूट नहीं गया है, तो यह बताता है कि डुप्लिकेट फ़िल्टरिंग काम कर रही है।

हमारे सर्वर में 512GB मेमोरी, हाई-स्पीड NVMe प्रोटोकॉल हार्ड ड्राइव सर्वर है, और आधे महीने के लिए इसे सफलतापूर्वक संसाधित किया गया है, और हमने एक उच्च कार्यक्रिया स्क्रिप्ट भी लिख लिया है, जिसमें डुप्लिकेट फ़िल्टरिंग के दौरान हमारे द्वारा सामना किए गए समस्याओं और उनके समाधानों के बारे में बताया गया है!