ڈیوپیٹر کیسے ایک 2tb دبلیجی سے ٹوپیٹ ، اور بہت بڑے ٹکٹ فائلوں سے ٹکٹسٹ فائلوں سے لٹکٹ حاصل کرنا ۔

پاس ورڈ کریکنگ یا ڈیٹا پروسیسنگ کے میدان میں ، 2T ٹیکسٹ ٹائپ ڈکشنری فائل کا ہونا ایک بہت طاقتور وسیلہ ہے۔ تاہم ، اتنی بڑی فائل اکثر بڑی مقدار میں ڈپلیکیٹ ڈیٹا کا شکار ہوتی ہے ، جو نہ صرف اسٹوریج کی غیر ضروری جگہ پر قبضہ کرتی ہے ، بلکہ اس لغت کی فائل پر مبنی بعد کے آپریشنز کی کارکردگی کو بھی متاثر کر سکتی ہے ، جیسے پاس ورڈ کی تلاش کی رفتار۔ لہذا ، مؤثر طریقے سے ڈپلیکیٹ مواد کو فلٹر کرنا ایک بہت اہم قدم ہے۔

1. ڈپلیکیٹ ڈیٹا کے ذرائع اور اثرات کو سمجھنا

سب سے پہلے ، ہمیں یہ سمجھنا ہوگا کہ اتنے ڈپلیکیٹ ڈیٹا کیوں پیدا ہوتے ہیں۔ . لغت فائل کی تعمیر کے دوران ، یہ ایک سے زیادہ اعداد و شمار کے ذرائع سے اعداد و شمار جمع کرنے کے لئے ممکن ہے ، اور ان اعداد و شمار کے ذرائع کے درمیان جزوی اوورلوپ موجود ہیں. مثال کے طور پر ، مختلف الفاظ کی فہرستوں ، عام پاس ورڈ سیٹوں ، مختلف کردار کے مجموعوں کی فہرستوں ، وغیرہ سے ڈیٹا جمع کرتے وقت ، کچھ بنیادی الفاظ یا سادہ پاس ورڈ کے مجموعے متعدد ذرائع میں موجود ہوسکتے ہیں۔

یہ ڈپلیکیٹ ڈیٹا بہت سے منفی اثرات لائے گا۔ اسٹوریج کے نقطہ نظر سے ، 2T کی جگہ پہلے سے ہی بہت بڑی ہے اگر اس میں بہت زیادہ ڈپلیکیٹ مواد ہے ، تو یہ قیمتی اسٹوریج کی جگہ کو ضائع کرنے کے مترادف ہے۔ جب اصل میں اس لغت کی فائل کو پاس ورڈ کریکنگ یا دیگر آپریشنز کے لیے استعمال کیا جاتا ہے ، تو ڈپلیکیٹ مواد غیر ضروری تلاش اور موازنہ آپریشنز کا باعث بن سکتا ہے۔ مثال کے طور پر ، اگر پاس ورڈ کریکنگ میں ، الگورتھم کو لغت میں موجود مواد کا ٹارگٹ پاس ورڈ کے ساتھ ایک ایک کرکے موازنہ کرنے کی ضرورت ہے ، تو بار بار ہونے والا مواد موازنہ کی تعداد میں اضافہ کرے گا ، اس طرح کریکنگ کے پورے عمل کو سست کر دے گا۔

2. ٹیکسٹ پروسیسنگ ٹولز پر مبنی فلٹرنگ کا طریقہ

  ونڈوز سسٹمز کے تحت ٹولز استعمال کریں

   - PowerShell

     - ونڈوز سسٹمز میں ، PowerShell ٹیکسٹ پروسیسنگ کی بھرپور صلاحیتیں فراہم کرتا ہے۔ ہم ڈپلیکیٹ لائنوں کو ہٹانے کے لئے مندرجہ ذیل پاور شیل سکرپٹ کا استعمال کرسکتے ہیں:

       ```powershell

       $lines = حاصل کریں - مواد " "

       $uniqueLines = @()

       foreach ($line in $lines) {

           if ($uniqueLines - $line پر مشتمل نہیں ہے) {

       ```

  یہ اسکرپٹ سب سے پہلے "dictionary.txt" کی تمام لائنوں کو ایک صف "$lines" میں پڑھتا ہے۔ اس کے بعد ، ہر قطار کو ایک لوپ کے ذریعے گزرتا ہے. اگر ایک قطار نئی صف "$ uniqueLines" میں نہیں ہے ، تو اسے نئی صف میں شامل کیا جاتا ہے. آخر میں ، نئی صف کے مواد کو "unique_dictionary.txt" میں محفوظ کریں۔

 تقسیم اور فتح الگورتھم

   - چونکہ ہماری لغت کی فائلیں بہت بڑی ہیں (2T)، اس لیے براہ راست پروسیسنگ میں ناکافی میموری جیسے مسائل کا سامنا کرنا پڑ سکتا ہے۔ تقسیم اور فتح الگورتھم اس مسئلے کو اچھی طرح سے حل کر سکتا ہے۔ ہم اس بڑی فائل کو کئی چھوٹے ذیلی فائلوں میں تقسیم کر سکتے ہیں. مثال کے طور پر ، ہم اسے لائنوں یا فائل کے سائز کی ایک مخصوص تعداد کے مطابق تقسیم کر سکتے ہیں.

   - پھر ، ہر ذیلی فائل کو الگ الگ فلٹر کیا جاتا ہے۔ پروسیس شدہ ذیلی فائلوں کو ایک فائل میں دوبارہ ضم کریں. ضم کرنے کے عمل کے دوران ، آپ کو ڈپلیکیٹ مواد کے لئے دوبارہ چیک کرنے کی ضرورت ہے کیونکہ مختلف ذیلی فائلوں کے درمیان ایک ہی مواد ہوسکتا ہے.

4. فلٹرنگ کے نتائج کی تصدیق کریں

بار بار فلٹرنگ مکمل کرنے کے بعد ، ہمیں اس بات کی تصدیق کرنے کی ضرورت ہے کہ آیا نتائج درست ہیں۔ آپ کچھ آسان طریقوں کو استعمال کرسکتے ہیں ، جیسے بے ترتیب طور پر کچھ لائنوں کو نکالنے اور اصل فائل اور فلٹر فائل میں ان لائنوں کے واقعات کی تعداد کی جانچ پڑتال. اگر یہ اصل فائل میں کئی بار ظاہر ہوتا ہے اور فلٹر شدہ فائل میں صرف ایک بار ظاہر ہوتا ہے ، تو فلٹرنگ درست ہے.

اس کے علاوہ ، آپ اصل فائل اور فلٹر شدہ فائل کے سائز کا موازنہ کر سکتے ہیں۔ اگر فلٹر شدہ فائل کا سائز اصل فائل سے نمایاں طور پر چھوٹا ہے ، اور یہ بعد کے ٹیسٹوں میں معمول کی کارکردگی کا مظاہرہ کرتی ہے (جیسے کہ اس لغت کی فائل کو ایک سادہ پاس ورڈ تلاش کرنے کے ٹیسٹ کے لیے استعمال کرتے ہوئے یہ دیکھنے کے لیے کہ آیا یہ صحیح طریقے سے کام کر سکتا ہے اور کوئی پاس ورڈ غائب نہیں ہونا چاہیے)، یہ بھی وضاحت کر سکتا ہے کہ بار بار فلٹرنگ کے کام نے اچھے نتائج حاصل کیے ہیں۔

ہمارا سرور 512G میموری ، ایک تیز رفتار NVMe پروٹوکول ہارڈ ڈسک سرور کا استعمال کرتا ہے ، کامیابی سے پروسیسنگ کو مکمل کرنے میں آدھا مہینہ لگا ، اور اگر آپ کو قسم کی ضرورت ہے ، تو آپ رابطہ کر سکتے ہیں۔ مواصلات کے لیے ویب سائٹ کسٹمر سروس کو فلٹر کریں اور بار بار ہونے والے عمل کے دوران جو نقصانات سامنے آئے ہیں ، اور خودکار پروسیسنگ اسکرپٹ لکھیں!

2T کی ٹیکسٹ ٹائپ ڈکشنری فائلوں میں ڈپلیکیٹس کو فلٹر کرنا ایک مشکل لیکن انتہائی ضروری کام ہے۔ ٹولز اور الگورتھم کو معقول طریقے سے منتخب کرکے ، ہم مؤثر طریقے سے ڈپلیکیٹ مواد کو ہٹا سکتے ہیں اور لغت کی فائلوں کے معیار اور استعمال کی کارکردگی کو بہتر بنا سکتے ہیں ، جو اس لغت کی فائل پر مبنی پاس ورڈ کریکنگ اور دیگر ایپلیکیشن منظرناموں میں بہت اہمیت کا حامل ہے۔