Come filtrare i contenuti duplicati da un dizionario da 2TB e come filtrare i contenuti duplicati da file di testo estremamente grandi.

Nel campo del cracking delle password o dell'elaborazione dei dati, avere un file di dizionario di tipo testo 2T è una risorsa piuttosto potente. Tuttavia, un file così grande è spesso soggetto a una grande quantità di dati duplicati, il che non solo occupa spazio di archiviazione inutile, ma può anche influenzare l'efficienza delle successive operazioni basate su questo file di dizionario, come la velocità di ricerca delle password. Pertanto, filtrare efficacemente i contenuti duplicati è un passo molto critico.

1. Comprendere le fonti e gli effetti dei dati duplicati

Prima di tutto, dobbiamo capire perché si producono così tanti dati duplicati. Durante la creazione di un file di dizionario, i dati possono essere raccolti da più fonti di dati e esiste una parziale sovrapposizione tra queste fonti di dati. Ad esempio, quando si raccolgono dati da diversi elenchi di parole, set di password comuni, vari elenchi di combinazioni di caratteri, ecc., Alcune parole di base o semplici combinazioni di password possono esistere in più fonti.

Questi dati duplicati possono avere molti effetti negativi. Dal punto di vista dello storage, lo spazio di 2T è già molto grande e se ci sono molti contenuti duplicati, equivale a uno spreco di prezioso spazio di archiviazione. Quando si utilizza effettivamente questo file di dizionario per il cracking della password o altre operazioni, il contenuto duplicato può causare operazioni di ricerca e confronto inutili. Ad esempio, se durante il cracking della password, l'algoritmo deve confrontare il contenuto del dizionario con la password di destinazione uno per uno, il contenuto duplicato aumenterà il numero di confronti, rallentando così l'intero processo di cracking.

II. Metodo di filtraggio basato su strumenti di elaborazione del testo

  Utilizzare gli strumenti sotto il sistema Windows

    -Utilizzare PowerShell

      -Nel sistema Windows, PowerShell fornisce ricche funzionalità di elaborazione del testo. Possiamo utilizzare il seguente script PowerShell per rimuovere le righe duplicate:

        ```powershell

        $lines = get-content " dictionary.txt "

        $uniqueLines = @ ()

        foreach ($line in $lines) {

            if ($uniquelines-notcontains $line) {

                $uniqueLines + = $line

        {

        ```

  Questo script prima legge tutte le righe in "dictionary.txt" in un array "$lines". Quindi, ogni riga viene attraversata attraverso un ciclo e se una riga non è nel nuovo array "$uniqueLines", viene aggiunta a questo nuovo array. Infine, salvare il contenuto del nuovo array in "unique_dictionary.txt".

  Algoritmo di dividere e conquistare

    -Poiché i nostri file di dizionario sono molto grandi (2T), l'elaborazione diretta può incontrare problemi come memoria insufficiente. L'algoritmo divide e conquista può risolvere bene questo problema. Possiamo dividere questo grande file in più sottofile più piccoli. Ad esempio, possiamo dividerlo in base a un certo numero di righe o dimensioni del file.

    -Quindi, ripetere il filtro per ciascun sottofile separatamente. Riunificare i sottofile elaborati in un unico file. Durante il processo di fusione, è anche necessario controllare nuovamente la presenza di contenuti duplicati, poiché lo stesso contenuto può esistere tra diversi sottofile.

4. Verifica i risultati del filtro

Dopo aver completato il filtraggio ripetuto, dobbiamo verificare che i risultati siano corretti. È possibile utilizzare alcuni metodi semplici, come selezionare casualmente alcune righe e controllare il numero di volte che queste righe appaiono nel file originale e nel file filtrato. Se appare più volte nel file originale e solo una volta nel file filtrato, il filtraggio è valido.

In alternativa, è possibile confrontare le dimensioni dei file originali e dei file filtrati. Se la dimensione del file filtrato è significativamente più piccola del file originale e funziona normalmente nei test successivi (ad esempio utilizzando questo file di dizionario per eseguire un semplice test di ricerca della password per vedere se funziona correttamente e non manca la password che dovrebbe esistere), può anche indicare che il lavoro di filtraggio ripetuto ha ottenuto buoni risultati.

Il nostro server utilizza una memoria da 512G e un server di disco rigido con protocollo NVMe ad alta velocità. Ci è voluto mezzo mese per completare l'elaborazione con successo e abbiamo esplorato una serie di script di elaborazione efficienti. Se hai qualche tipo di esigenza, puoi contattare il servizio clienti del sito web per comunicare e filtrare le insidie incontrate durante il processo di duplicazione e scrivere script di elaborazione automatica!

Filtrare il contenuto duplicato in un file di dizionario di tipo di testo di 2T è un lavoro impegnativo ma molto necessario. Selezionando strumenti e algoritmi in modo ragionevole, possiamo rimuovere efficacemente i contenuti duplicati e migliorare la qualità e l'efficienza dell'utilizzo dei file di dizionario, il che è di grande importanza sia nel cracking delle password che in altri scenari applicativi basati su questo file di dizionario.