Cara Menghapus baris duplikat atau baris ganda

Beberapa metode untuk menghapus "duplicate lines" atau baris ganda dari sebuah file txt menggunakan metode populer

Tentu, mari kita bahas cara menghapus baris duplikat dari file teks (.txt) menggunakan beberapa metode populer:

1. Menggunakan Command Prompt (CMD) Windows:

Script:

Bash

sort file.txt | uniq > new_file.txt

Penjelasan:

sort: Mengurutkan baris dalam file.txt. Pengurutan diperlukan agar baris duplikat bersebelahan.
uniq: Membaca input yang diurutkan dan menghapus baris yang berurutan dan identik.
>: Mengarahkan output ke file baru bernama new_file.txt.

2. Menggunakan PowerShell:

Script:

PowerShell

Get-Content file.txt | Select-Object -Unique > new_file.txt

Penjelasan:

Get-Content: Membaca isi file.txt.
Select-Object -Unique: Memilih objek unik (baris) dari input.
>: Mengarahkan output ke new_file.txt.

3. Menggunakan Python:

Script:

Python

lines_seen = set()  # Menyimpan baris yang sudah dilihat
with open("file.txt", "r") as f, open("new_file.txt", "w") as outfile:
    for line in f:
        if line not in lines_seen:  # Jika baris belum ada, tulis ke file baru
            outfile.write(line)
            lines_seen.add(line)

Penjelasan:

lines_seen: Set untuk menyimpan baris yang sudah ditemui. Set menjamin keunikan elemen.
Buka file.txt dalam mode baca (r) dan new_file.txt dalam mode tulis (w).
Iterasi setiap baris dalam file.txt.
Jika baris belum ada di lines_seen, tulis baris tersebut ke new_file.txt dan tambahkan ke lines_seen.

Metode Tambahan:

Menggunakan Notepad++: Jika Anda memiliki Notepad++, Anda dapat menggunakan plugin "TextFX" untuk menghapus duplikat dengan mudah.
Menggunakan Perangkat Lunak Pihak Ketiga: Ada banyak perangkat lunak pengolah teks yang memiliki fitur bawaan untuk menghapus baris duplikat.

Pertimbangan Tambahan:

Sensitivitas Huruf Besar-Kecil: Metode di atas membedakan huruf besar dan kecil. Jika Anda ingin menghapus duplikat tanpa membedakan huruf besar-kecil, Anda perlu memodifikasi skrip (misalnya, dengan mengubah semua huruf menjadi huruf kecil sebelum perbandingan).
Baris Kosong: Jika Anda ingin mempertahankan baris kosong, Anda perlu menyesuaikan skrip agar baris kosong tidak dihapus.

Contoh Penggunaan:

Misalkan file.txt berisi: