Rate this post
У меня есть текстовый файл с точными копиями строк. Мне нужно, удалить все эти дубликаты строк и сохранить порядок оставшихся на Linux или Unix-подобной системе. Как удалить повторяющиеся строки из текстового файла?nnВы можете использовать Perl или AWK или Python, чтобы удалить все повторяющиеся строки из текстового файла на Linux, OS X и Unix-подобных системах.nnНапример есть файлn
cat text.txtnЭто тестnПривет, Пользователь!nЭто тестnэто линияnэто еще одна линияnпозвоните 911nэто против, чтоnчто против этогоnКак позвонить 911nчто иnПривет, Пользователь!nэто против, чтоnпозвоните 911
Как удалить повторяющиеся строки внутри текстового файла с использованием AWK
Синтаксис выглядит следующим образом,сохраняет порядок текстового файла:n
awk '!seen[$0]++' input > outputnawk '!seen[$0]++' text.txt > output.txtnmore output.txt
результатn
Это тестn Привет, Пользователь!n это линияn это еще одна линияn позвоните 911n это против, чтоn что против этогоn Как позвонить 911n что и
Как удалить дубликаты строк из текстового файла в Perl?
perl -lne '$seen{$_}++ and next or print;' input > outputnperl -lne '$seen{$_}++ and next or print;' text.txt > output.txtnmore output.txt
Результат такой же как в предыдущем примере