Удаление повторяющихся строк — Очистите список, удалив повторяющиеся строки одним щелчком мыши.

Что такое «Удаление дубликатов строк»?

Программа для удаления дубликатов строк проходит по списку по одной строке за раз и сохраняет только первую копию каждой строки. Все, что уже встречалось выше, удаляется, а исходный порядок остается неизменным, если только вы не решите отсортировать список.

Это удобно для списков рассылки, экспорта по ключевым словам, списков URL-адресов, конфигурационных файлов и выдержек из лог-файлов. Поскольку строки сравниваются по одной, программа работает с любым простым текстом — от десяти строк до нескольких сотен тысяч.

Почему люди используют инструмент для удаления повторяющихся строк

Как сравниваются строки

По умолчанию две строки считаются дубликатами только в том случае, если они совпадают символ за символом, поэтому Apple и apple — это разные строки. Отключите параметр «Учитывать регистр», чтобы рассматривать их как одну и ту же строку; сохраняется первый вариант написания.

Функция «Trim each line» удаляет пробелы и табуляции в начале и конце каждой строки перед сравнением, что позволяет выявить строки, отличающиеся только конечным пробелом. Функция «Keep only unique lines» идет ещё дальше и удаляет все строки, в которых есть повторения, включая первую копию, так что в итоге остаются только те строки, которые встречаются ровно один раз.

Как использовать инструмент «Удаление дубликатов строк»

1. Вставьте или введите свой список в поле, по одному элементу в строке.
2. Выберите нужные параметры: учитывать регистр, обрезать, пустые строки и сортировка.
3. Ознакомьтесь с очищенным списком справа. Счётчики показывают, сколько строк было удалено.
4. Нажмите «Копировать результат» или «Скачать .txt», чтобы сохранить его.

Простые советы

• Если ваш список был импортирован из электронной таблицы или веб-страницы, сначала включите опцию «Удалять лишние символы в каждой строке», так как скрытые пробелы в конце строк — самая частая причина появления повторяющихся записей.
• Используйте параметр «Игнорировать регистр» для адресов электронной почты и доменов, поскольку на практике в них, как правило, не учитывается регистр.
• Используйте параметр «Оставить только уникальные строки», чтобы найти элементы, которые встречаются только в одном из двух объединенных списков.
• Сортировка не является обязательной. Не включайте её, если порядок элементов в списке имеет значение.

Ограничения и конфиденциальность