Удаление дубликатов строк

Вставьте список строк — мгновенно удалите дубликаты. Сохраняйте первое или последнее вхождение, с учётом регистра или без, обрезка пробелов, сортировка результата.

Keep:
Input lines:0
Unique:0
Duplicates removed:0

Об этом инструменте

Есть список с дубликатами? Вставьте сюда и получите чистые уникальные строки мгновенно. Без регистрации, без загрузки файлов — просто вставьте и работайте. Этот инструмент работает с чем угодно: списки email, колонки CSV, лог-файлы, URL, ключевые слова, todo-листы, данные инвентаря или любой текст с повторяющимися строками. Всё обрабатывается в браузере — ничего не отправляется на сервер. Опции позволяют точно настроить дедупликацию: с учётом регистра или без, сохранять первое или последнее вхождение, обрезать лишние пробелы, сортировать результат по алфавиту. Статистика показывает, сколько дубликатов найдено.

Как использовать

1. Вставьте текст в поле ввода (по одному элементу на строку) 2. Дубликаты удаляются автоматически — результат появляется мгновенно 3. Переключайте опции: учёт регистра, первое/последнее вхождение, обрезка пробелов, сортировка 4. Смотрите статистику: всего строк, уникальных строк, удалено дубликатов 5. Нажмите «Копировать» чтобы скопировать очищенный текст 6. Используйте «Скопировать ссылку» чтобы поделиться конфигурацией

Часто задаваемые вопросы

Как удалить дубликаты строк из текстового файла?
Вставьте содержимое файла в этот инструмент. Дубликаты удаляются автоматически, и вы получаете чистый список уникальных строк. Нажмите «Копировать» и вставьте результат обратно в файл. Для больших файлов инструмент обрабатывает тысячи строк мгновенно в браузере.
Сохраняется ли исходный порядок?
Да, по умолчанию. При выборе «Сохранить первое вхождение» строки появляются в том же порядке, что и в оригинале, с удалёнными дубликатами. При «Сохранить последнее вхождение» позиция определяется последним появлением строки. Также можно отсортировать результат по алфавиту.
Сравнение учитывает регистр?
По умолчанию да — 'Apple' и 'apple' считаются разными строками. Включите «Игнорировать регистр» чтобы считать их дубликатами. При игнорировании регистра сохранённое вхождение сохраняет оригинальное написание.
Как удалить дубликаты из колонки CSV?
Скопируйте колонку из таблицы (получится по одному значению на строку), вставьте в этот инструмент — дубликаты удалятся. Скопируйте результат обратно в таблицу. Для дедупликации CSV по нескольким колонкам используйте встроенную функцию «Удалить дубликаты» в табличном редакторе.
Данные безопасны? Отправляются на сервер?
Ваши данные не покидают браузер. Вся обработка происходит локально на JavaScript. Ничего не загружается, не хранится, не передаётся. Это 100% клиентский инструмент — можно использовать даже офлайн после загрузки страницы.
Можно удалить дубликаты из большого файла?
Да. Инструмент обрабатывает текст мгновенно в браузере и справляется с тысячами строк без проблем. Для очень больших файлов (100 000+ строк) производительность зависит от устройства, но современные браузеры справляются хорошо.
Что считается дубликатом строки?
Две строки — дубликаты, если содержат абсолютно одинаковый текст. Пробелы в начале/конце можно обрезать опцией «Обрезать пробелы», тогда ' hello ' совпадёт с 'hello'. Пустые строки можно удалить опцией «Удалить пустые строки».