Удаление повторяющихся строк

Seoul
Busan
seoul
Seoul··
Incheon
Busan

Seoul
Busan
Incheon

Что делает операция

Читает строки сверху вниз и удаляет каждую строку, которая уже встречалась. Остаётся первое появление, исходный порядок сохраняется. Сортировка не нужна, поэтому операцию можно применять и к спискам, где порядок важен.

Параметры

• Без учёта регистра: Apple и apple считаются одной строкой. Подходит для списков адресов почты. Остаётся то написание, которое встретилось первым.
• Игнорировать пробелы по краям и повторные пробелы: включено по умолчанию. Только при сравнении пробелы по краям отбрасываются, а несколько пробелов подряд считаются одним — так дубликаты не пропускаются из-за разницы в пробелах. Пробелы в оставшихся строках не меняются; чтобы заодно навести порядок, поставьте перед этим шагом Удаление пробелов по краям.
• Не трогать пустые строки: если включено, пустые строки исключаются из проверки на повторы и все остаются. Если выключено, из пустых строк тоже остаётся одна.

Когда это нужно

Чтобы после объединения нескольких списков удалить людей, попавших в них дважды, увидеть повторяющиеся сообщения лога по одному разу или привести в порядок список ключевых слов. Сколько строк удалено, видно по изменению числа строк, которое показано у шага конвейера.

Если значения записаны через запятую, сначала разложите их по одному на строку через Добавление переносов строк (разбиение).