Text/Clean

删除重复行

内容相同的行出现多次时,只保留第一次出现的那一行。

示例

  • 使用的选项
  • 忽略大小写
输入
Seoul
Busan
seoul
Seoul··
Incheon
Busan
结果
Seoul
Busan
Incheon

示例中的符号:⇥ 制表符 · · 行尾空格 · ⍽ NBSP · □ 全角空格 · ◌ 零宽字符

在工具中打开此操作

它做什么

从上往下读取各行,删除与之前已出现的行相同的行。保留第一次出现的行,原来的顺序不变。不需要先排序,所以也可以用于顺序有意义的列表。

选项

  • 忽略大小写:把 Appleapple 视为同一行,适合邮箱地址列表。保留下来的行沿用首次出现时的写法。
  • 忽略首尾及连续空格:默认开启。只在比较时去掉首尾空格并把连续空格视为一个,避免因为空格差异而漏掉重复。结果行中的空格不会改变,如果还想一并整理,请在前面放 删除首尾空格
  • 空行保持不变:开启后空行不参与重复检查,全部保留。关闭后空行也只保留一次。

什么时候用

合并多份名单后删除重叠的人、在日志中每条重复消息只看一次、整理关键词列表时使用。删掉了多少行,可以通过流水线步骤上显示的行数变化来确认。

如果值是用逗号连在一起的,请先用 添加换行(拆分) 展开成每行一个。