重複行を削除
同じ内容の行が何度も出てくる場合、最初の1行だけを残します。
例
- 使用したオプション
- 大文字・小文字を区別しない✓
入力
Seoul Busan seoul Seoul·· Incheon Busan
結果
Seoul Busan Incheon
例の表示記号: ⇥ タブ · · 行末の空白 · ⍽ NBSP · □ 全角スペース · ◌ ゼロ幅文字
この処理をツールで開く何をするか
上から行を読み、すでに出てきた行と同じ行を削除します。最初に出てきた行が残り、元の順序は保たれます。並べ替えは不要なので、順序に意味のあるリストにも使えます。
オプション
- 大文字・小文字を区別しない:
Appleとappleを同じ行とみなします。メールアドレスのリストに適しています。残る行は最初に出てきた表記のままです。 - 前後・連続する空白を無視: 既定でオンです。比較するときだけ前後の空白を除き、連続する空白を1文字とみなすので、空白の違いのせいで重複が見つからないことを防ぎます。結果の行の空白は変わらないため、整理までしたい場合は 前後の空白を削除 を前に置いてください。
- 空行はそのまま残す: オンにすると空行を重複チェックから外し、すべて残します。オフにすると空行も1つだけ残ります。
いつ使うか
複数の名簿をまとめた後に重なっている人を削除したり、ログで繰り返されるメッセージを1回ずつだけ見たり、キーワードリストを整理したりするときに使います。いくつ削除されたかは、パイプラインのステップに表示される行数の変化で確認できます。
カンマでつながった値なら、先に 改行を追加(分割) で1行に1つずつ展開してください。