Text/Clean

Remover linhas duplicadas

Quando a mesma linha aparece várias vezes, mantém apenas a primeira ocorrência.

Exemplo

  • Opções aplicadas
  • Ignorar maiúsculas/minúsculas
Entrada
Seoul
Busan
seoul
Seoul··
Incheon
Busan
Resultado
Seoul
Busan
Incheon

Símbolos nos exemplos: ⇥ tabulação · · espaço no fim da linha · ⍽ NBSP · □ espaço de largura total · ◌ caractere de largura zero

Abrir esta operação na ferramenta

O que faz

Lê as linhas de cima para baixo e apaga as que já apareceram antes. A primeira ocorrência permanece e a ordem original é mantida. Como não é preciso ordenar, funciona também em listas em que a ordem importa.

Opções

  • Ignorar maiúsculas/minúsculas: considera Apple e apple a mesma linha. Ideal para listas de e-mail. A linha que fica mantém a grafia da primeira ocorrência.
  • Ignorar espaços nas pontas e repetidos: ativada por padrão. Só na comparação, desconsidera os espaços nas pontas e trata espaços repetidos como um, evitando que diferenças de espaço escondam duplicadas. Os espaços da linha resultante não mudam; para limpá-los também, coloque Remover espaços nas pontas antes.
  • Manter linhas vazias: se ativada, as linhas vazias ficam fora da verificação e são todas mantidas. Se desativada, as linhas vazias também ficam uma só vez.

Quando usar

Use para apagar pessoas repetidas depois de juntar várias listas, para ver cada mensagem repetida de um log uma única vez ou para arrumar listas de palavras-chave. Quantas linhas foram apagadas aparece na mudança do número de linhas exibida na etapa do pipeline.

Se os valores estiverem separados por vírgula, abra-os antes em um por linha com Adicionar quebras de linha (dividir).