Text/Clean

整理全角·半角字符与看不见的字符

找出并整理看起来相同、却让搜索、VLOOKUP和去重失败的全角字母数字、全角空格、NBSP、零宽空格、BOM以及韩文字母拆分(NFD)等字符的方法。

如果 Excel 的 VLOOKUP 找不到明明存在的值,复制来的话题标签链接失效,或者文件名中的韩文显示成 ㅎㅏㄴㄱㅡㄹ 这样散开的字母,原因很可能是看不见的字符差异。屏幕上显示的是同样的字,但计算机比较的是字符编码。

常见的字符

  • 全角字母数字·符号:Unicode U+FF01~U+FF5E 范围内的 ABC123!@。由中日韩输入法的全角模式输入,编码与半角 ASCII(U+0021~U+007E)不同。全角数字在电子表格中可能不被识别为数字,含有全角 的邮箱地址会报格式错误。
  • 全角空格(U+3000):中日韩文档中使用的、与一个汉字等宽的空格。
  • NBSP(U+00A0):不换行空格。HTML 中的   就是这个字符,常混在从网页复制的文本中。Excel 的 TRIM 函数只删除普通空格,所以 NBSP 会保留下来。
  • 零宽空格(U+200B):宽度为 0,完全看不见。它会混在从网页编辑器或聊天软件复制的文本中,把话题标签或 URL 截断。
  • BOM(U+FEFF):附在文件开头的字节顺序标记。复制带有 UTF-8 BOM 的文件(例如用记事本保存的)时,它会藏在第一行第一个值的前面,导致只有第一个值比较失败。

韩文字母拆分(NFC 与 NFD)

Unicode 同时允许把韩文音节 写成一个码位(U+D55C)的方式(NFC),以及写成 (U+1112)(U+1161)(U+11AB)三个字母的方式(NFD)。两者显示为同一个字,但作为字符串是不同的。在 macOS 上创建的文件名或从 macOS 转来的部分文本中可能含有 NFD 形式的韩文;在无法把 NFD 组合显示的环境中查看,字母就会显得散开。即使显示正常,与 NFC 形式的韩文比较时也会被当作不同的值,导致搜索和去重失败。

整理流水线

  1. 整理不可见字符·引号 — 使用默认选项即可:用 NFC 规范化合并拆开的字母,删除零宽字符和 BOM,把 NBSP 等特殊空格转为普通空格。弯引号也会变成直引号。
  2. 全角 ↔ 半角转换 — 把方向设为“全角 → 半角”,会把 U+FF01~U+FF5E 的字符转换为 ASCII。开启“空格也转换”后,全角空格也会变成普通空格。
  3. 删除首尾空格 — 删除转换后的空格中位于行首行尾的部分。
KIM minsu​@example.com
合計:1,200円

上面的输入(KIM 后面藏着一个全角空格,minsu 后面藏着一个零宽空格)会被整理成下面这样。

KIM minsu@example.com
合計:1,200円

注意事项

  • 全角 → 半角不会改变韩文、汉字和假名,但会把日文、中文句子中的全角标点( )也转为半角。如果是需要保持句子外观的稿件,请只对只含字母数字的部分使用。
  • 韩元符号 (U+FFE6)和日元符号 (U+FFE5)不在转换范围(U+FF01~U+FF5E)之内,不会改变。
  • “半角片假名 → 全角”选项只在方向为“半角 → 全角”时生效。
  • NFC 规范化只会把拆开的字母合并为完整音节,不会把 这样的兼容字符转为 1 kg IV。这些字符会保持原样。
  • 反过来,把半角转为全角的“半角 → 全角”用于填写日本表格等要求全角输入的格式。此时普通空格也会变成全角空格,不需要的话请关闭“空格也转换”。
  • 删除零宽连接符(U+200D)后,👨‍👩‍👧 这样的组合表情会散开成单独的表情。如果文章需要保留表情,请关闭“删除零宽字符·BOM”。

这些字符从哪里混进来

  • 日本和中国的网站、较旧的韩国公共机构文档,以及用中日韩输入法全角模式输入的值,很容易混入全角字母数字。
  • 复制网页时,以   写成的 NBSP 会一起被带过来,常出现在句末或姓名之间。
  • 从聊天软件、社交媒体的链接预览或编辑器中复制的文本,有时会夹带零宽空格。

Excel 的 CLEAN 函数只删除编码 0~31 的控制字符,不处理 NBSP、零宽空格和全角字符。表格里解决不了的值,可以先用本工具整理,再重新粘贴回去。

找出隐藏字符的方法

如果想在整理之前看看哪些行有问题,请把 行过滤 设为“只保留包含的行”并开启“正则表达式”,在查找内容中填入 [ ​ !-~]。只有包含这些字符的行会被保留,你就能确认出问题的数据。确认完后,关闭或删除这一步。

检查清单

  • 比较失败时,先怀疑看不见的字符。
  • 把“整理不可见字符·引号”放在全角转换之前。
  • 日文、中文稿件只在部分内容上使用全角转换。

最后更新: 2026-09-23