見えない文字・引用符の整理
NBSP、ゼロ幅文字、BOM、カーリー引用符、分解されたハングルの字母のような目に見えない違いを整理します。
例
- 使用したオプション
- 既定のオプション
入力
“Smart quotes” and⍽non-breaking◌space 한글
結果
"Smart quotes" and non-breakingspace 한글
例の表示記号: ⇥ タブ · · 行末の空白 · ⍽ NBSP · □ 全角スペース · ◌ ゼロ幅文字
この処理をツールで開く何をするか
画面上はまったく同じに見えても実際の文字コードが違うために、検索・比較・重複の削除を妨げる文字を整理します。各項目は個別にオン/オフできます。
オプション
- カーリー引用符 → ストレート引用符: ワープロやメッセンジャーが自動で変換した
“ ” ‘ ’を" 'に変換します。コード、CSV、JSON に貼り付ける前に必要です。 - 特殊な空白 → 通常の空白: Webページからよく紛れ込む改行なし空白(NBSP、U+00A0)や狭い空白(U+202F)、さまざまな幅の空白(U+2000〜U+200A)を通常の空白に変換します。Excel の VLOOKUP が一致する値を見つけられない、よくある原因です。
- ゼロ幅文字・BOM を削除: ゼロ幅スペース(U+200B)、ゼロ幅非接合子・接合子(U+200C・U+200D)、単語結合子(U+2060)、BOM(U+FEFF)、ソフトハイフン(U+00AD)を削除します。コピーしたURLやハッシュタグが機能しないときの原因であることが多い文字です。ゼロ幅接合子は一部の絵文字の組み合わせにも使われるため、絵文字を残したい場合はこのオプションをオフにしてください。
- 各種ダッシュ → ハイフン:
– — ‒ −を-にそろえます。既定ではオフです。 - 三点リーダー → ピリオド3つ: 1文字の
…を...に変換します。既定ではオフです。 - Unicode NFC 正規化: macOS で作ったファイル名や一部のテキストでは、ハングルが
ㅎ ㅏ ㄴのように字母に分解された(NFD)形で保存されます。NFC 正規化はこれを完成形の한に結合します。アクセント付きのラテン文字も同じ方法で結合され、日本語の濁点付きのかな(がなど)も分解形なら1文字にまとまります。
いつ使うか
他の整形処理の結果がおかしいとき、まず疑うべき部分です。ほとんどのレシピの先頭に置いておけば安心です。全角英数字は 全角 ↔ 半角の変換 が担当します。