「⾼高」这种字形相同，编码却不同的汉字应该如何匹配？

[mogita]

遇到一篇文稿，里面出现了很多重复汉字，如「⾼高」、「⽓气」、「⽀支」等等，通篇各处随机分布。文章无法阅读不说，也无法统计字数了（这个正是我想做的）。

原本想用正则去重（via http://www.zhihu.com/question/20805225 ），结果发现匹配不上。转换成字符编码一看，发现这些重复汉字根本不是同一个字符，只是字形相同（工具 https://r12a.github.io/apps/conversion/ ）。

实在想不出辙儿了，请教一下大家该如何处理？先行谢过了！

[Sylv]

Unicode Normalization (Unicode 规范化)

Python 的例子：
>>> u"⾼ 高"
u'\u2fbc \u9ad8'
>>> unicodedata.normalize('NFKC', u'⾼ 高')
u'\u9ad8 \u9ad8'

[mogita]

@Sylv 谢谢！超级精准的解答！

[lululau]

2F00~2FEF 为康熙字根