2.9 将Unicode文本标准化

在Unicode中，某些字符能够用多个合法的编码表示。为了说明，考虑下面的这个例子：

这里的文本”Spicy Jalapeño”使用了两种形式来表示。第一种使用整体字符”ñ”(U+00F1)，第二种使用拉丁字母”n”后面跟一个”~”的组合字符(U+0303)。

在需要比较字符串的程序中使用字符的多种表示会产生问题。为了修正这个问题，你可以使用unicodedata模块先将文本标准化：

Python同样支持扩展的标准化形式NFKC和NFKD，它们在处理某些字符的时候增加了额外的兼容特性。比如：

标准化对于任何需要以一致的方式处理Unicode文本的程序都是非常重要的。当处理来自用户输入的字符串而你很难去控制编码的时候尤其如此。

在清理和过滤文本的时候字符的标准化也是很重要的。比如，假设你想清除掉一些文本上面的变音符的时候(可能是为了搜索和匹配)：

Unicode显然是一个很大的主题。如果想更深入的了解关于标准化方面的信息，请看考 Ned Batchelder在 他的网站上对Python的Unicode处理问题也有一个很好的介绍。

原文: