Python(和大多数其他语言)中的I / O基于 bytes 。当您将字节字符串(str
在2.x中,bytes
在3.x中)写入文件时,字节只是按原样写入。当您将Unicode字符串(unicode
在2.x,str
3.x中)写入文件时,需要将数据编码 为字节序列。
有关此区别的进一步说明,请参见“ 深入Python 3” 一章中的字符串。
print('abcd kΩ ? °C √Hz µF ü ? ?')
在此,字符串是字节字符串。由于源文件的编码为UTF-8,因此字节为
'abcd k\xce\xa9 \xe2\x98\xa0 \xc2\xb0C \xe2\x88\x9aHz \xc2\xb5F \xc3\xbc \xe2\x98\x83 \xe2\x99\xa5'
该print
语句将这些字节原样写入控制台。但是Windows控制台将字节字符串解释为在“ OEM”代码页(在美国为437)中编码。因此,您实际在屏幕上看到的字符串是
abcd k╬? Γÿá ┬?C ΓêÜHz ┬╡F ├╝ Γÿâ ΓÖÑ
在您的Ubuntu系统上,这不会造成问题,因为默认的控制台编码是UTF-8,因此您在源文件编码和控制台编码之间没有差异。
print(u'abcd kΩ ? °C √Hz µF ü ? ?')
打印Unicode字符串时,必须将字符串 编码 为字节。但是,只有在您的编码支持这些字符的情况下,它才有效。而你没有。
因此,在两种情况下,您都会收到一个UnicodeEncodeError尝试打印字符串。
是什么赋予了?
Windows和Linux采用了截然不同的方法来支持Unicode。
最初,它们的工作方式几乎相同:每个语言环境都有自己的char
基于特定语言的编码(Windows中为“ ANSI代码页”)。西方语言使用ISO-8859-1或Windows-1252,俄语使用KOI8-R或Windows-1251等。
当Windows NT添加了对Unicode的支持时(即早先假定Unicode将使用16位字符),它通过创建其API的并行版本(wchar_t
而不是)来实现char
。例如,MessageBox函数被拆分为两个函数:
int Message@R_701_2419@A(HWND hWnd, const char* lpText, const char* lpCaption, unsigned int uType);
int Message@R_701_2419@W(HWND hWnd, const wchar_t* lpText, const wchar_t* lpCaption, unsigned int uType);
“ W”功能是“真实”功能。存在“ A”函数是为了与基于DOS的Windows向后兼容,并且大多数情况下只是将其字符串参数转换为UTF-16,然后调用相应的“ W”函数。
在Unix世界(特别是Plan 9)中,编写一个全新版本的POSIX API被认为是不切实际的,因此以不同的方式获得了Unicode支持。使用CJK语言环境中对多字节编码的现有支持来实现现在称为UTF-8的新编码。
在编写支持Unicode的跨平台代码时,在类Unix系统上对UTF-8的偏爱以及在Windows上对UTF-16的偏爱是一个巨大的痛苦。Python试图向程序员隐藏此内容,但打印到控制台是Joel的“泄漏抽象”之一。