使你的C/C++代码支持Unicode（CRT字符串处理的所有API列表，甚至有WEOF字符存在）

悉Microsoft支持Unicode的方式。 它的主要目的是方便你查询相关的数据类型和函数，以及修正相应的拼写错误。

I18nGuy 主页 XenCraft (Unicode 咨询公司) English

My thanks to Yaker Gong for the translation to Chinese. Xie Xie!

使你的C/C++代码支持Unicode的第一步

• 定义宏 _UNICODE， 如果定义了宏 _MBCS 则取消它的定义(undefine)。
• 在字符串前添加 L 标记或者用 _T宏修饰字符串。
• 使用 Wide 或者 TCHAR 版本的字符串处理函数。
• 确定API中的字符串长度是按字节计数还是按字符个数计数。因为基于字符的显示和打印(与此不同的是，GUI是基于像素的)使用 列数，而不是字节数或者字符个数。
• 在字符串指针相关的计算中使用GetNext格式，因为一个字符可能包含多于一个Unicode字符单元。
• 注意缓冲区的大小以及防止缓冲区溢出。
  改变编码方式可能需要增大缓冲区或者限制字符串的最大长度。假设单个字符的大小从1个字节变为4个字节，并且字 符串本来20个字符占用20字节，那么你需要将字符串缓冲区扩大为80字节或者将字符串长度限制为5个字符(字符串缓冲区仍为20字节)。注意缓冲区的扩 大可能被限制到一个最大值(比如65KB)。减少字符串长度到一个固定值可能破坏现有的程序，限制字符串长度到固定值可能是危险的。比如，限制到20字 节，将字符串转化为大写形式就可能导致字符串变长并且超过限制。
• 将接受或者返回单字符参数的函数替换为使用字符串的版本。 (在一些语言中) 对于单个字符的操作可能导致返回多个代码点。例如，upper(‘ß‘)将 返回"SS"。
• 使用 wmain 代替 main。环境变量也由_environ变 为_wenviron 。
  wmain(int argc, wchar_t *argv[], wchar_t *envp[])
• MFC Unicode 程序使用  wWinMain 作为程序入口点(VC++ 6.0)。 
  project->settings->Link，选择output选项卡
  在Entry point symbol一行加上 wWinMainCRTStartup 。
• 字体的因素，分清使用的字体用于渲染各种语言的字符还是用于脚本中。

返回页面顶端

文件 I/O, 数据库, 传输协议等因素

• 考虑是否需要读写文件、数据库中的 UTF-8 或者 UTF-16 字符，以及是否进行数据交换。
• 考虑 UTF-16 格式文件中的字节序。 
  读写网络传输的数据总是使用 Big-Endian ，如果你没有产生 BOM 也使用 Big-Endian。
  文件的字节序依赖于文件格式以及/或者源/目标机器的体系结构。
  读取 UTF-16 或者 UTF-32编码的文件时，考虑是否需要将字符按字节逆序。 
  对于 streams 和传输协议也需要做上述的考虑。
• 传输协议和用于数据交换的文件要使用正确的编码方式。例如 HTTP，HTML，XML 必须设置为 UTF-8 或者 UTF-16。
• 考虑Unicode字节序标记( BOM ,Byte Order Marker) 以及是否需要将它同数据一同写入。读取数据时记得去掉BOM。
• 考虑遗留数据和文件的编码惯例，考虑导入和导出以及传输协议。(MultiByteToWideChar, WideCharToMultiByte, mbtowc, wctomb, wctombs, mbstowcs )
• 考虑复制文本到剪贴板
  使用 CF_TEXT 格式并且写入本地编码的文本(ANSI格式)
  使用 CF_UNICODETEXT 格式并写入Unicode文本
• 数据库程序需要考虑数据类型 (NCHAR, NVARCHAR) 和模式(schema)的变更，触发器，存储过程和查询，数据的增长，索引以及性能等因素。
  注意：Unicode模式的改变对于不同厂商的数据库产生不同的影响。如果需要数据库具有较好的可移植性，就要考虑到每种数据库的特性和行为。 
  (我知道针对这个问题说得不够多，以后有机会再补充吧)

返回页面顶端

流式 I/O

如果你使用Microsoft C++编译器，你可能遇到与流式 I/O相关的3类问题：

1. 不支持Unicode文件名。
   解决方式是使用 FILE * _wfopen 函数，之后使用FILE句柄初始化流式 I/O。

   std::ifstream stm(_wfopen(pFilename, L"r"));

2. 在 读/写 的时候，流式 I/O 会把数据 从本地代码页(ANSI格式)转换到Unicode格式/从Unicode格式转换到ANSI格式，而非UTF-8 或者 UTF-16。
   但是可以修改表示流的类使之支持读写 UTF-8 格式字符。你可以自己实现一个读写时把数据在 Unicode 和 UTF-8 之间转换的I/O stream类。
   
   codecvt <wchar_t, char_traits <wchar_t> >
3. 如果要用流式 I/O读写 UTF-16 字符，应该用二进制模式打开并且在二进制模式下输入输出。可以用如下方法设置 I/O 为二进制模式：
   
   _setmode( _fileno( stdin ), _O_BINARY );

   也可以参考 Microsoft 运行时库参考： "Unicode Stream I/O in Text and Binary Modes".

注意：针对cout/wcout, cin/wcin等并没有相应的 TCHAR 版本。如果你需要在ANSI/Unicode两种模式下编译 代码，你可能需要自己定义一个名字类似"tout"的宏。

返回页面顶端

国际化，Unicode高级技术，平台和其它因素

• 考虑使用基于地区的办法和更进一步的国际化。
• 对于 Windows 95，98 和 Windiws ME，考虑使用 Microsoft MSLU (Microsoft Layer for Unicode)
• 考虑字符串比较和排序，Unicode Collation Algorithm
• 考虑 Unicode Normalization
• 考虑 Character Folding
• 重新 考虑是否要自己处理这些事情。借助于一家Unicode咨询公司，然后让你的团队集中精力做他们擅长的事情。(嗨， 我们也要谋生啊...)

返回页面顶端

Unicode字节序标记(BOM) 值

返回页面顶端

常量和全局变量

数据类型

返回页面顶端

Platform SDK字符串处理API

有很多Windows API函数会根据宏 UNICODE 是 否被定义而编译成不同形式。那些需要同时操作ANSI字符和宽字符的模块需要了解这一点。否则，应该使用宏定义版本的名字，这样的话就只需要定义宏 UNICODE 并且重新编译程序。

下列列表并没有列举所有的有ANSI和宽字符两个版本的API，只列举了与字符和字符串处理相关的一些。如果需要查看与代码页和地区相 关 的API请查看WinNLS.h头文件。

返回页面顶端

CRT字符串处理API

函数按照ANSI版本的ASCII字母顺序排序，方便转换到相应的Unicode版本。

返回页面顶端

引用

• Unicode Programming Summary
• Data Type Mappings
• Constant and Global Variable Mappings
• Routing Mappings
• Support for using wmain
• Buffer Manipulation Routines
• Byte Classification Routines
• Character Classification Routines
• String manipulation Routines
• Locale Routines
• "MSLU: Develop Unicode Applications for Windows 9x Platforms with the Microsoft Layer for Unicode" Michael Kaplan, Cathy Wissink
• "Design a Single Unicode App that Runs on Both Windows 98 and Windows 2000" F. Avery Bishop, April 1999.
• "Supporting Multilanguage Text Layout and Complex Scripts with Windows NT 5.0" F. Avery Bishop, David C Brown and Davis M Meltzer, November 1998.

Copyright © 2003-2010 Tex Texin. All rights reserved. 
该页面更新于 2009-01-29. 
返回页面顶端

http://www.i18nguy.com/unicode/c-unicode.zh-CN.html

原文地址：https://www.cnblogs.com/findumars/p/10247508.html