特殊字符(包含emoji)的梳理

背景知识

  • emoji表情符号，是20世纪90年代由NTT Docomo栗田穣崇(Shigetaka Kurit)创建的，词义来自日语（えもじ，e-moji，moji在日语中的含义是字符）。emoji可以使数字通信做到让人如同面对面交流，避免错误传达信息。
  • 自苹果公司发布的iOS 5输入法中加入了emoji后，这种表情符号开始席卷全球，目前emoji已被大多数现代计算机系统所兼容的Unicode编码采纳，普遍应用于各种手机短信和社交网络中。
  • 所谓Emoji就是一种在Unicode位于\u1F601-\u1F64F区段的字符。这个显然超过了目前常用的UTF-8字符集的编码范围\u0000-\uFFFF。

知识点

  • 在Java里UTF-8，只支持双字节即\u0000-\uFFFF，emoji(??) => "\uD83D\uDC34"
  • 查Symbola表，我们的目标对象大致是从
    • 1F300-1F3FF => "\uD83C\uDF00" - "\uD83C\uDFFF"
    • 1F400-1F4FF => "\uD83D\uDC00" - "\uD83D\uDCFF"
    • 1F500-1F5FF => "\uD83D\uDD00" - "\uD83D\uDDFF"
    • 1F600-1F6FF => "\uD83D\uDE00" - "\uD83D\uDEFF"
    • 1F700-1F7FF => "\uD83D\uDF00" - "\uD83D\uDFFF"

编码知识


Code
UTF-8
UTF-16 LE
Surrogates
1F7FF F0 9F 9F BF 3D D8 FF DF D83D DFFF

UTF-16描述

Unicode的编码空间从U+0000到U+10FFFF，共有1,112,064个码位（code point）可用来映射字符. Unicode的编码空间可以划分为17个平面（plane），每个平面包含216（65,536）个码位。17个平面的码位可表示为从U+xx0000到U+xxFFFF，其中xx表示十六进制值从0016到1016，共计17个平面。第一个平面称为基本多语言平面（Basic Multilingual Plane, BMP），或称第零平面（Plane 0）。其他平面称为辅助平面（Supplementary Planes）。基本多语言平面内，从U+D800到U+DFFF之间的码位区段是永久保留不映射到Unicode字符。UTF-16就利用保留下来的0xD800-0xDFFF区段的码位来对辅助平面的字符的码位进行编码。

UTF-16解码

lead \ trail DC00 DC01    …    DFFF
D800 10000 10001 … 103FF
D801 10400 10401 … 107FF
  ? ? ? ? ?
DBFF 10FC00 10FC01 … 10FFFF

示例：

例如U+10437编码:

  • 0x10437减去0x10000,结果为0x00437,二进制为0000 0000 0100 0011 0111。
  • 分区它的上10位值和下10位值（使用二进制）:0000000001 and 0000110111。
  • 添加0xD800到上值，以形成高位：0xD800 + 0x0001 = 0xD801。
  • 添加0xDC00到下值，以形成低位：0xDC00 + 0x0037 = 0xDC37。
  • 下表总结了该转换，以及其它。颜色指示如何从码点位被分布在所述的UTF-16字节。由UTF-16编码过程中加入附加位以黑色显示。
字符 普通二进制 UTF-16二进制 UTF-16 十六进制
字符代码		 UTF-16BE
十六进制字节		 UTF-16LE
十六进制字节
$ U+0024 0000 0000 0010 0100 0000 0000 0010 0100 0024 00 24 24 00
€ U+20AC 0010 0000 1010 1100 0010 0000 1010 1100 20AC 20 AC AC 20
??  U+10437 0001 0000 0100 0011 0111 1101 1000 0000 0001 1101 1100 0011 0111 D801 DC37 D8 01 DC 37 01 D8 37 DC
?? U+24B62 0010 0100 1011 0110 0010 1101 1000 0101 0010 1101 1111 0110 0010 D852 DF62 D8 52 DF 62 52 D8 62 DF

解决方案

一 数据库

  • jar包：mysql connector版本高于5.1.13
  • mysql：utf8mb4的最低mysql版本支持版本为5.5.3+
    • 从utf8改至utf8mb4，需要重启mysql
    • 由于RD不应更改mysql配置，所以需要在业务应用处，调用set names utf8mb4，以使数据以utf8mb4编码存储到数据库

二 过滤

    由于数据库的治本方法建立在有数据存储的所有涉猎系统都得满足上述条件，所以并不是常常满足。由此还需要一个治标的方法。

public static void main(String[] args) {

    String source = "a\uD83D\uDE36b\uD83D\uDE36\uD83D\uDE36\uD83D\uDE36\uD83C\uDE3612312\uD83C\uDE36";

    while (true) {

        Integer pos = source.indexOf("\uD83D");

        if (pos == -1) {

            pos = source.indexOf("\uD83C");

        }

        if (pos != -1) {

            source = source.substring(0, pos) + source.substring(pos + 2);

        } else {

            break;

        }

    }

    System.out.println(source);

}

文档

http://files.cnblogs.com/files/lanelim/Symbola.pdf

时间： 2024-10-07 03:15:19

特殊字符(包含emoji)的梳理的相关文章

【Java】如何检测、替换4个字节的utf-8编码（此范围编码包含emoji）

> 参考的优秀文章 1.十分钟搞清字符集和字符编码 2.Java中byte与16进制字符串的互相转换 3.[异常处理]Incorrect string value: '\xF0\x90\x8D\x83...' for column... Emoji表情字符过滤的Java实现 4.Why a surrogate java regexp finds hypen-minus > 如何检测.替换4个字节的utf-8编码(此范围编码包含emoji) 项目有个需求,是保存从手机端H5页面提交的信息. 大家

php解决微信开发中用户昵称中的特殊字符与emoji表情写入mysql错误的问题

解决办法:将3个字节的特殊字符与emoji表情替换掉即可. $nickname = preg_replace('/xE0[x80-x9F][x80-xBF]'.'|xED[xA0-xBF][x80-xBF]/S','?', $nickname ); $nickname = preg_replace('/\xEE[\x80-\xBF][\x80-\xBF]|\xEF[\x81-\x83][\x80-\xBF]/', '', $nickname);

微信昵称包含emoji表情，保存异常

MySQL要存储emoji表情,由于emoji表情的unicode编码占用4个字节,而Mysql的utf8编码最多只能存储3个字节, 所以保存到数据库时会产生异常,一般两种解决方法, 方法一 修改数据库的字符集为utf8mb4,MySQL支持 emoji 表情的最低版本为5.5.3,否则不支持字符集utf8mb4. # 修改数据库: ALTER DATABASE database_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;

解决 微信包含emoji表情的昵称，直接用sql语句可以写入而在yii2框架写却写不成功的 问题

背景: 首先是emoji表情写入不成功,在网上查了许多资料,包括配置mysql,重启mysql等等,这样之后发现还是写入失败. 将sql语句复制出来,直接粘贴到mysql客户端执行,发现没问题.而通过代码写入却有问题 解决方案: 在config/db.php中将charset = 'utf8'改为charset='utf8mb4' 原生php也类似,可以检查代码中的charset 原文地址:https://www.cnblogs.com/roggeyue/p/10811993.html

检测textView里面的文字是否包含emoji表情字符

用这个方法可以检测出来,返回bool值 - (BOOL)stringContainsEmoji:(NSString *)string { __block BOOL returnValue = NO; [string enumerateSubstringsInRange:NSMakeRange(0, [string length]) options:NSStringEnumerationByComposedCharacterSequences usingBlock:^(NSString *subs

boundingRectWithSize 的使用, 计算UILable高度, 包含Emoji及多属性string.

iOS的文字高度计算一直是个问题, 苹果也一直在改, 这几天看了一下 boundingRectWithSize 方法. - (CGRect)boundingRectWithSize:(CGSize)size options:(NSStringDrawingOptions)options context:(NSStringDrawingContext *)context NS_AVAILABLE_IOS(6_0); 踩了几个坑后, 总算找到比较好的使用方法. http://stackoverflo

emoji处理方法

在做微信公众号开发时碰到了获取微信基本信息的需求,但是在像数据库保存用户昵称的时候出错了, 出错原因是微信用户的昵称中包含emoji等特殊符号,表情图片, mysql数据库使用的是utf8,最大存储3个字节,而emoji等以4个字节进行的保存,所以保存不了 处理方法: 1:修改数据库编码由utf8升级为utf8mb4,utf8mb4是utf8的超级,包含全部unicode编码:该方法没有具体操作: 2:进行过滤,对获取到的用户昵称进行编码过滤,对emoji等替换为“”空:但是该方法在碰到iso上

微信去除EMOJI表情

方法是: 方法是:return json_decode(preg_replace("#(\\\ue[0-9a-f]{3}|\\\ud83e|\\\udd14)#ie", "", json_encode($text))); 原理是: 进行微信公众号开发者接入的时候,与用户的对话互动中,涉及到的文本信息不仅仅是文字那么简单,其中可能还会包含着各种表情字符,例如「emoji表情」. 百科: Emoji 由于微信接口中对于emoji表情使用的是UTF-8的二进制字符串,并没

Solr特殊字符转义处理

做站内搜索时,如果输入的参数中包含英文冒号.双引号或其他具有特殊含义的字符时,可能需要做转义来避免查不到数据的问题. 测试于:Solr 4.5.1, Jdk 1.6.0_45, Tomcat 6.0.37 | CentOS 5.7 异常信息: 如本站内有一篇文章标题为: java.lang.NumberFormatException: For input string: "MA147LL/A" 直接拿到搜索框搜反而出不来结果. 解决方法: 在搜索的action中将输入的参数(kw为ke