Unicode 范围以及python中生成所有Unicode的方法

Unicode范围和表示语言

Unicode是一个通用的字符集,包含了65535个字符。计算机在处理特殊字符(除了ASCII表以外的所有字符)时都是把Unicode按照一种编码来保存的。当然了,unicode的统一花了不少人的精力,而且不同编码到今天还有一些不兼容的问题,不过平常的代码中了解一些基础也就够了。

Unicode字符表示语言的范围参考下文:

http://www.cnblogs.com/chenwenbiao/archive/2011/08/17/2142718.html

中文(包括日文韩文同用)的范围:

Python生成 所有Unicode

# -*- coding: utf-8 -*-

def print_unicode(start, end):
    with open(‘unicode_set.txt‘, ‘w‘) as f:
        Start = start
        ct = 0
        while Start <= end:
            try:
                ustr = hex(Start)[2:]
                od = (4 - len(ustr)) * ‘0‘ + ustr # 前补0
                ustr = ‘\u‘ + od
                index = Start - start + 1
                f.write(str(index) + ‘\t‘ + ‘0x‘ + od + ‘\t‘ + ustr.decode(‘unicode-escape‘).encode(‘utf-8‘, ‘ignore‘))
                f.write(‘\r\n‘)
                Start = Start + 1
            except Exception, e:
                print e
                Start += 1
                print Start
# print_unicode(0x4e00, 0x9fbf)
print_unicode(0x0, 0x9fbf)

生成结果

中文

可以看到有些是不能显示的。

时间: 2024-10-19 13:10:25

Unicode 范围以及python中生成所有Unicode的方法的相关文章

Python中optionParser模块的使用方法[转]

本文以实例形式较为详尽的讲述了Python中optionParser模块的使用方法,对于深入学习Python有很好的借鉴价值.分享给大家供大家参考之用.具体分析如下: 一般来说,Python中有两个内建的模块用于处理命令行参数: 一个是 getopt,<Deep in python>一书中也有提到,只能简单处理 命令行参数: 另一个是 optparse,它功能强大,而且易于使用,可以方便地生成标准的.符合Unix/Posix 规范的命令行说明. 示例如下: ? 1 2 3 4 5 6 7 8

python中的字典内置方法小结

#!/usr/local/bin/python3 # -*- coding:utf-8 -*- #key-value #dict 无序,无下标,不需要下标,因为有key stu={ 'stu001':"zhang yu", 'stu002':"ma hong yan", 'stu003':"zhang guo bin", 'stu004':"sha chun hua" } ''' -----------------------

python中文件操作的其他方法

前面介绍过Python中文件操作的一般方法,包括打开,写入,关闭.本文中介绍下python中关于文件操作的其他比较常用的一些方法. 首先创建一个文件poems: p=open('poems','r',encoding='utf-8')for i in p:print(i)结果如下: hello,everyone白日依山尽,黄河入海流.欲穷千里目,更上一层楼. 1.readline   #读取一行内容 p=open('poems','r',encoding='utf-8') print(p.rea

乱码问题引申 python 中string和unicode

HtmlTestRunner的乱码问题 1生成的报告中,对print打印的数据都记录下来,但是数据有些会存在乱码.如下面.有些又没有乱码. 这到底是怎么回事呢? str=t.encode('utf-8') print str 第一个test我以utf-8编码,看来htmlTestRunner不是utf-8 编码. 为何第二个正确了呢? 第二个是unicode编码方式. 也就是说,可以被其他任何encode了. 原码中已这个进行编码,也就是说他设置为latin-1这种编码方式了.估计是作者自己国家

在Python中正确使用Unicode

正确处理文本,特别是正确处理Unicode.是个老生常谈的问题,有时甚至会难倒经验丰富的开发者.并不是因为这个问题很难,而是因为对软件中的文本,开发者没有正确理解一些关键概念及其表示方法.在StackOverflow上搜索关于UnicodeDecodeError相关的问题,可以看到很多人都有这样的误解.这些错误的概念可以追溯到Unicode出现之前.那时许多现今的开发者还没入职,也包括我自己.如果这些错误的概念没有散布开来,其实不是个问题.现在很多人都有这些错误概念,部分原因是因为有些非常流行的

Python中生成一个0-n的随机序列

Python中怎样生成一个随机序列? 代码例子如下:生成一个0-9的随机序列 1 >>> from numpy.random import normal,random,uniform; 2 >>> import numpy as np; 3 >>> random.permutation(range(10)) 4 Traceback (most recent call last): 5 File "<pyshell#2>"

Python中生成(写入数据到)Excel文件

  转自http://www.crifan.com/export_data_to_excel_file_in_python/ 在Python中,如何将数据,导出为Excel,即把数据写入到新生成的excel文件. 1.网上看到: Working with Excel Files in Python 其中包括,Python中,如何读取excel文件,如何写入数据到excel文件等等相关的库. 看起来应该是这方面的资料中,总结的最好的了. 2.此处暂时只需要写入数据到Excel,所以就去参考: xl

面向对象和面向过程,python中的类class,python中程序的入口——main方法,

1.程序入口,让main显现出来: print(__name__)#__name___是模块中的隐藏字段,当前模块运行的函数名 if __name__ == __main__ __main__() #定义程序入口:Python中main函数默认是隐藏的,main函数在当前运行的模块下,定义程序入口就是让main函数显 #现出来 def __main__(): ....... 2.面向对象和面向过程: 面向对象:使用对象完成任务,不需要在意过程: 3.什么是类:一个类型,定义class来表示一个类

python中处理json文件的方法函数

1.json.loads() 将json字符串,转变为python中的“字典”类型 import json #json串是一个字符串f = open('product.json',encoding='utf-8') res=f.read() product_dic=json.loads(res) print(product_dic) 运行结果: 2.json.load() 读取文件进行处理,同样是将文件中的json字符串转换为字典类型 import json #json串是一个字符串f = op