python-redis-pipe文件

redis导入数据比较头疼的事情,涉及几千万,导入还是很耗时,通过生成pipe文件的方式比较快捷。

python3.6.1版本 在linux环境下运行

    with open("data1", "w") as f:
        for d in data:
            k = d["key"]
            v = d[‘value‘]
            f.write(‘*3\r\n$3\r\nset\r\n$%d\r\n%s\r\n$%d\r\n%s\r\n‘ %(len(bytes(k, ‘utf-8‘)), k, len(bytes(v, ‘utf-8‘)), v))

  

python2.7

    for line in lines:
	line=line.strip(‘\n‘)
        jsonLine = json.loads(line)
        province = jsonLine["province"]
	if province == henan:
            key = jsonLine["company_name"]
            k = key.encode(‘utf-8‘)
	    v = line
            print ‘*3\r\n$3\r\nset\r\n$%d\r\n%s\r\n$%d\r\n%s\r\n‘ %(len(k), k, len(v), v),

  

127.0.0.1:6379> select 10
OK
127.0.0.1:6379[10]> dbsize
(integer) 2907521

  

时间: 2024-10-29 10:39:33

python-redis-pipe文件的相关文章

Python redis

Redis redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hash(哈希类型).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式的排序.与memcached一样,为了保证效率,数据都是缓存在内存中.区别的是redis会周期性

redis pipe 批量导入数据

redis pipe 批量导入数据 速度非常快, 文本需要支持redis的协议, 使用Python生成文件 代码如下 delimiter = "\r\n" data = "*3" + delimiter + "$3" + delimiter + "set" + delimiter + "$" + str(len(row[0])) + delimiter + row[0] + delimiter + &quo

redis的redis.conf文件详解

是2.6.12版本的 1 redis.conf配置文件 2 3 # Redis configuration file example 4 5 # Note on units: when memory size is needed, it is possible to specifiy 6 # it in the usual form of 1k 5GB 4M and so forth: 7 # 8 # 1k => 1000 bytes 9 # 1kb => 1024 bytes 10 # 1m

python处理word文件:win32com用法详解

目标:用python处理doc文件 方法:引入win32com模块 ************************************************************************** 一.安装 ************************************************************************** 首先要先下载安装win32com模块(起先在linux下装不成功,后在windows下面成功了...) 下载地址:http

Python 基础 - Json文件读写

JSON介绍 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式.它基于ECMAScript的一个子集. JSON采用完全独立于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C.C++.Java.JavaScript.Perl.Python等).这些特性使JSON成为理想的数据交换语言.易于人阅读和编写,同时也易于机器解析和生成(一般用于提升网络传输速率). 在python中,JSON 由列表和字典组成. 序列化的两个模块中,json模块是用于

python解析json文件

概念 序列化(Serialization):将对象的状态信息转换为可以存储或可以通过网络传输的过程,传输的格式可以是JSON.XML等.反序列化就是从存储区域(JSON,XML)读取反序列化对象的状态,重新创建该对象. JSON(JavaScript Object Notation):一种轻量级数据交换格式,相对于XML而言更简单,也易于阅读和编写,机器也方便解析和生成,Json是JavaScript中的一个子集. Python2.6开始加入了JSON模块,无需另外下载,Python的Json模

Python学习_06_文件、IO

文件对象 python中的文件操作和c语言比较类似,包括一些缓冲.偏移量的方式. 文件对象可以通过open().file()两个内建方法创建,两个方法并没有什么不同,使用方法和c语言中的fopen()类似: file_object = open(file_name, access_mode='r', buffering=-1) 其中access_mode表示打开方式,r表示只读,w表示只写,r+,w+表示读写,a表示追加等:buffering表示缓冲方式,负值表示默认缓冲方式,0表示不缓冲,1表

Python读取txt文件

Python读取txt文件,有两种方式: (1)逐行读取 1 data=open("data.txt") 2 line=data.readline() 3 while line: 4 print line 5 line=data.readline() (2)一次全部读入内存 1 data=open("data.txt") 2 for line in data.readlines(): 3 print line

python读取excel文件(xrld模块)

Python读取excel文件 一.python  xlrd模块 安装 mac 下安装python  xlrd模块 http://www.crifan.com/python_read_excel_xls_file_xlrd/comment-page-1/ python setup.py install 在mac 下出现的错误是 http://stackoverflow.com/questions/18199853/error-could-not-create-library-python-2-7

python 之删除文件

import os #引处系统模块 os.remove(filename) #删除这个文件,可以有路径. python 之删除文件,布布扣,bubuko.com