[python] python 读写Oracle clob类型数据的处理

clob字段是oracle专门用于存储超长字符串的字段类型,一般varchar2只能存4000个字符串,超过4000个就存不下去了。
如果直接使用 pandas.read_sql(sql, conn)会报错,那么如何将clob读取到python中呢?

1.read方法

import cx_Oracle
conn = cx_Oracle.connect("user/[email protected]/db")
cur = conn.cursor()
# col 是clob字段
cur.execute("select col from table")
pram=[]
for i in cur:
    text = i[0].read()
    pram.appen(text)
cur.close()
conn.close()

2.使用DBMS_LOB.SUBSTR模块

方法是先提取前2000个字符串,接着提取2000个字符串….,然后拼接起来。

import cx_Oracle
import pandas as pd
conn = cx_Oracle.connect("user/[email protected]/db")
# 这里只提取前6000个字符串
sql1 = "select DBMS_LOB.SUBSTR(col,2000,1) as col1 as fzss from table"  # 1-2000个字符串
sql2 = "select DBMS_LOB.SUBSTR(col,4000,2001) as col2 as fzss from table"  # 2001-4000个字符串
sql3 = "select DBMS_LOB.SUBSTR(col,6000,4001) as col3 as fzss from table"  # 2001-4000个字符串
# 读取数据
df1 = pd.read_sql(sql1, conn)
df2 = pd.read_sql(sql2, conn)
df3 = pd.read_sql(sql3, conn)
# 有些记录不一定是很长的字符串,结果可能是None,需要填充空字符串,否则下面的拼接会出错
df1 = df1.fillna(‘‘)
df2 = df2.fillna(‘‘)
df3 = df3.fillna(‘‘)
# 将它们拼接起来,放在tmp字段上
df1[‘TMP‘] = df1.loc[‘COL1‘]+df2.loc[‘COL2‘]+df3.loc[‘COL3‘]

3.将字符串写入clob字段

方法和将字符串导入varchar2字段是一样的,不需要特殊设置。 比如:

id=‘123‘
clob=‘a‘*2**20  # 重复2的20次方次
param=[id, colb]
sql = "insert into table (id,colb) values(:1, :2)"
cursor.execute(sql, param)
conn.commit()

原文地址:https://www.cnblogs.com/wynlfd/p/11053315.html

时间: 2024-08-03 04:16:22

[python] python 读写Oracle clob类型数据的处理的相关文章

Hibernate操作Clob类型数据

在POJO中字符串大对象可以声明成一个java.lang.String或java.sql.Clob类型. 当程序从数据库中加载Clob类型数据时,仅仅加载了一个Clob类型的数据的逻辑指针.我们需要通过使用Clob.getCaracterStream()方法得到Clob类型的数据输入流之后才能获取大对象数据. 看下面具体代码 package dao; import java.io.BufferedReader; import java.io.IOException; import java.io

Hibernate操作Clob类型数据是怎样弄的

在POJO中字符串大对象可以声明成一个java.lang.String或java.sql.Clob类型. 当程序从数据库中加载Clob类型数据时,仅仅加载了一个Clob类型的数据的逻辑指针.我们需要通过使用Clob.getCaracterStream()方法得到Clob类型的数据输入流之后才能获取大对象数据. 看下面具体代码 package dao; import java.io.BufferedReader; import java.io.IOException; import java.io

grails中如何存取Clob类型数据

首先说一下CLOB.CLOB是一种数据库中的数据类型,它将字符大对象存储为数据库表某一行中的一个列值,请注意,这里说的是字符大数据,驱动程序使用 SQL locator(CLOB) 实现 Clob 对象,这意味着 CLOB 对象包含一个指向 SQL CLOB 数据的逻辑指针而不是数据本身,也就是说,在表里面,Clob类型的存储的字段,它里面存的是一个指针而不是数据本身,这在统计时非常好用,因为你不需要知道数据是什么,只需要知道有多少个数据就够了. 这里也说明一下CLOB和BLOB的区别 1.CL

Python学习之通用序列类型数据详解

本文和大家分享的主要是python通用序列类型数据的相关操作,一起来看看吧,希望对大家学习python有所帮助. Python的序列,Python有6种内建的序列,包括:列表.元组.字符串.Unicode字符串.buffer对象和xrange对象.其中最为常用的是Python的列表和元组. Python的序列 Python有6种内建的序列,包括:列表.元组.字符串.Unicode字符串.buffer对象和xrange对象.其中最为常用的是Python的列表和元组. Python序列的应用 Pyt

Java 存储和读取 oracle CLOB 类型字段的实用方法

package oracle.clob; import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.IOException; import java.io.Reader; import java.io.StringReader; import java.sql.Connection; import java.sql.DriverManager; import java

解决Oracle clob字段数据过大问题

1 select * from user_lobs where table_name='WX_MAIL';--SYS_LOB0001313121C00015$$ 2 SELECT segment_name AS TABLENAME,BYTES/1024/1024 MB FROM user_segments WHERE segment_name='SYS_LOB0001313121C00015$$'; WX_MAIL有一个content字段为clob类型,保存了邮件的内容,导致数据过大,平均每个c

Oracle处理Clob类型数据入库(String入库)

从网上查找一堆参考,要么语焉不详,要么不可行.自己鼓捣了一堆可以正常入库了.请看最后: insert into CP_V_INFO" + "(ID, "+ "PROJECT_ID, "+ …… "V_INFO, "+ …… "VERSION)values(?,?,?,?,?,?,?,?,?,?," + "?,?,EMPTY_CLOB(),?,?,?,?,?,?,?," + "?,?,?,

python里读写excel等数据文件的几种常用方式

python处理数据文件第一步是要读取数据,文件类型主要包括文本文件(csv.txt等).excel文件.数据库文件.api等. 下面整理下python有哪些方式可以读取数据文件. 1. python内置方法(read.readline.readlines) read() : 一次性读取整个文件内容.推荐使用read(size)方法,size越大运行时间越长 readline() :每次读取一行内容.内存不够时使用,一般不太用 readlines() :一次性读取整个文件内容,并按行返回到lis

使用Python向MySQL数据库中存入json类型数据

0.说明 因为出于个人项目的需要,获取到的数据都是json类型的,并且都要存入MySQL数据库中,因为json类型数据不像一般的文本数据,所以在存入MySQL时需要注意的问题很多. 在网上找了很多方法,整理了一下比较实用可靠的,总结下来就是下面的过程: MySQL表中需要保证存储json数据的列类型为BLOB: 使用sql语句时,使用MySQLdb.excape_string函数来对json数据进行转义: 查询数据时,将结果使用json.loads就能够得到原来的Python数据类型: 下面就来