Oracle的CLOB大数据字段类型(转)

一、Oracle中的varchar2类型

  1. 我们在Oracle数据库存储的字符数据一般是用VARCHAR2。VARCHAR2既分PL/SQL Data Types中的变量类型,也分Oracle Database中的字段类型,不同场景的最大长度不同。
  2. 在Oracle Database中,VARCHAR2 字段类型,最大值为4000;PL/SQL中 VARCHAR2 变量类型,最大字节长度为32767。
  3. 当 VARCHAR2 容纳不下我们需要存储的信息时,就出来的Oracle的大数据类型LOB( Large Object,大型对象)。

二、Oarcle中的LOB类型

  1. 在Oracle中,LOB(Large Object,大型对象)类型的字段现在用得越来越多了。因为这种类型的字段,容量大(最多能容纳4GB的数据),且一个表中可以有多个这种类型的字段,很灵活,适用于数据量非常大的业务领域(如图象、档案等)。
  2. LOB类型分为BLOB和CLOB两种:BLOB即二进制大型对象(Binary Large Object),适用于存贮非文本的字节流数据(如程序、图象、影音等)。
  3. 而CLOB,即字符型大型对象(Character Large Object),则与字符集相关,适于存贮文本型的数据(如历史档案、大部头著作等)。

三、DB中使用CLOB类型字段

(一)、创建表(使用sql或者直接在PL/SQL客户端创建),字段类型CLOB

-- Create table
create table TEMP
(
  name      VARCHAR2(200),
  age       NUMBER,
  temp_clob CLOB
)
tablespace INSIGHTDATA3_TS
  pctfree 10
  initrans 1
  maxtrans 255
  storage
  (
    initial 160K
    next 1M
    minextents 1
    maxextents unlimited
  );

(二)、增删改查

先看一下使用普通方式操作CLOB类型:

SELECT t.name, t.temp_clob FROM temp t; --普通查询 INSERT INTO temp t VALUES (‘Grand.Jon‘, 22, ‘加入博客园的第一天‘);

  查询因为不是varchar2类型,所以普通查询看不到CLOB类型的字段内容,结果如下

而普通插入操作也会因为Oracle的隐式转换,默认把字符串转换成varchar2类型,一旦字符串内容超过varchar2的最大限度就会报会报ora-01704(字符串太长)错误。

正确操作

--使用PL/SQL语法,采取绑定变量的方式解决,而不是直接拼接SQL

DECLARE
       V_LANG CLOB := ‘待插入的海量字符串‘;

       V_UPDATE CLOB := ‘更新的海量字符串‘;
BEGIN

  INSERT INTO temp t VALUES (‘Grand.Jon‘, 22, V_LANG);        --增加

  UPDATE temp t SET t.temp_clob = V_UPDATE WHERE rownum = 1;  --修改

  SELECT t.NAME, dbms_lob.substr(t.temp_clob) FROM TEMP t;    --查询  将CLOB转成字符类型

  DELETE temp t WHERE rownum = 1;                             --按列删除  

  COMMIT;

END;
/

对CLOB的操作我们在存储过程中基本上使用 dbms_lob 中 substr , append , write 等方法。

dbms_lob 方法总结

1 dbms_lob.createtemporary(V_SQL,true);     --创建一个临时clob,用来存储拼接的sql
2 dbms_lob.write(v_SQL,‘写入信息‘);          --写入操作
3 dbms_lob.append(v_SQL,‘,‘);               --拼接clob
4 dbms_lob.substr(v_SQL);                   --截取clob,不传参数就是全部读取
5 dbms_lob.freetemporary(v_SQL);            --释放clob

查询结果如下:


四、在存储过程中使用CLOB类型实例

  需求:以开发的存储过程为例,需要循环遍历时间范围拼接sql,将时间日期按列反转(pivot),如果时间太长(1年以上)sql语句(varchar2)就会超出范围报错,这时候就需要使用CLOB来存储拼接的sql。

PROCEDURE P_AND_CPT_RATIOOTH_APP_BAK2_N(
            V_APPIDS IN VARCHAR2,
            V_TYPE IN VARCHAR2,
            V_CHANNEL IN VARCHAR2,
            V_TABLE IN VARCHAR2,
            V_START IN VARCHAR2,
            V_END IN VARCHAR2,
            RESULT OUT mycursor
) IS

V_SQL CLOB;
V_SQLWHERE VARCHAR2(32767) default  ‘‘;
V_SQLWHERE_CHANNEL VARCHAR2(32767) default ‘‘;
V_SQL_DATES  CLOB;
V_Sdate  DATE;
V_Edate  DATE;
V_TABLE_DATE VARCHAR2(50);
V_TABLE_TYPE VARCHAR2(50);
V_START_DATE VARCHAR2(50);
V_END_DATE   VARCHAR2(50);

V_DAY VARCHAR2(50);

BEGIN
    select column_name into V_TABLE_DATE from user_tab_columns where table_name=‘‘||V_TABLE||‘‘ and column_id=1;
    select column_name into V_TABLE_TYPE from user_tab_columns where table_name=‘‘||V_TABLE||‘‘ and column_id=5;

    dbms_lob.createtemporary(V_SQL,true);--创建一个临时lob
    dbms_lob.createtemporary(V_SQL_DATES,true);--创建一个临时lob

    IF V_APPIDS is NOT NULL THEN
       V_SQLWHERE := ‘AND t.appid in (‘||V_APPIDS||‘)‘;
    END IF;

    IF V_CHANNEL IS NOT NULL THEN
       V_SQLWHERE_CHANNEL := ‘AND t.channel = ‘‘‘||V_CHANNEL||‘‘‘‘;
    END IF;

    IF V_TABLE_DATE = ‘MON‘ THEN
       V_START_DATE := SUBSTR(V_START,0,6);
       V_END_DATE :=  SUBSTR(V_END,0,6);
       v_sdate := to_date(V_START_DATE, ‘yyyymm‘);
       v_edate := to_date(V_END_DATE, ‘yyyymm‘);

        WHILE (v_sdate <= v_edate) LOOP
              dbms_lob.append(v_SQL_DATES,to_char(v_sdate, ‘yyyymm‘));--把临时字符串付给v_str
        IF v_sdate != v_edate THEN
              dbms_lob.append(v_SQL_DATES,‘,‘);--把临时字符串付给v_str
        END IF;
        v_sdate := add_months(v_sdate,1);

        END LOOP;
    ELSE  --周和日 类型 都是 DAY

       v_sdate := to_date(V_START, ‘yyyymmdd‘);
       v_edate := to_date(V_END, ‘yyyymmdd‘);
       V_END_DATE :=  V_END;

       IF SUBSTR(V_TYPE,0,1)=‘d‘ THEN
            V_START_DATE := to_char(v_sdate, ‘yyyymmdd‘);

            WHILE (v_sdate <= v_edate) LOOP
                  dbms_lob.append(v_SQL_DATES,to_char(v_sdate, ‘yyyymmdd‘));--把临时字符串付给v_str
            IF v_sdate != v_edate THEN
                  dbms_lob.append(v_SQL_DATES,‘,‘);--把临时字符串付给v_str
            END IF;
            v_sdate := v_sdate+1;

            END LOOP;

       ELSIF SUBSTR(V_TYPE,0,1)=‘w‘ THEN

           select to_char(V_Sdate,‘d‘) INTO V_DAY from dual;
            IF V_DAY!=2 THEN
             V_Sdate:=V_Sdate-7;
            END IF;
          V_START_DATE := to_char(v_sdate, ‘yyyymmdd‘);

          WHILE (v_sdate <= v_edate) LOOP
               select to_char(V_Sdate,‘d‘) INTO V_DAY from dual;
              IF V_DAY=2 THEN
                 dbms_lob.append(v_SQL_DATES,to_char(v_sdate, ‘yyyymmdd‘));--把临时字符串付给v_str
                 IF V_Edate-v_sdate >7 THEN
                   dbms_lob.append(v_SQL_DATES,‘,‘);--把临时字符串付给v_str
                 END IF;

              END IF;
            v_sdate := v_sdate+1;
           END LOOP;

       END IF;

    END IF;

    dbms_lob.append(v_sql,‘SELECT * FROM( SELECT *
            FROM ‘||V_TABLE||‘ t
           WHERE
                 t.‘||V_TABLE_TYPE||‘ = ‘‘‘||V_TYPE||‘‘‘
             AND t.‘||V_TABLE_DATE||‘ >= ‘‘‘||V_START_DATE||‘‘‘
             AND t.‘||V_TABLE_DATE||‘ <= ‘‘‘||V_END_DATE||‘‘‘
             ‘||V_SQLWHERE||‘
             ‘||V_SQLWHERE_CHANNEL||‘ ) t1

           pivot(sum(MARKETSHARE)
             for ‘||V_TABLE_DATE||‘ in(‘);

    dbms_lob.append(v_sql,v_SQL_DATES);
    dbms_lob.append(v_sql,‘))‘);
    dbms_output.put_line(v_sql);
    OPEN result FOR v_sql;   

       dbms_lob.freetemporary(v_sql);--释放lob
       dbms_lob.freetemporary(v_SQL_DATES);--释放lob
       --dbms_output.put_line(V_SQLDATE);

      -- dbms_output.put_line(v_SQL_DATES);

--记录操作日志及错误日志
END;


五、使用Java开发操作CLOB字段

(一)、原生JDBC处理CLOB类型

  • 增加,一般会插入一个空的clob到数据库对应的字段,然后锁定该列,用Write将待插入字符串写入进去。

      重点:这两步操作要放在同一个事务里面。具体增加的方法如下:

public boolean save(Article article){
        boolean result = true;
        Connection conn = ConnectionUntils.getInstance();
        String sql = "insert into temp values(?,?,empty_clob())";
        //锁住该列,防止并发写入时候该字段同时被多次写入造成错误
        String sqlClob = "select temp_clob from temp t where t.name=? for update";
        PreparedStatement pst =null;
        ResultSet rs = null;
        Writer writer = null;
        try {
            conn.setAutoCommit(false);//设置不自动提交,开启事务
            pst = conn.prepareStatement(sql);
            pst.setString(1,article.getName());
            pst.setString(2,article.getAge());
            pst.executeUpdate();

            pst= conn.prepareStatement(sqlClob);
            pst.setInt(1, article.getId());

            rs = pst.executeQuery();
            CLOB clob = null;
            if(rs.next()){
                try {
                    clob = (CLOB) rs.getClob(1);
                    writer = clob.getCharacterOutputStream(); //拿到clob的字符输入流
                    writer.write(article.getContent());
                    writer.flush();
                    writer.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
            conn.commit();
        } catch (SQLException e) {
            result = false;
            try {
                conn.rollback();//当commit或者rollback后会自动释放该列的锁定
            } catch (SQLException e1) {
                e1.printStackTrace();
            }
            e.printStackTrace();
        } finally {
            conn.setAutoCommit(true);//还原
            ConnectionUntils.close(rs, pst, conn);
        }
        return result;
    }

  • update操作,update时候主要利用PreparedStatement的setClob方法:

public boolean update(String name,String content){
        int result = 0;
        Connection conn = ConnectionUntils.getInstance();
        String sql = "update temp set temp_clob=? where name=?";
        PreparedStatement pst =null;
        try {
            CLOB clob   = oracle.sql.CLOB.createTemporary(conn, false,oracle.sql.CLOB.DURATION_SESSION);
            clob.setString(1L, content);
            pst = conn.prepareStatement(sql);
            pst.setClob(1, clob);
            pst.setString(2,name);
            result = pst.executeUpdate();
        } catch (SQLException e) {
            e.printStackTrace();
        }finally{
            ConnectionUntils.close(null, pst, conn);
        }
        if(result==0)
            return false;
        return true;
    }

  • 查询就主要是从结果集ResultSet中定位到对应的字段后,往外读:

    public Article select(String name){
        Article article = new Article();
        Connection conn = ConnectionUntils.getInstance();
        String sql = "select name,age,temp_clog from temp where name = ?";
        PreparedStatement pst =null;
        ResultSet rs = null;
        try {
            pst = conn.prepareStatement(sql);
            pst.setInt(1,id);
            rs = pst.executeQuery();
            StringBuilder builder = new StringBuilder();
            if(rs.next()){
                Clob clob = rs.getClob("temp_clog");
                Reader rd = clob.getCharacterStream();
                char [] str = new char[12];
                while(rd.read(str) != -1) {
                    builder.append(new String(str));
                }
                article.setContent(builder.toString());
                article.setName(rs.getString("name"));
                article.setAge(rs.getInt("age"));
            }
        } catch (SQLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }finally{
            ConnectionUntils.close(rs, pst, conn);
        }
        return article;
    }

(二)、Hibernate、Mybatis框架操作

  • 这个因为框架都封装集成好了,所以我们使用的时候直接配置变量的类型为CLOB就可以。

  譬如:Mybatis

<result column="temp_clob" property="content" jdbcType="Clob"  typeHandler="org.apache.ibatis.type.ClobTypeHandler"/> 

  貌似Hibernate5内部做了对应的处理,可以直接当string类型一样处理即可。


六、总结

  虽然CLOB能解决VARCHAR2字符大小的限制,但是我们的DBA们都不建议用这些来处理,可能效率问题吧,大的文件应该放在服务器上,然后Database中存响应地址即可。

 


        if ( U.read(me.Blog) ) $("#推荐").click();
        if ( U.copy(me.Blog) ) $("#u Blog").console("原文链接:http://www.cnblogs.com/Grand-Jon/p/7389427.html ");
        else me.Fuck(U);

原文地址:https://www.cnblogs.com/hawk-li/p/11090513.html

时间: 2024-08-28 04:49:03

Oracle的CLOB大数据字段类型(转)的相关文章

oracle 的一个大数据表 快速迁移到 Sqlserver2008数据库

"-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> oracle 的一个大数据表 快速迁移到 Sqlserver2008数据库 - HappyBinhaer的专栏 - 博客频道 - CSDN.NET HappyBinhaer的专栏 目录视图 摘要视图 订阅 [活动]2017 CSDN博客专栏评选 &nbsp [5月书讯

CLOB大数据对象

处理CLOB大数据对象 import java.sql.SQLException ; import java.sql.DriverManager ; import java.sql.ResultSet ; import java.sql.Connection ; import java.sql.PreparedStatement ; import java.io.File ; import java.io.FileInputStream; import java.io.InputStream ;

好记性不如烂笔头20-java对oracle的clob和blob字段的总结

整体情况 CLOB字段在实际工作中,还是有很多的应用场景:但是BLOB字段在现在的大型系统中,作用越来越不尽如人意. 因为数据库资源,在大型系统中,升级成本是最高的:而BLOB字段中大量的数据,会给数据库造成严重的IO问题.如果我们购买几百万的小型机,就是为了存放几张普通图片,估计会被人把牙齿笑掉:虽然数据库有良好的认证系统,但是不代表用文件系统不能实现. 因此,如果是老的系统,如果我们不打算全面重构和升级,那么这个BLOB改用还是要用:如果是新的系统,原则上不推荐BLOB字段,实现的代价较高,

oracle.sql.Clob类型转换成String类型

方法一: public String ClobToString(Clob clob) throws SQLException, IOException { String reString = ""; Reader is = clob.getCharacterStream();// 得到流 BufferedReader br = new BufferedReader(is); String s = br.readLine(); StringBuffer sb = new StringBu

jdbc操作clob大数据

Connection conn = this.getHibernateTemplate() .getSessionFactory().getCurrentSession().connection(); String sqlclob = "Select o.value_clob from os_propertyset o Where o.property_key=? and o.entry_id=? FOR Update "; PreparedStatement pstmt = conn

php oracle数据库clob和nclob字段

nclob类型 1.nclob不能使用php的stream_get_contents来获取数据库的资源内容, 2.并且nclob只能使用to_char(字段名)来获取字符信息, 3.to_char是将nclob转成varchar2字符类型,但是varchar2最大自由4000字节,超出4000字节不能完成数据的读取 clob 可以完美解决nclob的缺点 $sql = "select ID,BOARDING2,ISOUTSIDE from WX_CHECKIN where ID = 'cb942

[Doctrine Migrations] 数据库迁移组件的深入解析三:自定义数据字段类型

自定义type 根据官方文档,新建TinyIntType类,集成Type,并重写getName,getSqlDeclaration,convertToPHPValue,getBindingType等方法. TinyIntType.php完整代码: <?php namespace db\types; use Doctrine\DBAL\ParameterType; use Doctrine\DBAL\Platforms\AbstractPlatform; use Doctrine\DBAL\Typ

Dynamics CRM EXCEL导入数据字段类型为选项集时的注意事项

在开始先展示下CRM的导入数据涉及选项集字段时的一个问题 下图是选项集字段的属性 下图是我要导入的excel中的列值,可以看出列明和字段名是一致的,而列值却不是选项集中已有的选项 在导入校验时,只要字段名对上了,选项集字段并未报任何警告提醒 导入成功后针对excel中的列值在选项集中没有的,系统会自动创建 这是一个麻烦,所以怎样才能避免这个问题,或者说在excel中的列值和选项集字段对不上时如何能有个提醒,下面来说解决办法 将前面导入的excel的列明更改下和系统选项集字段的属性名不同,再对列值

JDBC 复习3 存取Oracle大数据 clob blob

1 目录结构记得导包咯 mysql oracle 2 代码,DBUtil工具类见前面的随笔博文 package dbex.mysql; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileReader; import java.io.FileWriter; import java.sql.Connection; import java.sql.P