hibernate 批量处理数据

批量处理数据是指在一个事务中处理大量数据.

在应用层进行批量操作, 主要有下面方式:

  • 通过 Session
  • 通过 HQL
  • 通过 StatelessSession
  • 通过 JDBC API(仅仅要会用这样的,其它作为了解)

通过 Session 来进行批量操作

Session 的 save() 及 update() 方法都会把处理的对象存放在自己的缓存中. 假设通过一个 Session 对象来处理大量持久化对象, 应该及时从缓存中清空已经处理完成而且不会再訪问的对象. 详细的做法是在处理完一个对象或小批量对象后, 马上调用 flush() 方法刷新缓存, 然后在调用 clear() 方法清空缓存

通过 Session 来进行处理操作会受到下面约束

  • 须要在 Hibernate 配置文件里设置 JDBC 单次批量处理的数目, 应保证每次向数据库发送的批量的 SQL 语句数目与 batch_size 属性一致
  • 若对象採用 “identity” 标识符生成器, 则 Hibernate 无法在 JDBC 层进行批量插入操作
  • 进行批量操作时, 建议关闭 Hibernate 的二级缓存
  • 批量更新: 在进行批量更新时, 假设一下子把全部对象都载入到 Session 缓存, 然后在缓存中一一更新, 显然是不可取的

使用可滚动的结果集 org.hibernate.ScrollableResults, 该对象中实际上并不包括不论什么对象, 仅仅包括用于在线定位记录的游标. 仅仅有当程序遍历訪问 ScrollableResults 对象的特定元素时, 它才会到数据库中载入对应的对象.

org.hibernate.ScrollableResults 对象由 Query 的 scroll 方法返回

通过 HQL 来进行批量操作

注意: HQL 仅仅支持 INSERT INTO … SELECT 形式的插入语句, 但不支持 INSERT INTO … VALUES 形式的插入语句. 所以使用 HQL 不能进行批量插入操作.

通过StatelessSession来进行批量操作

从形式上看,StatelessSession与session的使用方法类似。StatelessSession与session相比,有下面差别:

  • StatelessSession没有缓存,通过StatelessSession来载入、保存或更新后的对象处于游离状态。
  • StatelessSession不会与Hibernate的第二级缓存交互。
  • 当调用StatelessSession的save()、update()或delete()方法时,这些方法会马上运行对应的SQL语句,而不会仅计划运行一条SQL语句
  • StatelessSession不会进行脏检查,因此改动了Customer对象属性后,还须要调用StatelessSession的update()方法来更新数据库中数据。
  • StatelessSession不会对关联的对象进行不论什么级联操作。
  • 通过同一个StatelessSession对象两次载入OID为1的Customer对象,得到的两个对象内存地址不同。
  • StatelessSession所做的操作能够被Interceptor拦截器捕获到,可是会被Hibernate的事件处理系统忽略掉。
public class HibernateTest {

	private SessionFactory sessionFactory;
	private Session session;
	private Transaction transaction;

	@Before
	public void init(){
		Configuration configuration = new Configuration().configure();
		ServiceRegistry serviceRegistry =
				new ServiceRegistryBuilder().applySettings(configuration.getProperties())
				                            .buildServiceRegistry();
		sessionFactory = configuration.buildSessionFactory(serviceRegistry);

		session = sessionFactory.openSession();
		transaction = session.beginTransaction();
	}

	@After
	public void destroy(){
		transaction.commit();
		session.close();
		sessionFactory.close();
	}

	@Test
	public void testBatch(){
		session.doWork(new Work() {
			@Override
			public void execute(Connection connection) throws SQLException {
				//通过 JDBC 原生的 API 进行操作, 效率最高, 速度最快!
			}
		});
	}

}

hibernate 批量处理数据,布布扣,bubuko.com

时间: 2024-10-11 07:44:33

hibernate 批量处理数据的相关文章

Hibernate批量处理数据、HQL连接查询

一.批量处理操作 批量处理数据是指在一个事务场景中处理大量数据.在应用程序中难以避免进行批量操作,Hibernate提供了以下方式进行批量处理数据: (1)使用HQL进行批量操作     数据库层面 (2)使用JDBC API进行批量操作  数据库层面 (3)使用Session进行批量操作   会进缓存 1.使用HQL进行批量操作 HQL可以查询数据,也可以批量插入.更新和删除数据.HQL批量操作实际上直接在数据库中完成,处理的数据不需要加载到Session缓存中.使用Query接口的execu

hibernate批量处理数据

(1)使用HQL进行批量操作  数据库层面  executeUpdate() @Testpublic void test2() { Query query = session.createQuery("insert into Stu(sname) select s.sname from Stu s"); query.executeUpdate();} @Testpublic void test3() { Query query = session.createQuery("u

Hibernate 批量update数据时,怎么样做可以回滚,

1.serviceManagerDaoImpl代码里对异常不进行try,catch抛出, 2.或者抛出throw new RuntimeException()异常

Hibernate 中批量处理数据

一.批量处理操作 批量处理数据是指在一个事务场景中处理大量数据.在应用程序中难以避免进行批量操作,Hibernate提供了以下方式进行批量处理数据: (1)使用HQL进行批量操作     数据库层面 (2)使用JDBC API进行批量操作  数据库层面 (3)使用Session进行批量操作   会进缓存 1.使用HQL进行批量操作 HQL可以查询数据,也可以批量插入.更新和删除数据.HQL批量操作实际上直接在数据库中完成,处理的数据不需要加载到Session缓存中.使用Query接口的execu

hibernate批量删除和更新数据

转载自:http://blog.csdn.net/yuhua3272004/article/details/2909538 Hibernate3.0 採用新的基于ANTLR的HQL/SQL查询翻译器,在Hibernate的配置文件里,hibernate.query.factory_class属性用来选择查询翻译器. (1)选择Hibernate3.0的查询翻译器: hibernate.query.factory_class= org.hibernate.hql.ast.ASTQueryTrans

hibernate批量更新和删除数据

批量处理  不建议用Hibernate,它的insert效率实在不搞,不过最新版本的Hibernate似乎已经在批量处理的时候做过优化了,设置一些参数如batch_size,不过性能我没有测试过,听说是这样.我记得以前在做大批量数据转移的时候我们测试过Hibernate,很慢,直接Pass,当时我们的系统由于用多个数据库,所以用的jdbc,如果不考虑移植还是可以用存储过程的. 存储过程对数据库依赖过强,不便系统移植   浅析Hibernate下数据批量处理方法 关键字: hibernate指处理

Hibernate批量处理海量数据的方法

本文实例讲述了Hibernate批量处理海量数据的方法.分享给大家供大家参考,具体如下: Hibernate批量处理海量其实从性能上考虑,它是很不可取的,浪费了很大的内存.从它的机制上讲,Hibernate它是先把符合条件的数据查出来,放到内存当中,然后再进行操作.实际使用下来性能非常不理想,在笔者的实际使用中采用下面的第三种优化方案的数据是:100000条数据插入数据库, 需要约30分钟,呵呵,晕倒.(本人10分钟插入1000000条数据(字段比较小)) 总结下来有三种来处理以解决性能问题:

Hibernate批量操作数据

批量处理数据 ①通过session来进行批量操作 ?具体的做法是在处理完一个对象或小批量对象后,立刻调用flush方法清理缓存,然后再调用clear方法清空缓存 <!-- 设置JDBC单次批量处理的数目 --> <property name=”hibernate.jdbc.batch_size”>20</property> 如果对象采用”identity” 标示符生成器,则Hibernate无法在JDBC层进行批量插入操作 进行批量操作是建议关闭二级缓存!!! <

使用JDBC批量保存数据(JdbcDaoSupport,JdbcTemplete)

最近做的一个项目中用到了Hibernate的,然后数据库批量插入数据的时候就使用到了hibernate的批处理,但是效率比较低,看网上说还有一些限制,要禁止二级缓存,还要多一个batch_size的配置什么的,不知道是用的不对还是怎么滴,插入一万条数据最快的时候也需要三十多秒时间,慢的五十多秒,比较纠结,然后改用了jdbc的批处理,这里有三张表,Device,Alarm和SyslogAlarm,不过device表可以忽略,用处不大,就是和Alarm有个一对多的关系,Alarm和SyslogAla