如何批量处理大数据

1. 通过数据状态（未处理、处理中、处理完成）

2. 分页 分层

3. 通过数据锁定 select for update （多线程安全）

4. 事务

实例：

用户表、兑换资格表、兑换资格统计表

1. 千万用户

2. 用户通过签到获取若干兑换资格

3. 定时任务在固定时间统计每个用户去年未兑换的资格总数

4. 用户可手动兑换，此时 未兑换->兑换中 ，也需要更新统计表

具体实现：

通过select 非处理中用户并加锁，然后更新处理状态为（处理中）

循环处理这N条数据。

for{

锁定统计表

更新统计信息

更新用户表为处理完成（这三步在同一个事务里）

}

问题1：定时任务多线程处理每个用户如何不重复

通过select 锁定 N 条用户，然后把这些用户更新为资格统计中。（这两步在同一个事务里）

然后处理这N个用户（在另外的事务里）

问题2：如果处理结束出现异常，用户表状态依旧是处理中 怎么办？如何区分是正在处理还是处理异常？

手动更新某个时间点之前的所有处理中为未处理，比如10天前。此时即便两个线程同时处理，由于统计表被锁，也会先后处理，不存在数据安全问题。