JAVA 集合框架优化之list.removeAll大数据量优化

今天在公司做项目需要求两个集合的补集,考虑到collection类有removeAll方法,决定采用这种方式;结果程序一直卡在那儿不动了;

数据量是两个集合的数据差不多都有60万,直接导致程序处于假死状态(程序当然是还在运行);

出现问题始终要解决的,我又给程序修改为先用retainAll求交集,然后再removeAll的方式,效果不明显(事实是也假死了),我的应用场景还要求实时性,没办法只能从其他方面找寻思路了;

  • 既然removeAll执行效率低,我就改成循环remove试试看,结果是效率上有了一定的提升(在此需要注意list要倒序循环,因为remove是删除了下标,删除了之后后边的元素会前移),但是效果仍然不明显;
  • 另外一种是采用Iterator迭代器,这种方式我们仅需要对iterator进行循环,然后对需要删除的元素执行iterator.remove(iterator.next()),而无需关注下标的问题;

结合list的特性,LinkedList插入更新效率高,ArrayList查询效率高,对这里的使用场景我们显然需要将集合转换成LinkedList

以下是我对list的优化工具类,执行结果较其他方法不是一个数量级的提升!,代码如下

package com.wyg.collection;

import java.util.List;
import java.util.LinkedList;
import java.util.HashSet;
import java.util.Iterator;

public class RemoveAllProfile{
	public static List removeAll(List src,List oth){
		LinkedList result = new LinkedList(src);//大集合用linkedlist
		HashSet othHash = new HashSet(oth);//小集合用hashset
		Iterator iter = result.iterator();//采用Iterator迭代器进行数据的操作
		while(iter.hasNext()){
			if(othHash.contains(iter.next())){
				iter.remove();
			}
		}
		return result;
	}
}
时间: 2024-12-27 16:15:13

JAVA 集合框架优化之list.removeAll大数据量优化的相关文章

黑马程序员——JAVA集合框架学习总结

------Java培训.Android培训.iOS培训..Net培训.期待与您交流! ------- www.itheima.com 要学好java的集合框架,必须掌握此图: Java集合框架很全面,从大的来说.它包括两种类型: 1.一种是以collection为根接口的集合. 2.另一种是由map为根接口的<key,value>的“图”. 而collection之下的set接口和list接口又有不同: 1.Set 接口继承 Collection,但不允许重复,使用自己内部的一个排列机制.

任何抛开业务谈大数据量的sql优化都是瞎扯

周三去某在线旅游公司面试.被问到了一个关于数据量大的优化问题.问题是:一个主外键关联表,主表有一百万数据,外键关联表有一千万的数据,要求做一个连接. 本人接触过单表数据量最大的就是将近两亿行历史数据(某运营商一业务一年数据)做查询,所有查询相关列必须做索引,而且还要保证不会出现全表扫描情况.也从来没有试过把这么多数据全部拿出来放内存中.只好回答说“再怎么做优化估计都不行,这数据量太大了,性能肯定吃不销.我只能告诉尽可能的添加过滤条件,不要一次用这么多的数据来做连接,能分批做就分批做吧”. 面试人

Access数据库大数据量的相关测试分析

[e良师益友网]在使用Access 数据库无须开专门的数据库空间,调用,迁移也方便,节省费用.另外对网站搭建者的专业能力要求也相对低一些.但随着网站的运行,数据库体积越来越大,数据 量也从最初的几百条到了现在的上万条,上十万条甚至更多.于是因数据应用级别的改变带来的各种各样的应用问题出现了.而其中大数据量的列表分页效率问题更 是让很多人头疼.小编我随便通过“大数据量分页效率”,“access 分页”等关键词分别百度一下,发现有此疑问的大有人在.很多网页上也给出了不同的解决办法.那么,这些方法到底

使用OPENROWSET、Microsoft.ACE.OLEDB实现大数据量的高效导入

首先说明使用的环境是:java和Sqlserver. 最近公司需要进行大数据量的导入操作.原来使用的是Apache POI,虽然可以实现功能,但是因为逻辑处理中需要进行许多校验,处理速度太慢,使用多线程之后也不尽如人意.在网上搜索之后,找到了OPENROWSET和OPENDATASOURCE,发现使用OPENROWSET,可以非常快速的把Excel导入到数据库中.之后的各种校验,我可以通过编写sql来实现.最终结果是6w条数据可以在10秒内完成.当然数据量增加之后,完成时间并不会明显增加.这需要

JAVA集合框架

收藏 查看我的收藏 146有用+1 56 编辑 Java,是由Sun Microsystems公司于1995年5月推出的Java程序设计语言和Java平台的总称.用Java实现的HotJava浏览器(支持Java applet)显示了Java的魅力:跨平台.动态的Web.Internet计算.从此,Java被广泛接受并推动了Web的迅速发展,常用的浏览器现在均支持Java applet.集合框架是为表示和操作集合而规定的一种统一的标准的体系结构.任何集合框架都包含三大块内容:对外的接口.接口的实

java集合框架详解

前言: 数据结构对程序设计有着深远的影响,在面向过程的C语言中,数据库结构用struct来描述,而在面向对象的编程中,数据结构是用类来描述的,并且包含有对该数据结构操作的方法. 在Java语言中,Java语言的设计者对常用的数据结构和算法做了一些规范(接口)和实现(具体实现接口的类).所有抽象出来的数据结构和操作(算法)统称为Java集合框架(JavaCollectionFramework). Java程序员在具体应用时,不必考虑数据结构和算法实现细节,只需要用这些类创建出来一些对象,然后直接应

Java基础19:Java集合框架梳理

Java基础19:Java集合框架梳理 在编写java程序中,我们最常用的除了八种基本数据类型,String对象外还有一个集合类,在我们的的程序中到处充斥着集合类的身影! java中集合大家族的成员实在是太丰富了,有常用的ArrayList.HashMap.HashSet,也有不常用的Stack.Queue,有线程安全的Vector.HashTable,也有线程不安全的LinkedList.TreeMap等等! 上面的图展示了整个集合大家族的成员以及他们之间的关系.下面就上面的各个接口.基类做一

Java—集合框架List

集合的概念 现实生活中:很多的事物凑在一起 数学中的集合:具有共同属性的事物的总和 Java中的集合类:是一种工具类,就像是容器,存储任意数量的具有共同属性的对象 集合的作用 在类的内部,对数据进行组织(针对作用与意义一样的属性,将他们放到一个集合中) 简单而快速的搜索大数量的条目 有的集合接口,提供了一系列排列有序的元素,并且可以在序列中快速的插入或删除有关元素 有的集合接口,提供了映射关系,可以通过关键字(key)去快速查找到对应的唯一对象,而这个关键字可以是任意类型 与数组相比 数组的长度

java集合框架22

思想:在面向对象的思想里,一种数据结构被认为是一种容器.在本质上来讲是一个类,提供方法支持查找,插入和删除等等操作. Java集合框架支持以下俩种类型的容器: 存储一个元素集合,简称为集合Collection 存储键值对,称为图Map 集合collection 三种主要类型 : 规则集(set) , 线型表(List) , 队列(Queue) set: 存储一组不重复的数据 List: 存储由元素构成的有序集合 Queue: 存储先进先出方式处理的对象 细说Collection接口: 它是处理对