关于导入数据到Excel中对数据库进行去重以及对导入的Excel文件进行去重

插入到数据库去重:

1.将你循环读取的List进行遍历

2.在你即将插入到数据库的方法之前获取你需要查询的数据,执行查询方法

1 devList=deviceDao.findDevice(device.getRfid());
2              if(devList.size()>0){
3                       messageStr = "数据重复,请重新导入!";
4
5              }else{
6                        deviceDao.save(device);
7                         messageStr = "数据导入成功!";
8                     }

对导入的Excel文件去重:

(1)循环List中的元素对于重复的进行删除

1 //循环读取的devList
2 for  ( int  i  =   0 ; i  <  devList.size()  -   1 ; i ++ )  {
3       for  ( int  j  =  devList.size()  -   1 ; j  >  i; j -- )  {
4            if  (devList.get(j).equals(devList.get(i)))  {
5              devList.remove(j);
6             }
7         }
8       }        

(2)通过HashSet去除重复元素

1 //同上,list为获取到Excel数据的list
2 HashSet h = new HashSet(list);
3 list.clear();
4 list.addAll(h);

(3)遍历List,看数据是否存在,使用contain

1         List listTemp = new ArrayList();
2         for(int i=0;i<list.size();i++){
3             if(!listTemp.contains(list.get(i))){
4                 listTemp.add(list.get(i));
5             }
6         }  
时间: 2024-12-30 03:27:01

关于导入数据到Excel中对数据库进行去重以及对导入的Excel文件进行去重的相关文章

mysql导入数据到oracle中

mysql导入数据到oracle中. 建立Oracle表: CREATE TABLE "GG_USER" ( "USERID" VARCHAR2(255 BYTE) NOT NULL, "ISPART" VARCHAR2(255 BYTE) DEFAULT NULL, "ACTUALPOSITIONID" NUMBER(11) DEFAULT NULL, "BEGINWORKTIME" TIMESTAMP(

使用sqoop1.4.4从oracle导入数据到hive中错误记录及解决方案

在使用命令导数据过程中,出现如下错误 sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.29.16:1521/testdb --username NAME --passord PASS --verbose -m 1 --table T_USERINFO 错误1:File does not exist: hdfs://opt/sqoop-1.4.4/lib/commons-io-1.4.jar FileNotFoundEx

实现excel导入导出功能,excel导入数据到页面中,页面数据导出生成excel文件

今天接到项目中的一个功能,要实现excel的导入,导出功能.这个看起来思路比较清楚,但是做起了就遇到了不少问题. 不过核心的问题,大家也不会遇到了.每个项目前台页面,以及数据填充方式都不一样,不过大多都是以json数据填充的.在导入excel填充json数据到页面时,真的让我差点吐血了.在做这个导入导出的时候,那一个礼拜都是黑暗的. 好了,废话不多说了,我今天就给大家展示这个两个功能的核心点,excel生成json数据和json数据生成excel文件. 一:从上传文件到服务器,后台java解析,

从MySQL中导入数据到MongoDB中

从sql中导出需要的数据为csv格式的数据 select field1,field2,...,fieldn from TABLE into outfile '/test.csv' fields terminated by ',' optionally enclosed by "" escaped by "" lines terminated by '\r\n'; 将test.csv数据导入到mongodb中,本人使用的是mongodb-3.2 mongoimport

sql server sql语句导入数据到execl2007中

insert into OPENROWSET('Microsoft.ACE.OLEDB.12.0','Excel 12.0;Database=C:\c.xlsx','select 字段1,字段2 FROM [sheet1$]')  select 字段1,字段2 from table 今天单位一ASP.NET网站,里面有个功能是导出数据,发现一导出就报错,报错内容是:SQL Server 阻止了对组件 'Ad Hoc Distributed Queries' 的 STATEMENT'OpenRow

c#如何实现excel导入到sqlserver,如何实现从sqlserver导出到excel中(详细)

对于从sqlserver中导入.导出excel,虽然sqlserver已经给了较为简单的方式,通过交互式的对话框形式实现,但是有时这种方式存在的很多问题,比方说导入.导出数据不全.而且,对于一个项目而言,我们都不希望功能的实现离开该软件程序.因此,我们便想着用程序来实现sqlserver的导入导出. 一.从sqlserver中导出excel表 我们将查出的数据首先要保存到数据表中DataTable,这里我就不具体说明如何从查出结果,存放到DataTable中了,相信网上有很多实现的例子. 接下拉

C#在listview控件中显示数据库数据

一.了解listview控件的属性 view:设置为details columns:设置列 items:设置行 1.将listview的view设置为details 2.设置列属性 点击添加,添加一列 设置一列的Text属性,这就是列名 添加三列 3.编辑items属性,添加一行数据 编辑Text属性,添加一行的第一个数据 编辑subitems属性,添加一行中的其他数据 添加两个数据 填写结果 二.在listview中显示数据库数据 //在listview中显示数据库数据 private voi

SQL Server导入数据时“启用标示插入”详解

在SQL Server中导入数据时,会有一个"启用标示插入"的选项,突然间懵逼了,这到底啥意思?我选与不选这个选项,结果好像没区别!不科学啊这,"存在即合理",我相信这个选项肯定有它的用处,只是我不知道罢了. 于是我去查资料,在CSDN论坛里找到了可能的解释: 1)首先:"启用标示插入"只对标示列(identity定义的列)起作用.所以如果你要使用这个功能,肯定得有标示列了.我当时狂晕的地方在于,我没在数据库创建表,而是直接在导入数据的过程中创建

SQL点滴32—Excel中CONCATENATE函数生成SQL语句

原文:SQL点滴32-Excel中CONCATENATE函数生成SQL语句 当拿到一个Excel的时候需要将这里面的数据插入到数据库里面,该怎么办,除了使用SSIS数据导入之外还可以使用Excel中的CONCATENATE函数,这个有点技巧,第一次使用的时候可能会让你有点困惑.如果我们理解这个函数的定义就不难了. 定义 CONCATENATE 函数可将最多 255 个文本字符串合并为一个文本字符串.联接项可以是文本.数字.单元格引用或这些项的组合.例如,如果您的工作表的单元格 A1 中包含某个人