MYSQL 删除重复记录,只保留最大ID

table : productprice

table column : id ,productAsin ...

同一个productAsin 只保留最近的那条,即只保留ID 最大的.

第一步: 查出有重复的记录和最大的id

SELECT productAsin,MAX(id) maxId 
FROM productprice GROUP BY productAsin HAVING COUNT(id) >= 2)
tempt

第二步:查出在重复记录的,并且小于最大的id

SELECT productprice.id AS id FROM 
  productprice productprice,(SELECT productAsin,MAX(id) maxId 
  FROM productprice  GROUP BY productAsin HAVING COUNT(id) >= 2)
  tempt
WHERE productprice.productAsin = tempt.productAsin 
AND productprice.id < tempt.maxId

第三步:删除

DELETE FROM productprice WHERE id IN (
SELECT tempout.id FROM 
(
SELECT productprice.id AS id FROM 
productprice productprice,(SELECT productAsin,MAX(id) maxId 
FROM productprice  GROUP BY productAsin HAVING COUNT(id) >= 2)
tempt
WHERE productprice.productAsin = tempt.productAsin
AND productprice.id < tempt.maxId) tempout) 
;

临时表 tempout 是为了防止MYSQL ERROR :

// MYSQL ERROR : Error Code: 1093. You can‘t specify target table ‘productprice‘ for update in FROM clause

example : productprice 表 同一天,同一个productAsin 只保留ID最大的那条

DELETE FROM productprice WHERE id IN (
SELECT tempout.id FROM 
(
SELECT productprice.id AS id FROM 
productprice productprice,(SELECT productAsin,DATE_FORMAT(createdDate,‘%Y-%m-%d‘) AS tempDate,MAX(id) maxId 
FROM productprice  GROUP BY DATE_FORMAT(createdDate,‘%Y-%m-%d‘),productAsin HAVING COUNT(id) >= 2)
tempt
WHERE productprice.productAsin = tempt.productAsin AND DATE_FORMAT(productprice.createdDate,‘%Y-%m-%d‘) = tempt.tempDate
AND productprice.id < tempt.maxId)tempout) 
;

时间: 2024-12-17 21:12:26

MYSQL 删除重复记录,只保留最大ID的相关文章

MySQL删除重复记录只保留一条

删除表中重复记录,只保留一条: delete from 表名 where 字段ID in (select * from (select max(字段ID) from 表名 group by 重复的字段 having count(重复的字段) > 1) as b); 实例:2.当想要为某一个表建立一个唯一索引,由于表中有重复记录而无法进行时,需要删除重复记录.例表 dept id_no id_name 100 'AAA' 101 'BBB' 102 'CCC' 103 'DDD' 100 'EEE

Mysql删除重复记录,保留id最小的一条

mysql 查询重复字段,及删除重复记录的方法MySQL, 数据库, 数据库, 字段, 服务器数据库中有个大表,需要查找其中的名字有重复的记录id,以便比较.如果仅仅是查找数据库中name不重复的字段,很容易:SELECT min(`id`),`name` FROM `table` GROUP BY `name`; 但是这样并不能得到说有重复字段的id值.(只得到了最小的一个id值)查询哪些字段是重复的也容易:SELECT `name`,count(`name`) as count FROM `

【转】SQL删除重复记录,只保留其中一条

SQL:删除重复数据,只保留一条用SQL语句,删除掉重复项只保留一条在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢 1.查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断 select * from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1) 2.删除表中多余的重复记录,重复记录是根据单个字段(p

MySQL删除重复数据只保留一条

面试碰到一个MySQl的有趣的题目,如何从student表中删除重复名字的行,并保留最小id的记录? 很遗憾当时没有做出来,回家搜索了一番,发现利用子查询的可以很快解决. 1.删除表中多余的重复记录,重复记录是username判断,只留有id最小的记录 delete from studentwhere username in ( select username from studentgroup by username having count(username)>1) and id not i

Mysql 删除重复数据只保留id最小的

DELETE FROM 表 WHERE id NOT IN ( SELECT id FROM ( SELECT min(b.id) AS id FROM 表 b GROUP BY b.重复字段 ) b )

mysql 删除重复记录语句

mysql 根据条件删除重复记录 只保留最小id的重复数据 DELETEFROM newsWHERE news_id IN ( SELECT a.news_id FROM ( SELECT news_id FROM news WHERE flag = 1 GROUP BY news_id HAVING count(news_id) > 1 ) a )AND posid NOT IN (SELECT b.posid from ( SELECT min(posid) as posid FROM ne

mysql 删除重复记录

mysql删除重复记录的原理是: 将需要比较的列放到group by后,取出主键的最小值,再删除不在这个临时表主键的行 命令行格式如下 delete from users  where id not in ( select id from ( select min(id)  from users group by name,sex )  as tmp); 需要比较的列是name和sex,取出id后再从users表中取出id查看该id是否在临时表中存在,不存在则删除掉.

160802、1.06s删除10w条重复记录只保留一条(mysql)及linux删除乱码文件

上次发表过的一遍删除重复记录的文章,其中最优的方案三删除1w条也花了0.07秒而2w条就已经花掉了4秒.今天进行了进一步优化,测试删除10w条只花了1.06秒.速度提升了很多. 建表语句 CREATE TABLE `test_user` ( `id` INT(10) NOT NULL DEFAULT '0', `namea` VARCHAR(40) NOT NULL, `nameb` VARCHAR(40) NOT NULL, `user_id` VARCHAR(40) NOT NULL, PR

MySQL中删除重复数据只保留一条

用SQL语句,删除掉重复项只保留一条 在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢 1.查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断 SELECT * FROM people WHERE peopleId IN ( SELECT peopleId FROM people GROUP BY peopleId HAVINGcount(peopleId) > 1 ) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1 2 3