Python 爬虫 大量数据清洗 ---- sql语句优化

1. 问题描述
    在做爬虫的时候，数据量很大，大约有五百百万条数据，假设有个字段是conmany_name（拍卖公司名称）,我们现在需要从五百万条数据里面查找出来五十家拍卖公司，　　并且要求字段 time（时间） 大于7月一号，小于10月31号。
2. 问题解决

    我们首先想到的解决办法是添加索引，对拍卖公司字段添加索引，但是因为日期是大于7月1号，小于10月31号，在这里用索引的效率很低，　　并且要重复的查询出来五十家公司，效率很低，有没有好的解决方案呢？？？
3.解决问题思路
    1.查询五百条数据，我们会发现内存不够用，这时候我们只查询一百万条数据，分五次处理完毕。

    2.因为这一百万条数据在内存中，把这一百万条数据放到list中去，同时把五十家拍卖公司组合成字符串，然后for循环每一条数据，　　　　比较拍卖公司是否在字符串中，比较日期是否大于7月一号，小于10月31号。这样去处理，避免数据查询的速度慢。提高数据处理效率。

4.感想： 好的解决问题的思路胜过好的解决问题的人


				


				
时间： 2024-08-29 17:51:20 

		


		


	

	
	

		


		
Python 爬虫   大量数据清洗 ---- sql语句优化的相关文章


								

		

			

                SQL语句优化技术分析
			

		

		

									

				摘自  http://www.cnblogs.com/wxj1020/archive/2008/04/27/1173638.html 最近几周一直在进行数据库培训,老师精湛的技术和生动的讲解使我受益匪浅.为了让更多的新手受益,我抽空把SQL语句优化部分进行了整理,希望大家一起进步. 一.操作符优化 1.IN 操作符 用IN写出来的SQL的优点是比较容易写及清晰易懂,这比较适合现代软件开发的风格.但是用IN的SQL性能总是比较低的,从Oracle执行的步骤来分析用IN的SQL与不用IN的SQL有以			

		

	

				

		

			

                Mysql性能优化----SQL语句优化、索引优化、数据库结构优化、系统配置优化、服务器硬件优化
			

		

		

									

				一.SQL语句优化 1-1.MySQL慢日志 1).慢日志开启方式和存储格式 如何发现有问题的SQL? 使用Mysql慢日志对有效率问题的SQL进行监控 前期准备 mysql> show variables like '%log_queri%'; +-------------------------------+-------+ | Variable_name | Value | +-------------------------------+-------+ | log_queries_no			

		

	

				

		

			

                MySQL之SQL语句优化
			

		

		

									

				一 SQL语句优化的一般步骤: 1 通过show status命令了解各种SQL语句的执行频率 mysql> show status;                #show status:显示服务器状态信息 +-----------------------------------------------+-------------+ | Variable_name                                 | Value       | +---------------			

		

	

				

		

			

                小贝_mysql sql语句优化过程
			

		

		

									

				sql语句优化 一.SQL优化的一般步骤 (1).通过show status命令了解各种SQL的执行频率. (2).定位执行效率较低的SQL语句-(重点select) (3).通过explain分析低效率的SQL语句的执行情况 (4).确定问题并采取相应的优化措施 (1) 通过showstatus命令了解各种SQL的执行频率 MySQL客户端连接成功后,通过使用show[session|global] status 命令可以提供服务器状态信息.其中的session来表示当前的连接的统计结果,gl			

		

	

				

		

			

                Oracle SQL语句优化34条
			

		

		

									

				非常好用的SQL语句优化34条 1)选择最有效率的表名顺序(只在基于规则的优化器中有效): ORACLE 的解析器按照从右到左的顺序处理FROM子句中的表名,FROM子句中写在最后的表(基础表 driving table)将被最先处理,在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基 础表.如果有3个以上的表连接查询, 那就需要选择交叉表(intersection table)作为基础表, 交叉表是指那个被其他表所引用的表. (2) WHERE子句中的连接顺序．: ORACL			

		

	

				

		

			

                Oracle Sql语句优化
			

		

		

									

				1.最高效的删除重复记录方法 (因为使用了ROWID)   例子:  DELETE FROM  EMP E  WHERE  E.ROWID > (SELECT MIN(X.ROWID) FROM  EMP X  WHERE  X.EMP_NO = E.EMP_NO); 2.在含有子查询的 SQL 语句中 , 要特别注意减少对表的查询   例子:  SELECT TAB_NAME FROM TABLES WHERE (TAB_NAME,DB_VER) = (SELECT TAB_NAME,DB_V			

		

	

				

		

			

                对SQL语句优化的思考
			

		

		

									

				软件在研发的过程中自始至终都在留意着系统的可扩展性,但与此同时也在关注着系统的性能,SQL语句作为系统性能的一环不容忽视,从今天开始结合开发的经验,谈一下我对SQL语句优化的理解和认知: 1.在联合查询语句中做到小表驱动大表: 联合查询是常用到的一种查询方式,左连接.右连接.内连接等等时不时地被应用在查询语句中,然而在这一过程中如果能判明各表的数据量,那就再好不过了,在这种情况下from后面应该紧跟数据量小的表,为什么?呵呵呵,比如a表有1000条数据,b表有20条数据,使用左连接进行联合查询如			

		

	

				

		

			

                Python 操作文件模拟SQL语句功能
			

		

		

									

				Python操作文件模拟SQL语句功能 一.需求 当然此表你在文件存储时可以这样表示 1,Alex Li,22,13651054608,IT,2013-04-01 现需要对这个员工信息文件,实现增删改查操作 1. 可进行模糊查询,语法至少支持下面3种: 1. select name,age from staff_table where age > 22 2. select * from staff_table where dept = "IT" 3. select * from			

		

	

				

		

			

                Oracle大数据SQL语句优化
			

		

		

									

				1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描, 如: select id from t where num is null    可以在num上设置默认值0,确保表中num列没有null值,然后这样查询: select id from t where num=0 3.应尽量避免在 where 子句中使用!=或<>操作符,否则