网络爬虫能够从网站某1个网页页面(通常是首页)开始，读取网页的信息，找到在网页中的其它链接地址，之后经由这些链接地址寻找下1个网页，这样一直循环下去，直到把这个网站所有的网页都爬取完为止。
学好网络爬虫的原因
学好网络爬虫，能够私人订制1个搜索引擎，而且能够对搜索引擎的数据采集工作原理举行更深层次地理解。
学好网络爬虫能够获取更多的数据源。这些数据源能够按我们的目的举行采集，去掉很多无关数据。
对于很多SEO从业者来说，学好网络爬虫，能够更深层次地理解搜索引擎网络爬虫的工作原理，从而能够更好地举行搜索引擎优化。
学好网络爬虫更有钱景。网络爬虫工程师是当前紧缺人才，而且薪资待遇普遍较高，所以，深层次地掌握这门技术，对于就业来说，是非常有利的。
网络爬虫能用来干什么?八仙过海各显神通。
@陈群
上次发现Android QQ和iOS QQ能够显示网络状态(2G/WiFi)之后，突然想到，这样子好像能够监视某人的出行和作息规律。简单的来说，在家里或者工作的地方，一般是有WiFi的，之后出门了，WiFi就断掉了。如果监测频率足够频繁，那么结合一定的推理，能够大致推测出1个人的行动。如果长期监视，那么能够大致推出1个人的作息时间。
因为只有Android QQ和iOS QQ有这个功能，所以要得到1个人的网络状态比较麻烦。我的做法是跑 Android 模拟器。之后用按键精灵模拟，并把网络状态截图，用 curl post到服务器上。服务器会把每次发送的时间、截图保存下来。因为是用程序截图的，所以只要网络状态是一样的，那么截图就是一样的，这样服务器就只会保存2~3张图片而已，其余的发现是相同的图片，数据库做个标记就好了。之后人工做OCR，还是注意到只有2~3张图片，所以工作量很少。
得到数据后，要做各种统计就能够自己搞了……
@杨森
在用Python写网页网络爬虫之前，我只用来写过了1个驾校约车的脚本，让当时的我不惧上万的学车同僚，在约车环节没有输在起跑线上。
接着那段时间，我女朋友的领导每天下班都会下任务，要收集100条有招聘需求的信息，第二天检查。看到她熬夜百度+复制粘贴到半夜，心疼死了。
想到了某个牛人说:一切重复性的工作都能够用程序来完成。于是偷偷花了些时间研究了下她经常查的某些同类业务网站的网页页面数据，培育了这只网络爬虫。主要技能就是爬这些网站的招聘公司信息及联系方式，保存到Excel中。
在我将战斗成果----1000多个客户资料的Excel表格发给她的时候，先惊喜，后审问，再感慨!依稀记得那天她发了一条朋友圈，信息是：“有个程序员男朋友，感觉好幸福啊!!”成就感走直线啊，都能让她感到幸福，你说这只网络爬虫是不是做了很酷很有趣的事情呢?
@ animali
用网络爬虫技术做了个个人信息收集系统，部署在卡片式电脑(如树莓派、Cubieboard)上。
为什么Python更适合网络爬虫
C，C++。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长
脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页信息的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
C#?(貌似信息管理的人比较喜欢的语言)
因为写网络爬虫是一边写，一边测试。测试不过再改改。这个过程用 python 写起来最方便。
Python 有 scrapy 这样成熟的框架，我们大可不必自己从0开始
即使从0开始，以 Python 简洁的语法和一大波成熟的库，写起来相当的快。
可见网络爬虫应用之广泛和重要，但是网络爬虫的运行少不了代理IP的辅助，大家在选择代理ip的时候千万要用心哦~——太阳换ip软件
原文地址：http://blog.51cto.com/14059916/2339143