神箭手爬虫学习笔记（二）

一，可以使用神剑手已经做好的爬虫市场直接跑，不需要自己定义爬取规则

二，爬虫市场里没有的网站，需要自己去定义规则来爬数据。

三，爬取的数据可以先存放在神剑手，也可以放到七牛暂存。（提醒下，网站需要数据备份如果数量不大可以到七牛做备份，有免费版）

四，爬取的数据可以直接发布到数据库，也可以发布到具有支持神剑插件的网站。可以手动发布，也可以自动发布。

五，可以使用代理IP，防封

六：常用的几个辅助工具：http://docs.shenjianshou.cn/develop/tools/tools.html

------------------------------------------------------------------------------------------------------

如何写规则

<1>  定义config 对象，运行config对象

<2> 需要掌握Xpath,Jsonpath,正则表达式

-------------------------------------------------------------------------------------------------------

恶补下正则表达式吧