第七篇 爬虫挖矿神器看这篇就够了

申明:1.本文所介绍的方法仅供学习使用,严禁用作他用,谢谢配合!

2.本文提及的天天基金app各位数据爱好者请不要过高频率的获取数据,以免影响app的正常使用,在此谢谢大家,坚守技术人的底线,人人有责!

一、本文目的

1.笔者在网上没有找到完整的关于使用iPhone + https + Charles + win系统 的抓包教程,自己花费了大概4h完成了此case的实战

2.让有同样需求的开发、测试同学 在学习此项技能的时候少走弯路节约时间

3.为接下来的基金数据爬取打下环境的基础(毕竟搭建环境只是能算是第0步,但是很多同学就是因为没有搭建好环境而放弃治疗了)

二、抓包使用场景

1.在开发过程中,通常我们会遇到系列问题:

1.1在与后台联调的过程中不断的下断点或者输出 log ,以查看给后台的参数是否正确,后台返回给我们的结果是否有误。打断点耗时,大量输出 log 是代码不够整洁。

1.2 在我们没有修改代码的情况下出现问题,想找出是后台的锅还是我们的锅。

2.在爬虫的开发过程中,通常我们会遇到以下问题:

2.1在寻找发送get/post的某个参数的时候,你畅游在连接的海洋中,但是就是找不见这个参数是从哪里钻出来的。

2.2在分析解决加载页面和参数的时候,我们分不清楚参数的执行顺序的时候,可以用其定位问题。

三、抓包软件

抓包软件有很多比如:?wireshark、Charles、Fiddler?等。我使用过的软件有Charles、Fiddler,一般建议在mac上用Charles、在win 系统上用Fiddler。当然老司机看个人喜好了

四、Charles神器安装及配置过程

1.Charles 软件下载

可以在官网进行下载:https://www.charlesproxy.com/

若想获取永久使用的可以后台回复数字:.

2.删除已经安装的charles证书

(win+r 键执行 certmgr.msc)并删除已安装证书

3.windows 安装https证书(下面的那个证书选择受信任的根证书颁发机构很重要。没有勾选的,就抓不到报文啦)

4.配置软件https

如上操作之后,可以正常获取网络请求;

5. 查看Charles端口:

6.设置iphone手机代理

首先

配置iphone的http抓包

获取当前电脑的ip地址并配置到iphone。如下图配置。

获取电脑的ip地址

配置iphone http代理,这个安装包默认的代理端口是8888

7.配置iphone的https代理

安装证书

在iphone自代浏览器输入:http://chls.pro/ssl

如上配置成功,可以成功抓取移动端请求了。

五、抓包测试

通过以上配置,我们就可以愉快的抓包了,可以进行数据挖矿了,我们的目标依旧就天天基金的app端,为何如此青睐天天基金呢?抓包写爬虫不是目的,我们要的是必要的数据,为后续做量化分析做准备,you know?

总结:

本文通过笔者亲自实践的方式耗时4h完了以上工作,我们的挖矿(基金数据)神器就配置到位了,后续我们就可以在此基础上做扩展了,好了,本期的内容就先分享到这里,未完待续......

当你发现自己的才华撑不起野心时,请安静的坐下来学习吧。

------还是牛

公众号ID:pythonCoder1024扫码关注最新动态

如果你觉得公众号的内容不错,可以推荐于身边的朋友,你的每次肯定和受益都会成为我前进的动力,一起加油!

原文地址:https://www.cnblogs.com/haishiniu123/p/11875344.html

时间: 2024-11-14 13:17:26

第七篇 爬虫挖矿神器看这篇就够了的相关文章

Python3中级玩家:淘宝天猫商品搜索爬虫自动化工具(第一篇)

Python3中级玩家:淘宝天猫商品搜索爬虫自动化工具(第一篇) 一.前言 大家好,今天我要来讲讲一个比较实用的爬虫工具,抓取淘宝的关键字商品信息,即是: 输入关键字,按照价格等排序,抓取列出的商品信息以及下载图片,并且支持导出为Excel. 如果如下: 看完下面的讲解,Python语言就掌握得差不多,中级水平了,而且这个封装后的工具还是很好用的. 感觉自己萌萌哒~~ 二.原理 大家知道什么叫爬虫,它也叫网络蜘蛛,机器人等,意思就是说自动的程序,可以去抓取使用网络协议传输的内容. 目前来讲爬虫主

七周成为数据分析师—Excel函数篇

原文链接 摘要: 本文是<七周成为数据分析师>的第一篇教程,如果想要了解写作初衷,可以先行阅读七周指南.温馨提示:如果您已经熟悉Excel,大可不必再看这篇文章,或只挑选部分. 世界上的数据分析师分为两类,使用Excel的分析师,和其他分析师. 本文是<七周成为数据分析师>的第一篇教程,如果想要了解写作初衷,可以先行阅读七周指南.温馨提示:如果您已经熟悉Excel,大可不必再看这篇文章,或只挑选部分. 世界上的数据分析师分为两类,使用Excel的分析师,和其他分析师.每一个数据新人

大快搜索数据爬虫技术实例安装教学篇

大快搜索数据爬虫技术实例安装教学篇 爬虫安装前准备工作:大快大数据平台安装完成.zookeeper.redis.elasticsearch.mysql等组件安装启动成功. 1.修改爬虫安装配置文件(最好在线下修改好后再上传平台) 2.修改crawler\dkcrw\jdbc.properties配置文件(只修改图片里的内容其他内容默认即可) Hbase.zookeeper.quorum所填地址应在DKM监控平台查看: Redis相关配置看如下界面: 3.把已修改的crawler\dkcrw\下的

【转载】如果有人问你数据库的原理,叫他看这篇文章

原文:如果有人问你数据库的原理,叫他看这篇文章 本文由 伯乐在线 - Panblack 翻译,黄利民 校稿.未经许可,禁止转载!英文出处:Christophe Kalenzaga.欢迎加入翻译组. 一提到关系型数据库,我禁不住想:有些东西被忽视了.关系型数据库无处不在,而且种类繁多,从小巧实用的 SQLite 到强大的 Teradata .但很少有文章讲解数据库是如何工作的.你可以自己谷歌/百度一下『关系型数据库原理』,看看结果多么的稀少[译者注:百度为您找到相关结果约1,850,000个…] 

使用 MyBatis 必看三篇文档导读:MyBatis、MyBatis_Generator 与 MyBatis-Spring

太阳火神的美丽人生 (http://blog.csdn.net/opengl_es) 本文遵循"署名-非商业用途-保持一致"创作公用协议 转载请保留此句:太阳火神的美丽人生 -  本博客专注于 敏捷开发及移动和物联设备研究:iOS.Android.Html5.Arduino.pcDuino,否则,出自本博客的文章拒绝转载或再转载,谢谢合作. 前一篇<使用 MyBatis 必看两篇文档导读:MyBatis 与 MyBatis-Spring>,纯手工配置的框架环境.目前使用 M

[转]如果有人问你数据库的原理,叫他看这篇文章

推荐一篇文章:http://blog.jobbole.com/100349/  --原文出处 一提到关系型数据库,我禁不住想:有些东西被忽视了.关系型数据库无处不在,而且种类繁多,从小巧实用的 SQLite 到强大的 Teradata .但很少有文章讲解数据库是如何工作的.你可以自己谷歌/百度一下『关系型数据库原理』,看看结果多么的稀少[译者注:百度为您找到相关结果约1,850,000个…] ,而且找到的那些文章都很短.现在如果你查找最近时髦的技术(大数据.NoSQL或JavaScript),你

如果有人问你数据库的原理,叫他看这篇文章

一提到关系型数据库,我禁不住想:有些东西被忽视了.关系型数据库无处不在,而且种类繁多,从小巧实用的 SQLite 到强大的 Teradata .但很少有文章讲解数据库是如何工作的.你可以自己谷歌/百度一下『关系型数据库原理』,看看结果多么的稀少[译者注:百度为您找到相关结果约1,850,000个-] ,而且找到的那些文章都很短.现在如果你查找最近时髦的技术(大数据.NoSQL或JavaScript),你能找到更多深入探讨它们如何工作的文章. 难道关系型数据库已经太古老太无趣,除了大学教材.研究文

[ZZ]如果有人问你数据库的原理,叫他看这篇文章

如果有人问你数据库的原理,叫他看这篇文章 http://blog.jobbole.com/100349/ 文章把知识链都给串起来,对数据库做一个概述. 合并排序 阵列.树和哈希表 B+树索引概述 数据库的全局概述 基于成本的优化概述,特别专注了联接运算 缓冲池管理概述 事务管理概述

ASP.NET Core WebApi使用Swagger生成api说明文档看这篇就够了

引言 在使用asp.net core 进行api开发完成后,书写api说明文档对于程序员来说想必是件很痛苦的事情吧,但文档又必须写,而且文档的格式如果没有具体要求的话,最终完成的文档则完全取决于开发者的心情.或者详细点,或者简单点.那么有没有一种快速有效的方法来构建api说明文档呢?答案是肯定的, Swagger就是最受欢迎的REST APIs文档生成工具之一! 为什么使用Swagger作为REST APIs文档生成工具 Swagger 可以生成一个具有互动性的API控制台,开发者可以用来快速学