前些日子闲逛知乎想找一找黑群晖还能进行什么高级应用,看见某匿名答主写的爬取91视频的代码。
嗯~~小研究了下,确实很不错。但是答主并没有详细介绍如何使用,对于小白有些摸不到头脑。自己研究了一下配置还算简单,介绍下使用教程。
需要一台能访问该网站的VPS或者nas,不能的话那就需要富强上网了。自己写了个各VPS的比较及推荐,仅供参考。
以下以操作系统以ubuntu16.04为例。
首先使用xshell连接到你自己的nas或者vps。
1、更新ap-get
apt-get update2、安装php
apt-get install php-fpm3、验证以下php
php -v
这里看到安装的是php7.0版本
4、安装php curl xml组件
apt-get install php-curl php-xml5、进入你要运行此程序的目录并复制代码
git clone https://github.com/zzjzz9266a/91porn_php6、运行程序(这里根据你的需要运行不同的程序,我这里是91all.php,后面介绍各个程序的功能)
php 91all.php7、运行结果
可以看到此vps下载速度是非常快的。运行程序一定要注意主机的剩余流量哦。
其他说明:
1、当前版本的下载机制是先下到内存里,再存到磁盘上,以防止下载中断导致文件不完整。所以请调整downloader.php中内存的限制,最好在256mb以上,否则有可能出现内存溢出。
ini_set(‘memory_limit‘,‘2048M‘); //调整最大占用内存2、91porn.php是爬取首页的视频,直接运行即可,
php 91porn.php91all.php是爬取列表页的,例如“收藏最多”、“本月最热”等等,要别的列表的话可以去找对应的url。
listPage("http://91porn.com/v.php?category=top&viewtype=basic"); //本月最热listPage("http://91porn.com/v.php?category=mf&viewtype=basic"); //收藏最多listPage("http://91porn.com/v.php?category=md&viewtype=basic"); //本月讨论如果只想下载某一类,再其他listpage前加上#即可。
3、下载后的视频我是通过ftp下载到本地的。
原文地址:https://www.cnblogs.com/dawning666/p/9691707.html