利用nas或者vps爬取91视频

前些日子闲逛知乎想找一找黑群晖还能进行什么高级应用,看见某匿名答主写的爬取91视频的代码。
嗯~~小研究了下,确实很不错。但是答主并没有详细介绍如何使用,对于小白有些摸不到头脑。自己研究了一下配置还算简单,介绍下使用教程。
需要一台能访问该网站的VPS或者nas,不能的话那就需要富强上网了。自己写了个各VPS的比较及推荐,仅供参考
以下以操作系统以ubuntu16.04为例。
首先使用xshell连接到你自己的nas或者vps。
1、更新ap-get
apt-get update2、安装php
apt-get install php-fpm3、验证以下php
php -v
这里看到安装的是php7.0版本
4、安装php curl xml组件
apt-get install php-curl php-xml5、进入你要运行此程序的目录并复制代码
git clone https://github.com/zzjzz9266a/91porn_php6、运行程序(这里根据你的需要运行不同的程序,我这里是91all.php,后面介绍各个程序的功能)
php 91all.php7、运行结果

可以看到此vps下载速度是非常快的。运行程序一定要注意主机的剩余流量哦。
其他说明:
1、当前版本的下载机制是先下到内存里,再存到磁盘上,以防止下载中断导致文件不完整。所以请调整downloader.php中内存的限制,最好在256mb以上,否则有可能出现内存溢出。
ini_set(‘memory_limit‘,‘2048M‘); //调整最大占用内存2、91porn.php是爬取首页的视频,直接运行即可,
php 91porn.php91all.php是爬取列表页的,例如“收藏最多”、“本月最热”等等,要别的列表的话可以去找对应的url。
listPage("http://91porn.com/v.php?category=top&viewtype=basic");        //本月最热listPage("http://91porn.com/v.php?category=mf&viewtype=basic");                //收藏最多listPage("http://91porn.com/v.php?category=md&viewtype=basic");                //本月讨论如果只想下载某一类,再其他listpage前加上#即可。
3、下载后的视频我是通过ftp下载到本地的。

原文地址:https://www.cnblogs.com/dawning666/p/9691707.html

时间: 2024-10-12 04:23:18

利用nas或者vps爬取91视频的相关文章

如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)

前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py文件.我们需要获取的数据是朋友圈和发布日期,因此在这里定义好日期和动态两个属性,如下图所示. 2.修改实现爬虫逻辑的主文件moment.py,首先要导入模块,尤其是要主要将items.py中的WeixinMomentItem类导入进来,这点要特别小心别被遗漏了.之后修改start_requests方

python爬取小视频,看完身体一天不如一天!

Python现在非常火,语法简单而且功能强大,很多同学都想学Python!所以在这里给各位看官们准备了高价值Python学习视频教程及相关电子版书籍,都放在了文章结尾,欢迎前来领取!python爬取小视频记录学习python简单爬虫小程序,记录代码和学习过程环境信息python 2.7.12分析与步骤 要分析网站信息 http://www.budejie.com/video/ 查看网页不同页面的信息http://www.budejie.com/video/2http://www.budejie.

requests爬取梨视频主页所有视频

爬取梨视频步骤: 1.爬取梨视频主页,获取主页所有的详情页链接 - url: https://www.pearvideo.com/ - 1) 往url发送请求,获取主页的html文本 - 2) 解析并提取详情页相对路径video_1637593,与主页拼接即可 - 拼接后获取的是电影详情页url: - detail_url: https://www.pearvideo.com/ + video_1637593 2.往电影详情页发送请求,解析并提取真实视频url--> .mp4后缀的视频url -

爬取梨视频主页所有视频

import requests import re import uuid from concurrent.futures import ThreadPoolExecutor pool = ThreadPoolExecutor(50) # 爬虫三部曲 # 1.发送请求 def get_html(url): print(f'start: {url}...') response = requests.get(url) return response # 2.解析数据 # 解析主页,获取视频详情页ur

Node 爬虫,批量爬取头条视频并保存

项目地址:GitHub 目标网站:西瓜视频项目功能:下载头条号[维辰财经]下的最新20个视频姊妹项目:批量下载美女图集 简介 一般批量爬取视频或者图片的套路是,使用爬虫获得文件链接集合,然后通过 writeFile 等方法逐个保存文件.然而,头条的视频,在需要爬取的 html 文件(服务端渲染输出)中,无法捕捉视频链接.视频链接是页面在客户端渲染时,通过某些 js 文件内的算法或者解密方法,根据视频的已知 key 或者 hash 值,动态计算出来并添加到 video 标签的.这也是网站的一种反爬

Node批量爬取头条视频并保存方法

简介 一般批量爬取视频或者图片的套路是,使用爬虫获得文件链接集合,然后通过 writeFile 等方法逐个保存文件.然而,头条的视频,在需要爬取的 html 文件(服务端渲染输出)中,无法捕捉视频链接.视频链接是页面在客户端渲染时,通过某些 js 文件内的算法或者解密方法,根据视频的已知 key 或者 hash 值,动态计算出来并添加到 video 标签的.这也是网站的一种反爬措施. 我们在浏览这些页面时,通过审核元素,可以看到计算后的文件地址.然而在批量下载时,逐个手动的获取视频链接显然不可取

python爬虫:爬取网站视频

python爬取百思不得姐网站视频:http://www.budejie.com/video/ 新建一个py文件,代码如下: #!/usr/bin/python # -*- coding: UTF-8 -*- import urllib,re,requests import sys reload(sys) sys.setdefaultencoding('utf-8') url_name = [] #url name def get():     #获取源码     hd = {"User-Age

利用wget全量爬取列表明细10万条

1.生成下载分页列表list.txt 1)无法指定分页大小,URL中带页数如p=3,page/1 2)允许指定分页大小,max=100&offset=200,max表示一页显示几条数据,offset表示从第几条后开始显示 通过excel很容易生成一个列表 2.爬取列表页面 wget -b -t 3 -i list.txt --no-cookies,-b在后台抓取,-t重试3次 3.利用正则解析列表明细地址,通过EditPlus正则查找文件夹替换也能搞定,以下为java代码: File dir =

python利用selenium+requests+beautifulsoup爬取12306火车票信息

在高速发展的时代.乘车出远门是必不可少的,有些查询信息是要收费的.这里打造免费获取火车票信息 想要爬取12306火车票信息,访问12306官方网站,输入出发地,目的地  ,时间  之后点击确定,这是我们打开谷歌浏览器开发者模式找到   https://kyfw.12306.cn/otn/resources/js/framework/station_name.js    这里包含了所有城市的信息和所有城市的缩写字母.想要获取火车票信息  https://kyfw.12306.cn/otn/left