python爬虫:爬取百度云盘资料,保存下载地址、链接标题、链接详情

在网上看到的教程,但是我嫌弃那个教程写的乱(虽然最后显示我也没高明多少,哈哈),就随手写了一个

主要是嫌弃盘搜那些恶心的广告,这样直接下载下来,眼睛清爽多了。

用pyinstall 打包成EXE文件,就可以安安静静的下载东西了。。。。

#refer:http://upvup.com/html/python/2015-12-13/21.html

#!/usr/bin/python# -*- encoding:utf-8 -*-

import requestsfrom bs4 import BeautifulSoupimport sysreload(sys)sys.setdefaultencoding(‘utf-8‘)

def yunpan_search(key):    url=‘http://www.wangpansou.cn/s.php?q=‘+key    html=requests.get(url)    soup=BeautifulSoup(html.text,"lxml")    url_get=soup.find_all(‘a‘,{‘class‘:‘cse-search-result_content_item_top_a‘})    info_get=soup.find_all(‘div‘,{‘class‘:‘cse-search-result_content_item_mid‘})    f = open(‘baidu_source.txt‘,‘w‘)    for i in range(len(url_get)):        href=url_get[i][‘href‘]        title=‘‘        for c in url_get[i].children:            title+=c.string.strip()

        information=‘‘        for info in info_get[i].children:            information+=info.string.strip().replace(‘\n‘,‘‘)

        print str(i+1)+‘_________________________________________________________________________________________________‘        print ‘下载地址--‘+href+‘\n‘+‘链接标题--‘+title+‘\n‘+‘链接详情--‘+information+‘\n\n‘        f.write(str(i+1)+‘. _____________________________________________________________________\n‘)        f.write(‘下载地址--‘+href+‘\n‘+‘链接标题--‘+title+‘\n‘+‘链接详情--‘+information+‘\n\n‘)    f.close()

if __name__==‘__main__‘:    key=raw_input(‘please input what you want to look for:‘)    yunpan_search(key)    print(‘finish‘)
时间: 2024-12-23 04:44:20

python爬虫:爬取百度云盘资料,保存下载地址、链接标题、链接详情的相关文章

python爬虫--爬取某网站电影下载地址

前言:因为自己还是python世界的一名小学生,还有很多路要走,所以本文以目的为向导,达到目的即可,对于那些我自己都没弄懂的原理,不做去做过多解释,以免误人子弟,大家可以网上搜索. 友情提示:本代码用到的网址仅供交流学习使用,如有不妥,请联系删除. 背景:自己有台电脑要给老爸用,老爷子喜欢看一些大片,但是家里网络环境不好,就想批量下载一些存到电脑里.但是目前大部分的网站都是这样的, 需要一个个地点进去,才能看到下载地址 如果我要下载100部电影,那肯定手都要点断了,于是便想把这些地址给爬取出来,

Python爬虫-爬取照片并保存

"""请求网页""" import requests import re import time import os headers={ 'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537' } response=requests.get('https://w

Python爬虫爬取博客园并保存

Python爬虫爬取博客园并保存        爬取博客园指定用户的文章修饰后全部保存到本地 首先定义爬取的模块文件: crawlers_main.py 执行入口 url_manager.py url管理器 download_manager.py 下载模块 parser_manager.py html解析器(解析html需要利用的内容) output_manager.py 输出html网页全部内容文件(包括css,png,js等) crawlers_main.py 执行入口 1 # coding

python爬虫—爬取英文名以及正则表达式的介绍

python爬虫—爬取英文名以及正则表达式的介绍 爬取英文名: 一.  爬虫模块详细设计 (1)整体思路 对于本次爬取英文名数据的爬虫实现,我的思路是先将A-Z所有英文名的连接爬取出来,保存在一个csv文件中:再读取csv文件当中的每个英文名链接,采用循环的方法读取每一个英文名链接,根据每个英文名链接爬取每个链接中的数据,保存在新的csv文件当中. 需要写一个爬取英文名链接的函数.将爬取的内容保存在csv文件的函数以及读取csv文件内容的函数.爬取英文名详情页内容的函数. 表5.3.1 函数名

用Python爬虫爬取广州大学教务系统的成绩(内网访问)

用Python爬虫爬取广州大学教务系统的成绩(内网访问) 在进行爬取前,首先要了解: 1.什么是CSS选择器? 每一条css样式定义由两部分组成,形式如下: [code] 选择器{样式} [/code] 在{}之前的部分就是"选择器"."选择器"指明了{}中的"样式"的作用对象,也就是"样式"作用于网页中的哪些元素.可参考:http://www.w3school.com.cn/cssref/css_selectors.asph

python爬虫爬取csdn博客专家所有博客内容

python爬虫爬取csdn博客专家所有博客内容: 全部过程采取自动识别与抓取,抓取结果是将一个博主的所有 文章存放在以其名字命名的文件内,代码如下 结果如下: 版权声明:本文为博主原创文章,未经博主允许不得转载.

python爬虫爬取美女图片

python 爬虫爬取美女图片 #coding=utf-8 import urllib import re import os import time import threading def getHtml(url): page = urllib.urlopen(url) html = page.read() return html def getImgUrl(html,src): srcre = re.compile(src) srclist = re.findall(srcre,html)

python爬虫爬取微博评论案例详解

这篇文章主要介绍了python爬虫爬取微博评论,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧 数据格式:{"name":评论人姓名,"comment_time":评论时间,"comment_info":评论内容,"comment_url":评论人的主页} 以上就是我们需要的信息. 具体操作流程: 我们首相将主页获取完成以后,我们就会发现,其中 的内容带有相

Java爬虫爬取 天猫 淘宝 京东 搜索页和 商品详情

Java爬虫爬取 天猫 淘宝 京东 搜索页和 商品详情 先识别商品url,区分平台提取商品编号,再根据平台带着商品编号爬取数据. 1.导包 <!-- 爬虫相关Jar包依赖 --> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml</artifactId> <version>3.10-FINAL</version> </