python抓取bing主页背景图片

最初Python2写法:

#!/usr/bin/env python

# -*- coding:utf-8 -*-

# -*- author:nancy -*-

# python2抓取bing主页所有背景图片

import urllib,re,sys,os

def get_bing_backphoto():

if (os.path.exists(‘photos‘)== False):

os.mkdir(‘photos‘)

for i in range(0,1000):

url = ‘http://cn.bing.com/HPImageArchive.aspx?format=js&idx=‘+str(i)

+‘&n=1&nc=1361089515117&FORM=HYLH1‘

html = urllib.urlopen(url).read()

if html == ‘null‘:

print ‘open & read bing error!‘

sys.exit(-1)

reg = re.compile(‘"url":"(.*?)","urlbase"‘,re.S)

text = re.findall(reg,html)

#http://s.cn.bing.net/az/hprichbg/rb/LongJi_ZH-CN8658435963_1366x768.jpg

for imgurl in text:

right = imgurl.rindex(‘/‘)

name = imgurl.replace(imgurl[:right+1],‘‘)

savepath = ‘photos/‘+ name

urllib.urlretrieve(imgurl, savepath)

print name + ‘ save success!‘

get_bing_backphoto()

Python3与Python2的错误调整:

TypeError: can‘t use a string pattern on a bytes-like object

原因为Python3 findall数据类型用bytes类型,因此在正则表达式前应添加html = html.decode(‘utf-8‘)。

“AttributeError: ‘module‘ object has no attribute ‘urlopen‘”

原因是Python3里的urllib模块已经发生改变,此处的urllib都应该改成urllib.request。

由于bing图片对外接口的图片json格式变了,python第三方库的导入格式有变化,因此代码调整如下:

#!/usr/bin/env python

# -*- coding:utf-8 -*-

# -*- author:nancy-*-

# python3抓取bing主页所有背景图片

import urllib.request,re,sys,os

def get_bing_backphoto():

if (os.path.exists(‘photos‘)== False):

os.mkdir(‘photos‘)

for i in range(0,10):

url = ‘http://cn.bing.com/HPImageArchive.aspx?format=js&idx=‘+str(i)+‘&n=1&nc=1361089515117&FORM=HYLH1‘

html = urllib.request.urlopen(url).read()

if html == ‘null‘:

print( ‘open & read bing error!‘)

sys.exit(-1)

html = html.decode(‘utf-8‘)

html = html.replace(‘/az/‘,‘http://s.cn.bing.net/az/‘)

reg = re.compile(‘"url":"(.*?)","urlbase"‘,re.S)

text = re.findall(reg,html)

for imgurl in text :

right = imgurl.rindex(‘/‘)

print(imgurl)

name = imgurl.replace(imgurl[:right+1],‘‘)

savepath = ‘photos/‘+ name

urllib.request.urlretrieve(imgurl, savepath)

print (name + ‘ save success!‘)

get_bing_backphoto()

时间: 2024-10-20 03:40:32

python抓取bing主页背景图片的相关文章

Python抓取网页中的图片到本地

今天在网上找了个从网页中通过图片URL,抓取图片并保存到本地的例子: 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 # Author: xixihuang 5 # Date : 2016/08/28 10:12 AM 6 # Desc: 抓取网页,获取图片URL,抓取图片内容并保存到本地. 7 8 import os 9 import uuid 10 import urllib2 11 import cookielib 12 '''获取

python爬虫抓取色影无忌月赛获奖图片

因为平时爱好摄影,所以喜欢看看色影无忌论坛的获奖摄影作品,所以写了个小script用来抓取上面的获奖图片,亲自测试可以使用. # -*- coding: UTF-8 -*- #作者Rocky Chen import re, urllib, sys, os, time, urllib2, cookielib, string class Download: def __init__(self, url): self.url=url def getPhotos(self): #获取的是跳转收的各个页面

手把手教你使用Python抓取QQ音乐数据!

[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐数据(第二弹)我们实现了获取 QQ 音乐指定歌曲的歌词和指定歌曲首页热评. 通过手把手教你使用Python抓取QQ音乐数据(第三弹)我们实现了获取更多评论并生成词云图. 此次我们将将三个项目封装在一起,通过菜单控制爬取不同数据. [二.需要的库] 主要涉及的库有:requests.openpyxl.

Python抓取需要cookie的网页

Python抓取需要cookie的网页 在仿照<Python小练习:可视化人人好友关系>一文时,需要登录模拟登录人人网.然而自从CSDN事件之后,人人网开始使用加密方式处理登录名和密码,直接使用post方式已经无法登陆人人网.这时,从豆瓣讨论中找到了解决方法: 1. 首先使用浏览器登陆人人,然后找到浏览器中关于登陆的Cookie: 2. 将Cookie记录下来,在Python中使用cookie模块模拟浏览器的行为: 3. 取得并解析数据. 1. HTTP协议与Cookie 抓取网页的过程跟浏览

Python抓取网页&amp;批量下载文件方法初探(正则表达式+BeautifulSoup) (转)

Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup) 最近两周都在学习Python抓取网页方法,任务是批量下载网站上的文件.对于一个刚刚入门python的人来说,在很多细节上都有需要注意的地方,以下就分享一下我在初学python过程中遇到的问题及解决方法. 一.用Python抓取网页 基本方法: [python] view plaincopyprint? import urllib2,urllib url = 'http://www.baidu.com' req 

用Python抓取全站中的404错误

链接是SEO的一个重要因素.为了在搜索引擎中获取更好的排名,一定要定期检查下网站中的链接是否依然有效.特别是由于一些巨大的改动可能会导致坏链接的出现.要检测这些站内的链接问题,可以通过一些在线的工具.比如Google Analytics,Bing Webmaster Tools,brokenlinkcheck.com等.尽管有现成的工具,我们也可以自己来编写一个.使用Python会非常容易. 参考原文:How to Check Broken Links with 404 Error in Pyt

《一出好戏》讲述人性,使用Python抓取猫眼近10万条评论并分析,一起揭秘“这出好戏”到底如何?

黄渤首次导演的电影<一出好戏>自8月10日在全国上映,至今已有10天,其主演阵容强大,相信许多观众也都是冲着明星们去的.目前<一出好戏>在猫眼上已经获得近60万个评价,评分为8.2分,票房已破10亿. 作者本人(汤小洋 )今天也走进了电影院,对这部电影做了亲身的观看,看完后的感觉是有些许失落的,本以为是喜剧片,结果发现笑点一般,从搞笑的角度来看,不如<西虹市首富>,影片更多的是反映人类本性的一部电影,不应当做喜剧片来看,影片中展现的人与人之间的关系倒是值得我们去深思.

房东要给我涨800房租,生气的我用Python抓取帝都几万套房源信息,我主动涨了1000。

老猫我在南五环租了一个80平两居室,租房合同马上到期,房东打电话问续租的事,想要加房租:我想现在国家正在也在抑制房价,房子价格没怎么涨,房租应该也不会涨,于是霸气拒绝了,以下是聊天记录:确认不续租之后,两三年没找过房的我上网搜索租房,没想到出来一坨自如,蛋壳,贝壳等中介网站:进去看看,各种房照非常漂亮,但是一看房租,想送给自己一首<凉凉>:附近房租居然比我当前房租高1000多RMB:自我安慰下,这些网站房源价格不是真实的,于是切换到我爱我家,链家等大中介平台,结果发现房租价格都差不多:心想这才

微信好友大揭秘,使用Python抓取朋友圈数据,通过人脸识别全面分析好友,一起看透你的“朋友圈”

微信:一个提供即时通讯服务的应用程序,更是一种生活方式,超过数十亿的使用者,越来越多的人选择使用它来沟通交流. 不知从何时起,我们的生活离不开微信,每天睁开眼的第一件事就是打开微信,关注着朋友圈里好友的动态,而朋友圈中或虚或实的状态更新,似乎都在证明自己的"有趣",寻找那份或有或无的存在感. 有人选择在朋友圈记录生活的点滴,有人选择在朋友圈展示自己的观点.有时我们想去展示自己,有时又想去窥探着别人的生活,而有时又不想别人过多的了解自己的生活,或是屏蔽对方,或是不给对方看朋友圈,又或是不