Python实现百度搜索并保存到本地示例，Python实现百度搜索

实现百度搜索并保存到本地

User_Agent = ‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36‘
import urllib2
import urllib
url = "https://www.baidu.com/s?wd="
key = "博客园"
key_code = urllib.quote(key)
url_all = url + key_code
req = urllib2.Request(url_all)
req.add_header(‘User-Agent‘,AA)

data = urllib2.urlopen(req).read()
print data

#在F盘新建一个11文件夹和11.html

fh = open("F:/11/11.html","wb")
fh.write(data)
fh.close()

时间： 2024-08-27 16:11:18

Python实现百度搜索并保存到本地示例，Python实现百度搜索的相关文章

python实现简单爬取图片保存到本地

import requests import os url="http://lofter.nos.netease.com/sogou-Y1gxMDFIeFVHeWhCTkZaMEkzYWx1bGR5WEszQTdRTEZPcndxZWo3Q0dwTG1iZF9uVENpM0tCaUJNOXA1bmZkTA.jpg" root="F://pics//"; path=root+url.split('/')[-1] try: if not os.path.exists

python+requests——读取二进制文件并保存在本地——一个图片作为示例

import requests url = 'https://upload-images.jianshu.io/upload_images/13614258-ba7bc15bccab5c63.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240' resp = requests.get(url) with open('C:\\Users\\del\\Desktop\\新建文件夹\\1.png','wb') as f: f.write(res

python使用get在百度搜索并保存第一页搜索结果

python使用get在百度搜索并保存第一页搜索结果作者:vpoet 日期:大约在夏季注:随意copy,不用在意我的感受 #coding:utf-8 import urllib import urllib2 import re """ 使用GET在百度搜索引擎上查询此例演示如何生成GET串,并进行请求. """ if __name__=="__main__": url = "http://www.baidu.c

python爬取某个网站的图片并保存到本地

python爬取某个网站的图片并保存到本地 #coding:utf-8 import urllib import re import sys reload(sys) sys.setdefaultencoding('gb2312') #获取整个页面的数据 def getHtml (url): page = urllib.urlopen(url) html = page.read() return html #保存图片到本地 def getImg(html): reg = r'src="(.+?\.

Python+webdriver爬取博客园“我的闪存”并保存到本地

前篇用webdriver+phantomjs实现无浏览器的自动化过程本篇想法与实现我想要将博客园“我的闪存”部分内容爬取备份到本地文件,用到了WebDriver和Phantomjs的无界面浏览器.对于xpath的获取与校验需要用到firefox浏览器,安装firebug和firepath插件.代码如下: # -*- coding: utf-8 -*- import os,time from selenium import webdriver from selenium.webdriver

Python3.4 获取百度网页源码并保存在本地文件中

最近学习python 版本 3.4 抓取网页源码并且保存在本地文件中 import urllib.request url='http://www.baidu.com' #上面的url一定要写明确,如果写成www.baidu.com,下一步就会报错. response=urllib.request.urlopen(url) #下一步获取html,但是是Byte格式的,我们要解码 html=response.read() html_str=html.decode('utf-8') #下面我们把get

爬虫任务二：爬取(用到htmlunit和jsoup)通过百度搜索引擎关键字搜取到的新闻标题和url，并保存在本地文件中（主体借鉴了网上的资料）

采用maven工程,免着到处找依赖jar包 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd&qu

Python爬虫获取图片并下载保存至本地的实例

今天小编就为大家分享一篇Python爬虫获取图片并下载保存在本地的实例,具有很好的参考价值,希望对大家有所帮助.一起来看看吧! 1.抓取煎蛋网上的图片 2.代码如下 * * * import urllib.request import os def url_open(url): req=urllib.request.Request(url) req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Geck

Python的scrapy之爬取链家网房价信息并保存到本地

因为有在北京租房的打算,于是上网浏览了一下链家网站的房价,想将他们爬取下来,并保存到本地. 先看链家网的源码..房价信息都保存在 ul 下的li 里面 ? 爬虫结构: ? 其中封装了一个数据库处理模块,还有一个user-agent池.. 先看mylianjia.py # -*- coding: utf-8 -*- import scrapy from ..items import LianjiaItem from scrapy.http import Request from parsel i