使用selenium和phantomJS浏览器获取网页内容的小演示

# 使用selenium和phantomJS浏览器获取网页内容的小演示

# 导入包
from selenium import webdriver

# 使用selenium库里的webdriver方法调用PhantomJS浏览器实例一个浏览器的操作对象
# 括号里的参数为PhantomJS浏览器在电脑里的绝对路径,这里已经添加了环境变量,所以可以省略
web = webdriver.PhantomJS()
#web = webdriver.PhantomJS(executable_path="./phantomjs")

# 浏览器获取一个url
web.get("https://fanyi.baidu.com/")

# 保存浏览器截图
web.save_screenshot("baidu.png")

# 浏览器寻找一个id为括号里的名字的标签,              然后输入 hello world
web.find_element_by_id("baidu_translate_input").send_keys("hello world")

# 保存截图
web.save_screenshot("baidu1.png")

# 浏览器寻找一个id为括号里的名字的标签,            然后点击(模拟鼠标左键)
web.find_element_by_class_name("select-inner").click()
# 保存截图
web.save_screenshot("baidu2.png")

原文地址:https://www.cnblogs.com/shawone/p/10269315.html

时间: 2024-07-31 00:04:59

使用selenium和phantomJS浏览器获取网页内容的小演示的相关文章

selenium自动化操作火狐、PhantomJS浏览器

需要下载每种浏览器的驱动程序 并且记录该驱动存放路径 PhantomJS: #PhantomJS已经不被selenium支持 但是现在好像还能用 使用的话 需要降低selenium版本 #或者使用无窗口化的火狐谷歌驱动 from selenium import webdriver import time #phantomjs路径 path = r'D:\Python\phantomjs-2.1.1-windows\bin\phantomjs.exe' browser = webdriver.Ph

浏览器插件获取网页内容

void GetHtmlContent() { //m_Explorer HRESULT hr; LPDISPATCH pDisp; IHTMLDocument2* phd;//IHtmlDocument2接口指针 IHTMLElement* pBody;//网页中的元素 pDisp = m_Explorer.get_Document(); hr = pDisp->QueryInterface(IID_IHTMLDocument2, (LPVOID*)&phd); pDisp->Rel

selenium:指挥浏览器工作

selenium可以用几行代码,控制浏览器,做出自动打开.输入.点击等操作,就像是有一个真正的用户在操作一样. 在遇到页面交互复杂或是URL加密逻辑复杂的情况时,selenium就派上了用场,它可以真实地打开一个浏览器,等待所有数据都加载到Elements中之后,再把这个网页当做静态网页爬取就好了. 不过,由于要真实地运行本地浏览器,打开浏览器以及等待网渲染完成需要一些时间,selenium的工作不可避免地牺牲了速度和更多资源,不过,至少不会比人慢. 安装 pip install seleniu

python爬虫积累(一)--------selenium+python+PhantomJS的使用

最近按公司要求,爬取相关网站时,发现没有找到js包的地址,我就采用selenium来爬取信息,相关实战链接:python爬虫实战(一)--------中国作物种质信息网 一.Selenium介绍 Selenium 是什么?一句话,自动化测试工具.它支持各种浏览器,包括 Chrome,Safari,Firefox 等主流界面式浏览器,如果你在这些浏览器里面安装一个 Selenium 的插件,那么便可以方便地实现Web界面的测试.换句话说叫 Selenium 支持这些浏览器驱动.Selenium支持

爬虫——Selenium与PhantomJS

Selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同的是Selenium可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器). Selenium可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生. Selenium自己不带浏览器,不支持浏览器的功能,它需要与第三方浏览器结合在一起才能使用.但是我们大多数时

Selenium与PhantomJS【转】

爬虫(Spider),反爬虫(Anti-Spider),反反爬虫(Anti-Anti-Spider) 之间恢宏壮阔的斗争... Day 1 小莫想要某站上所有的电影,写了标准的爬虫(基于HttpClient库),不断地遍历某站的电影列表页面,根据 Html 分析电影名字存进自己的数据库. 这个站点的运维小黎发现某个时间段请求量陡增,分析日志发现都是 IP(xxx.xxx.xxx.xxx)这个用户,并且 user-agent 还是 Python-urllib/2.7 ,基于这两点判断非人类后直接在

Python爬虫开发【第1篇】【动态HTML、Selenium、PhantomJS】

JavaScript JavaScript 是网络上最常用也是支持者最多的客户端脚本语言.它可以收集用户的跟踪数据,不需要重载页面直接提交表单,在页面嵌入多媒体文件,甚至运行网页游戏. 我们可以在网页源代码的<scripy>标签里看到,比如: <script type="text/javascript" src="https://statics.huxiu.com/w/mini/static_2015/js/sea.js?v=201601150944&quo

python爬虫之selenium、phantomJs

图片懒加载技术 什么是图片懒加载技术 图片懒加载是一种网页优化技术.图片作为一种网络资源,在被请求时也与普通静态资源一样,将占用网络资源,而一次性将整个页面的所有图片加载完,将大大增加页面的首屏加载时间.为了解决这种问题,通过前后端配合,使图片仅在浏览器当前视窗内出现时才加载该图片,达到减少首屏图片请求数的技术就被称为“图片懒加载”. 如何实现图片懒加载技术 在网页源码中,在img标签中首先会使用一个“伪属性”(通常使用src2,original......)去存放真正的图片链接而并非是直接存放

针对源代码和检查元素不一致的网页爬虫——利用Selenium、PhantomJS、bs4爬取12306的列车途径站信息

整个程序的核心难点在于上次豆瓣爬虫针对的是静态网页,源代码和检查元素内容相同:而在12306的查找搜索过程中,其网页发生变化(出现了查找到的数据),这个过程是动态的,使得我们在审查元素中能一一对应看到的表格数据没有显示在源代码中.这也是这次12306爬虫和上次豆瓣书单爬虫的最大不同点. 查找相关资料,我选择使用Selenium的PhantomJS模拟浏览器爬取源代码,这样获取到的datas包含了我需要的(查找搜索出的)途径站数据. 暂时把整个程序分为了这几个部分:(1)提取列车Code和No信息