爬虫动态渲染页面爬取之selenium驱动chrome浏览器的使用

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样，可以用其进行网页动态渲染页面的爬取。

支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。

1. 示例

### selenium的使用
‘‘‘
Selenium是一个用于Web应用程序测试的工具。
Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。
支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。
‘‘‘

## 示例
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()
try:
    browser.get(‘https://www.baidu.com‘)
    input = browser.find_element_by_id(‘kw‘)
    input.send_keys(‘Python‘)
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 10)
    wait.until(ec.presence_of_element_located((By.ID, ‘content_left‘)))
    print(browser.page_source)
    print(browser.current_url)
    print(browser.get_cookies())
finally:
    browser.close()

2. 声明浏览器对象

## 声明浏览器对象
from selenium import webdriver

# 声明1个chrome浏览器对象
browser1 = webdriver.Chrome()
# 声明1个firefox浏览器对象
browser2 = webdriver.Firefox()
# 声明1个edge浏览器对象
browser3 = webdriver.Edge()
# 声明1个safari浏览器对象
browser4 = webdriver.Safari()
# 声明1个phantonjs无界面浏览器对象
browser5 = webdriver.PhantomJS()

3. get方法访问页面

## 访问页面，get方法
from selenium import webdriver

# 声明浏览器对象
browser = webdriver.Chrome()
# 访问淘宝主页
browser.get(‘https://www.taobao.com‘)
# 打印访问到的页面源码
print(browser.page_source)
# 关闭浏览器
browser.close()

4. 查找节点

## 查找节点
## element返回单个节点对象，
## elements返回多个节点对象的列表
# 1.根据id、class、name、text、tag等的值获取：find_element_by_id，
# 2.通过css选择器获取：find_element_by_css_selector
# 3.通过xpath方法获取：find_element_by_xpath
from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get(‘https://www.taobao.com‘)
input_1 = browser.find_element_by_id(‘q‘)
input_2 = browser.find_element_by_css_selector(‘#q‘)
input_3 = browser.find_element_by_xpath(‘//input[@id="q"]‘)
# 查找节点的其他写法
input_other = browser.find_element(By.CSS_SELECTOR, ‘#q‘)
# 查找多个节点，返回匹配到的对象的列表
elements = browser.find_elements(By.XPATH, ‘//*[contains(@class, "service-bd")]//li‘)

print(type(elements), elements)
print(input_1, input_2, input_3, input_other)
print(type(input_1), type(input_2), type(input_3), type(input_other))
browser.close()

5. 节点间进行交互

## 节点交互
## 输入内容send_keys
## 清空内容clear
## 触发点击click
import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get(‘https://www.taobao.com‘)
input = browser.find_element_by_id(‘q‘)
input.send_keys(‘电脑‘)
time.sleep(2)
input.clear()
input.send_keys(‘手机‘)
button = browser.find_element_by_xpath(‘//button[contains(@class, "btn-search")]‘)
button.click()
time.sleep(2)

browser.close()

6. 动作链，鼠标拖拽，键盘按键等

## 动作链，鼠标拖拽，键盘按键等
from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = ‘http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable‘
browser.get(url)
# webDriver只能在一个页面上对元素识别和定位，对于frame/iframe表单内嵌页面上的元素无法直接定位，# 此时就需要通过switch_to.frame()方法将当前定位的主题切换为iframe表单的内嵌页面中。
browser.switch_to.frame(‘iframeResult‘)
drag = browser.find_element_by_id(‘draggable‘)
drop = browser.find_element_by_id(‘droppable‘)
# 声明对象
action = ActionChains(browser)
# 调用drag_and_drop方法
action.drag_and_drop(drag, drop)
# 执行刚刚调用的方法
action.perform()
browser.close()

7. 执行JavaScript

## 执行JavaScript
from selenium import webdriver

browser = webdriver.Chrome()
browser.get(‘https://www.mi.com/‘)
browser.execute_script(‘window.scrollTo(0, document.body.scrollHeight)‘)
browser.execute_script(‘alert("已到底部")‘)

8. 获取节点信息，如text，attribute等

## 获取节点信息
from selenium import webdriver

browser = webdriver.Chrome()
browser.get(‘https://www.taobao.com‘)
s = browser.find_element_by_id(‘tb-beacon-aplus‘)
print(type(s), s)
# 获取s节点的src属性信息
print(s.get_attribute(‘src‘))

s2 = browser.find_element_by_class_name(‘site-nav-menu-hd‘)
# 获取节点的文本信息
print(s2.text)
# 获取节点的id
print(s2.id)
# 获取节点的标签名
print(s2.tag_name)
# 获取节点基于页面的相对位置
print(s2.location)
# 获取节点内容的大小，即占据页面的长度以及宽度
print(s2.size)

browser.close()

9. 切换Frame

## 切换Frame
# 网页中有一种iframe节点，iframe节点里的内容相当于页面的子页面，子页面内容结构和正常网页结构完全一致
# selenium打开页面时只能获取到父级Frame页面的内容，要想获取子页面内容，需要switch_to.frame()方法来切换页面
from selenium import webdriver
from selenium.common import exceptions

browser = webdriver.Chrome()
url = ‘http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable‘
browser.get(url)
try:
    browser.find_element_by_id(‘droppable‘)
except exceptions.NoSuchElementException:
    print(‘NO element...‘)
# 切换frame
browser.switch_to.frame(‘iframeResult‘)
s = browser.find_element_by_id(‘droppable‘)
print(s)

10. 延时等待

## 延时等待
## 隐式等待，类似于time.sleep
## 显式等待，当检测到某个节点内容后即返回，推荐使用
# 隐式等待
from selenium import webdriver

browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get(‘https://www.taobao.com‘)
input = browser.find_element_by_id(‘q‘)
print(input.tag_name)

browser.close()

# 显式等待
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get(‘https://www.taobao.com‘)
# 基于browser构建一个等待对象，等待最大时间为10s
wait = WebDriverWait(browser, 10)
# 等待10s时间内，如果页面出现id="q"节点时，则返回节点并且程序继续执行，否则抛出异常，程序结束
# presence_of_element_located中进行判断节点是否出现，传入一个元组
w = wait.until(EC.presence_of_element_located((By.ID, ‘q‘)))
input = browser.find_element_by_id(‘q‘)
print(w.id, input.tag_name)

browser.close()

‘‘‘
其他等待条件说明：
title_is                                    标题是某内容
title_contains                              标题包含某内容
presence_of_element_located                 节点加载出来（传入元组(By.ID, ‘q‘)）
visibility_of_element_located               节点可见，传入定位元组
visibility_of                               节点对象可见，传入节点对象
presence_of_all_elements_located            所有节点加载出来
text_to_be_present_in_element               某个节点文本包含某文字
text_to_be_present_in_element_value         某个节点值包含某文字
text_to_be_available_amd_switch_to_it       加载并切换
invisibility_of_element_located             节点不可见
element_to_be_clickable                     节点可点击
staleness_of                                判断节点是否在DOM，可用于判断页面是否已经刷新
element_to_be_selected                      节点可选择，传入节点对象
element_located_to_be_selected              节点可选择，传入节点定位元组
element_selection_state_to_be               传入节点对象及状态，相等返回True
element_located_selection_state_to_be       传入定位元组及状态，相等返回True
alert_is_present                            是否出现警告
‘‘‘

11. 前进和后退

## 前进和后退
from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get(‘https://www.baidu.com‘)
browser.get(‘https://www.taobao.com‘)
browser.get(‘https://www.zhihu.com‘)
browser.get(‘https://www.mi.com‘)
browser.back()
browser.back()
browser.forward()
time.sleep(2)

browser.close()

12. Cookies操作，获取、添加、删除等

## Cookies操作，获取、添加、删除
from selenium import webdriver

browser = webdriver.Chrome()
browser.get(‘https://www.taobao.com‘)
print(len(browser.get_cookies()), browser.get_cookies())
browser.add_cookie({‘name‘: ‘name‘, ‘domain‘: ‘.taobao.com‘, ‘value‘: ‘dfjld‘})
print(len(browser.get_cookies()), browser.get_cookies())
browser.delete_all_cookies()
print(len(browser.get_cookies()), browser.get_cookies())

browser.close()

13. 选项卡操作

## 选项卡处理
import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get(‘https://www.baidu.com‘)
# 新建选项卡
browser.execute_script(‘window.open()‘)
print(browser.window_handles)
# 切换选项卡
browser.switch_to_window(browser.window_handles[1])
browser.get(‘https://www.taobao.com‘)
print(browser.current_url)
browser.switch_to.window(browser.window_handles[0])
print(browser.current_url)

browser.close()

14. 异常处理

## 异常处理
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException, TimeoutException

browser = webdriver.Chrome()
try:
    browser.get(‘https://www.taobao.com‘)
except TimeoutException:
    print(‘TIME OUT...‘)

try:
    browser.find_element_by_id(‘qdfd‘)
except NoSuchElementException:
    print(‘NO ELEMENT...‘)

finally:
    browser.close()

15. selenium爬取jd商品信息实例代码

### selenium爬取jd商品信息
### Author: dmr
from pyquery import PyQuery as pq
from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.common.exceptions import TimeoutException
from selenium.common.exceptions import StaleElementReferenceException
from urllib.parse import quote
import requests, time, pymongo

def get_source_page(browser, keyword, page):
    ‘‘‘
    判断当前页面是否加载完成并返回加载完成页面源码
    :param page:页码
    :return:页面源码
    ‘‘‘

    wait = WebDriverWait(browser, 10)
    print(‘正在爬取第 %d 页‘ % page)
    try:
        url = ‘https://search.jd.com/Search?enc=utf-8&keyword=‘ + quote(keyword)
        browser.get(url)
        # 拉到浏览器页面底部，获取当前页面所有的商品信息，防止操作过程中页面节点变化导致操作失败
        browser.execute_script(‘window.scrollTo(0, document.body.scrollHeight)‘)
        time.sleep(2)
        # wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, ‘#J_goodsList li.gl-item > div.gl-i-wrap‘)))
        # 当page大于1时，进行页面跳转
        if page > 1:
            # 获取当前跳转页面节点
            page_input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ‘#J_bottomPage .p-skip > input‘)))
            # 获取跳转页面按键节点
            submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ‘#J_bottomPage .p-skip > a‘)))
            page_input.clear()
            page_input.send_keys(str(page))
            submit.click()
        # 确保已完成页面跳转
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, ‘#J_bottomPage .p-num > a.curr‘), str(page)))
        # 确保页面商品信息加载完成
        wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, ‘#J_goodsList li.gl-item > div.gl-i-wrap‘)))
        print(‘第 %s 页面加载完成，可以进行获取源码...‘ % str(page))

        return browser.page_source

    except TimeoutException or StaleElementReferenceException:
        # 如果出现错误，继续尝试爬取
        print(‘出现错误，正在继续尝试。。。‘)
        get_source_page(browser, keyword, page)

def get_data(html):
    ‘‘‘
    提取网页源代码并进行解析获取想要爬取的内容
    :return:
    ‘‘‘

    doc = pq(html)
    items = doc(‘#J_goodsList li > .gl-i-wrap‘).items()
    for item in items:
        yield {
            ‘img‘: item(‘.p-img img‘).attr.src if item(‘.p-img img‘).attr.src else item(‘.p-img img‘).attr(‘data-lazy-img‘),
            ‘price‘: item(‘.p-price strong i‘).text(),
            ‘title‘: item(‘.p-name.p-name-type-2 em‘).text(),
            ‘commit‘: item(‘.p-commit strong a‘).text(),
            ‘shop‘: item(‘.p-shop span a‘).text(),
            ‘icons‘: item(‘.p-icons i‘).text(),
        }

def save_to_mongodb(collection, data):
    for item in data:
        try:
            collection.insert_one(item)
            print("插入数据成功，数据内容为：", item)
        except:
            print("插入数据内容失败，数据内容为：", item)

def main(browser, keyword, offset):
    html = get_source_page(browser, keyword, offset)
    if html:
        data = get_data(html)
        # 建立连接对象
        client = pymongo.MongoClient(host=‘10.0.0.100‘, port=27017)
        # 指定数据库，如无则创建
        db = client.jd
        # 指定集合，如无则创建
        collection = db[keyword]
        # 保存到mongodb中
        save_to_mongodb(collection, data)
    else:
        print(‘第%s页的页面源码加载有误，页面源码为:%s‘ % (offset, html))

if __name__ == ‘__main__‘:
    keyword = input("请输入商品信息关键字：")
    browser = webdriver.Chrome()
    for page in range(1, 101):
        main(browser, keyword, page)

    browser.close()

更多用法参见官方：http://selenium-python.readthedocs.io/api.html

原文地址：https://www.cnblogs.com/Caiyundo/p/12608976.html

时间： 2024-10-25 02:52:31

爬虫动态渲染页面爬取之selenium驱动chrome浏览器的使用的相关文章

python--Selenium(动态渲染页面爬取）

上一节,学习了Ajax,Ajax 其实也是JS 动态渲染的页面的一种形式,通过直接分析Ajax,仍然可以借助requests  或者 urllib 来实现数据爬取. 但是JS动态渲染的页面不止Ajax 一种:还有就是像淘宝这种页面,即使是Ajax 获取的数据,但是其Ajax 接口含有很多加密参数,我们直接很难找出其规律,,也就很难直接分析Ajax 来抓取. 为了解决这些问题,可以直接使用模拟浏览器运行的方式来实现,这样就可以做到在浏览器中看到是什么样,抓取的源码就是什么样,也就是可见及可爬.这样

Class 17 - 2 动态渲染页面爬取 — Splash

一.Splash 的使用 Splash 是一个JavaScript 渲染服务,带有 HTTP API的轻量级浏览器,同时对接了 Python 中的 Twisted 和 QT 库.利用它,同样可以实现动态渲染页面的抓取. 实例引入 通过 Splash 提供的 Web 页面来测试其渲染过程.例:在本机 8050 端口上运行 Splash 服务,打开 http://localhost:8050/ 即可看到其 Web 页面: 黑色框显示的是一个渲染示例.上方有个输入框,默认是 http://google

第8章 动态渲染页面爬取

使用 Selenium 使用 Splash Splash 负载均衡 Selenium 爬取淘宝商品 原文地址:https://www.cnblogs.com/pzk7788/p/10536713.html

如何使用selenium 驱动chrome浏览器并且打开方式为手机模式

随着移动设备使用率的不断增加,移动页面的测试也变得越来越重要. 对于互联网公司M站的测试,如果不通过专用的appium等移动端测试工具是否还有方便快捷的办法呢?答案当然是有啊. 使用chrome driver和chrome浏览器并进入chrome的 toggle device mode 模式,就可以很好的模拟手机端,下面直接上代码. public class Test{ public static void main(String args[]) { System.setProperty("we

Selenium驱动Chrome浏览器

import org.openqa.selenium.By;import org.openqa.selenium.WebDriver;import org.openqa.selenium.chrome.ChromeDriver;import org.openqa.selenium.chrome.ChromeOptions; public class Chrome { public static void main(String[] args) throws InterruptedExceptio

python爬虫14--Selenium动态渲染页面抓取

1.声明浏览器对象 from selenium import webdriver browser = webdriver.Chrome() # browser = webdriver.Firefox() # browser = webdriver.Edge() 2.访问页面 from selenium import webdriver browser = webdriver.Chrome() url = 'http://www.baidu.com' browser.get(url) print(

爬虫07 /scrapy图片爬取、中间件、selenium在scrapy中的应用、CrawlSpider、分布式、增量式

目录 爬虫07 /scrapy图片爬取.中间件.selenium在scrapy中的应用.CrawlSpider.分布式.增量式 1. scrapy图片的爬取/基于管道类实现 2. 中间件的使用 3. selenium在scrapy中的应用 4. CrawlSpider 5. 分布式 5. 增量式 爬虫07 /scrapy图片爬取.中间件.selenium在scrapy中的应用.CrawlSpider.分布式.增量式 1. scrapy图片的爬取/基于管道类实现 爬取流程: 爬虫类中将解析到的图片

爬虫1.5-ajax数据爬取

目录 爬虫-ajax数据爬取 1. ajax数据 2. selenium+chromedriver知识准备 3. selenium+chromedriver实战拉勾网爬虫代码 爬虫-ajax数据爬取 1. ajax数据 ajax (异步JavaScript 和 XML)(读作阿贾克斯),ajax可以时网页实现异步更新,一般使用的json数据交互,即在不重新加载整个页面也可以对网页的部分进行更新,ajax技术加载的数据在网页源代码中是看不到的,只能看到url加载的html部分 获取ajax数据的两

# [爬虫Demo] pyquery+csv爬取猫眼电影top100

目录 [爬虫Demo] pyquery+csv爬取猫眼电影top100 站点分析 代码君 [爬虫Demo] pyquery+csv爬取猫眼电影top100 站点分析 https://maoyan.com/board/4?offset=0 翻页操作只会改变offset偏移量,每部电影的信息都在dd标签内,使用pyquery库中的css选择器直接解析页面 代码君 css选择器直接选择和使用find()方法的区别:find()用于选择子节点,因此限定了选择的区域,速度可能要快些,直接传入''选择器可能