1.声明浏览器对象
from selenium import webdriver browser = webdriver.Chrome() # browser = webdriver.Firefox() # browser = webdriver.Edge()
2.访问页面
from selenium import webdriver browser = webdriver.Chrome() url = ‘http://www.baidu.com‘ browser.get(url) print(browser.page_source) browser.close() #使用完要关闭浏览器
3.节点查找
3.1 单个节点
从淘宝首页提取搜索框
from selenium import webdriver from selenium.webdriver.common.by import By browser = webdriver.Chrome() url = ‘http://www.taobao.com‘ browser.get(url) input_first = browser.find_element_by_id(‘q‘) #根据id获取 input_second = browser.find_elements_by_css_selector(‘#q‘) #根据css选择器获取 input_third = browser.find_element_by_xpath(‘//*[@id="q"]‘) #根据xpath获取 input_forth = browser.find_element(By.ID,‘q‘) #find_element() print(input_first,input_second,input_third,input_forth) browser.close()
运行结果为WebElement类型，<selenium.webdriver.remote.webelement.WebElement (session="47f594f34cc9868f68ab3653e1d542a6">
find_element()方法只查询到第一个节点
3.2 多个节点
查询左侧导航栏
from selenium import webdriver from selenium.webdriver.common.by import By url = ‘http://www.taobao.com‘ browser = webdriver.Chrome() browser.get(url) lis1 = browser.find_elements_by_css_selector(‘.service-bd li‘) #class属性为service-bd的ul下的所有li标签，返回结果为列表 lis2 = browser.find_elements(By.CSS_SELECTOR,‘.service-bd li‘) print(len(lis1),lis1) print(len(lis2),lis2) browser.close()
3.3 节点交互
Selenium可以驱动浏览器来执行一些操作，常用方法有：
- send_keys()：输入文字
- clear()：清空文字
- click()：点击按钮
在输入框中输入要查找的内容进行搜索
from selenium import webdriver import time url = ‘http://www.taobao.com‘ browser = webdriver.Chrome() browser.get(url) input = browser.find_element_by_id(‘q‘) input.send_keys(‘电脑‘) time.sleep(3) input.clear() input.send_keys(‘笔记本电脑‘) button = browser.find_elements_by_css_selector(‘.btn-search tb-bg‘) button.click() browser.close()
3.4 执行JavaScript
对于某些操作selenium API没有提供，如下拉进度条，可以直接模拟运行javascript，使用execute_script()方法。
from selenium import webdriver
import time
url = ‘http://www.taobao.com‘
browser = webdriver.Chrome()
browser.get(url)
browser.execute_script(‘window.scrollTo(0,document.body.scrollHeight)‘)
time.sleep(5)
browser.execute_script(‘alert("To Buttom")‘)
4.获取节点信息
page_source属性可以获取网页源代码，然后可以使用解析库获取信息。
selenium选择节点，返回的WebElement类型，也有对应的属性和方法来获取节点信息。
4.1 获取属性
get_attribute()方法获取属性。
input = browser.find_element_by_id(‘q‘) print(input.get_attribute(‘name‘))
4.2 获取文本值
text属性可获取文本值。
lis = browser.find_elements_by_css_selector(‘.service-bd li‘)
for li in lis:
print(li.text)
4.3 获取id、位置、标签名和大小
id属性获取节点id；location属性获取该节点在页面中的相对位置；tag_name属性获取标签名；size属性获取节点宽高。
5.切换Frame
iframe即子Frame，相当于页面的子页面，结构和外部网页的结构完全一致，selenium打开页面后，默认在父级的Frame里，不能获取到在子Frame里的节点，需要使用switch_to.frame()方法来切换Frame。
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
browser = webdriver.Chrome()
url = ‘https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable‘
browser.get(url)
browser.switch_to.frame(‘iframeResult‘) #切换到子Frame
try:
logo1 = browser.find_element_by_class_name(‘logo‘)
except NoSuchElementException:
print(‘no logo‘)
browser.switch_to.parent_frame() #切换到父级Frame
logo = browser.find_element_by_class_name(‘logo‘)
print(logo)
print(logo.text)
browser.close()
6.延时等待
selenium中get()方法会在网页框架加载结束后结束执行，此时如果获取page_source，可能不是浏览器完全加载的页面，所以需要延时等待一段时间，确保节点全部加载。
6.1 隐式等待
使用隐式等待，如果selenium在DOM中没有找到节点，会继续等待，超出设定时间后，会抛出找不到节点的异常，规定了一个固定时间，默认时间为0。用implicitly_wait()实现隐式等待。
from selenium import webdriver browser = webdriver.Chrome() browser.implicitly_wait(10) browser.get(‘http://www.baidu.com‘) input = browser.find_element_by_id(‘kw‘) print(input) browser.close()
6.2显示等待
显示等待指定一个最长等待时间，如果在规定时间内没有加载出来，会抛出超时异常。
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC browser = webdriver.Chrome() url = ‘http://www.taobao.com‘ browser.get(url) wait = WebDriverWait(browser,10) #引入WebDriverWait对象，指定最长等待时间 input = wait.until(EC.presence_of_element_located((By.ID,‘q‘))) #调用until()方法，传入等待条件expected_conditions button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,‘.btn-search‘))) print(input,button) browser.close()
7.前进和后退
back()后退；forward()前进。
from selenium import webdriver import time browser = webdriver.Chrome() browser.get(‘http://www.baidu.com‘) browser.get(‘http://taobao.com‘) browser.get(‘https://www.cnblogs.com/‘) browser.back() time.sleep(3) browser.forward() time.sleep(3) browser.back() time.sleep(3) browser.close()
8.选项卡操作
from selenium import webdriver import time browser = webdriver.Chrome() browser.get(‘http://www.baidu.com‘) browser.execute_script(‘window.open()‘) #新开启一个选项卡，即第二个 print(browser.window_handles) #获取当前开启的所有选项卡，以列表的形式返回，此处两个 browser.switch_to.window(browser.window_handles[1]) #切换到第二个选项卡 browser.get(‘http://taobao.com‘) #在第二个选项卡打开淘宝页面 time.sleep(3) browser.switch_to.window(browser.window_handles[0]) #切换到第一个选项卡 browser.get(‘https://www.cnblogs.com/‘) #在第一个选项卡打开博客页面
更多资料见参考文档：https://selenium-python.readthedocs.io/api.html
9.案例--使用selenium抓取淘宝商品
目标：
利用selenium抓取淘宝商品并用pyquery解析得到商品的图片、名称、价格、购买人数、店铺名称和店铺所在地信息，并保存到MongoDB中。
原文地址：https://www.cnblogs.com/rong1111/p/12208250.html