selenium是一个web测试应用框架也可以拿来做爬虫。
1.安装selenium模块
pip install -U selenium
2.安装selenium模块后需要有相应的浏览器驱动
A.使用phantomjs
phantomjs是无界面的测试浏览器
我用的是phantomjs-2.1.0-linux-x86_64只要直接使用phantomjs-2.1.0-linux-x86_64文件夹里面的额phantonjs就可以了
1 from selenium import webdriver 2 3 driver = webdriver.PhantomJS(‘/home/xx/xx/phantomjs-2.1.0-linux-x86_64/bin/phantomjs‘)##里面是phantomjs的地址 4 driver.get("http://www.baidu.com")
这样就可以直接使用driver操作无界面的浏览器了
phantomjs下载地址:
B.有见面的chrome浏览器安装配置
首先需要安装chrome浏览器 和配置相关环境
sudo apt-get install libxss1 libappindicator1 libindicator7 wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb sudo dpkg -i google-chrome*.deb sudo apt-get install -f
sudo apt-get install xvfb
sudo apt-get install unzip
wget -N http://chromedriver.storage.googleapis.com/2.26/chromedriver_linux64.zip
unzip chromedriver_linux64.zip
chmod +x chromedriver
sudo mv -f chromedriver /usr/local/share/chromedriver
sudo ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver
sudo ln -s /usr/local/share/chromedriver /usr/bin/chromedriver
安装相关selenimu
sudo apt-get install python-pip
pip install pyvirtualdisplay selenium
测试代码
1 from pyvirtualdisplay import Display 2 from selenium import webdriver3 driver = webdriver.Chrome() 4 driver.get(‘https://www.baidu.com/‘) 5 print driver.title
相关链接:https://christopher.su/2015/selenium-chromedriver-ubuntu/
时间: 2024-12-28 06:02:41