爬虫实例之selenium爬取淘宝美食

这次的实例是使用selenium爬取淘宝美食关键字下的商品信息,然后存储到MongoDB。

首先我们需要声明一个browser用来操作,我的是chrome。这里的wait是在后面的判断元素是否出现时使用,第二个参数为等待最长时间,超过该值则抛出异常。

browser = webdriver.Chrome()
wait = WebDriverWait(browser,10)

声明好之后就需要进行打开网页、进行搜索的操作。

#使用webdriver打开chrome,打开淘宝页面,搜索美食关键字,返回总页数
def search():
    try:
        browser.get(‘https://www.taobao.com‘)

#判断输入框是否已经加载
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,‘#q‘)))  

#判断搜索按钮是否可以进行点击操作
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,‘#J_TSearchForm > div.search-button > button‘)))

#输入美食,点击搜索按钮
        input.send_keys(‘美食‘)
        submit.click()    

#使用css_selector找到显示总页面的元素,判断是否出现并获取其中文字
        total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,‘#mainsrp-pager > div > div > div > div.total‘)))
        get_products()
        return total.text
    except TimeoutException:
        print(‘timeout!‘)
        return search()

第一个页面操作之后,我们需要进行翻页操作,如下:

#进行页面的跳转,输入下一页的页号,然后点击确定按钮,在高亮区域判定是否正确跳转
def next_page(page_num):
    try:

#判断输入框是否出现
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,‘#mainsrp-pager > div > div > div > div.form > input‘)))

#判断确定按钮是否可点击
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,‘#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit‘)))

#清空输入框现有内容然后输入页号,点击确定
        input.clear()
        input.send_keys(page_num)
        submit.click()

#根据高亮区域显示数字来判断页面是否跳转成功
wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,‘#mainsrp-pager > div > div > div > ul > li.item.active > span‘),str(page_num)))

#跳转成功则获取该页所有商品详情
        get_products()
    except TimeoutException:
        next_page(page_num)

写完搜索操作和翻页操作后,我们需要完成对每个页面的商品信息获取功能。

#获取商品详情
def get_products():

#判断商品的item是否加载出来
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,‘#mainsrp-itemlist .items .item‘)))

#获取该页的源代码
    html = browser.page_source

#使用pyquery进行解析,获取需要的信息
    doc = pq(html)
    items = doc(‘#mainsrp-itemlist .items .item‘).items()
    for item in items:
        product = {
            ‘image‘:item.find(‘.pic .img‘).attr(‘src‘),
            ‘price‘:item.find(‘.price‘).text(),
            ‘deal‘:item.find(‘.deal-cnt‘).text()[:-3],
            ‘title‘:item.find(‘.title‘).text(),
            ‘shop‘:item.find(‘.shop‘).text(),
            ‘location‘:item.find(‘.location‘).text(),
        }
        print(product)
        save_to_mongo(product)

获取信息之后则需要对信息进行存储:

def save_to_mongo(result):
    try:
        if db[MONGO_TABLE].insert(result):
            print(‘存储成功‘,result)
    except Exception:
        print(‘存储失败‘,result)

主函数:

def main():
    total = search()
    total = int(re.search(‘(\d+)‘,total).group(1))   #‘\d‘表示匹配数字
    for i in range(2,total+1):
        next_page(i)
时间: 2024-11-05 11:23:25

爬虫实例之selenium爬取淘宝美食的相关文章

用selenium爬取淘宝美食

'''利用selenium爬取淘宝美食网页内容''' import re from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.su

利用Selenium爬取淘宝商品信息

一.  Selenium和PhantomJS介绍 Selenium是一个用于Web应用程序测试的工具,Selenium直接运行在浏览器中,就像真正的用户在操作一样.由于这个性质,Selenium也是一个强大的网络数据采集工具,其可以让浏览器自动加载页面,这样,使用了异步加载技术的网页,也可获取其需要的数据. Selenium模块是Python的第三方库,可以通过pip进行安装: pip3 install selenium Selenium自己不带浏览器,需要配合第三方浏览器来使用.通过help命

淘宝密码(爬虫爬取淘宝美食的数据源码)

淘宝密码(爬虫爬取淘宝美食的数据源码) 正则匹配找规律 import re import requests # 在搜索框中输入美食得到的数据q=%E7%BE%8E%E9%A3%9Furl = 'https://s.taobao.com/search?q=%E7%BE%8E%E9%A3%9F'response = requests.get(url)# print(response.text) # 用正则对html源码进行解析到一个json数据pattern = re.compile('g_page

python3爬取淘宝美食

环境:ubuntu16.04python3.5python库: selenium, pyquery,pymongo, re 要求:设置×××面浏览器访问,并将商品列表存入mongoDB数据库. 分析流程: #!/usr/bin/env python # -*- coding:utf-8 -*- """ 1.爬取淘宝美食的流程 - 搜索关键字: 用selenium打开浏览器,模拟输入关键字,并搜索对应的商品列表. - 分析页码并翻页,模拟翻页,查看到所有页面的商品列表. - 分

Selenium爬取淘宝商品概要入mongodb

准备: 1.安装Selenium:终端输入 pip install selenium 2.安装下载Chromedriver:解压后放在…\Google\Chrome\Application\:如果是Mac,可放入/usr/locl/bin,并将此目录放入环境变量 3.安装pyquery:终端输入 pip install pyquery 4.安装pymongo:终端输入 pip install pymongo 5.安装MongoDB的PyCharm插件:Preferences——Plugins——

使用Selenium爬取淘宝商品

import pymongo from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait im

Python网络爬虫(6)--爬取淘宝模特图片

经过前面的一些基础学习,我们大致知道了如何爬取并解析一个网页中的信息,这里我们来做一个更有意思的事情,爬取MM图片并保存.网址为https://mm.taobao.com/json/request_top_list.htm.这个网址有很多页,通过在网址后添加?page=页码来进入指定的页. 为了爬取模特的图片,我们首先要找到各个模特自己的页面.通过查看网页源码,我们可以发现,模特各自的页面的特点如下: 我们可以通过查找class属性为lady-name的标签,然后取其href属性来获取各个模特各

爬虫技术:爬取淘宝美食数据:崔庆才思路

# TODO selenium已经被检测出来 import random import re import time from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions a

scrapy结合selenium爬取淘宝等动态网站

1.首先创建爬虫项目 2.进入爬虫 class TaobaoSpider(scrapy.Spider): name = 'taobao' allowed_domains = ['taobao.com'] #拿一个笔记本键盘做示例 start_urls = ['https://s.taobao.com/search?initiative_id=tbindexz_20170306&ie=utf8&spm=a21bo.2017.201856-taobao-item.2&sourceId=