python requests 抓取one 首页推送文字和图片

from bs4 import BeautifulSoup
from lxml import html
import xml
import requests

#下载图片函数
def download_img(url,name):
    """"
    下载指定url的图片
    url:图片的url;
    name:保存图片的名字
    """
    try:
        respone = requests.get(url)
        f_img = respone.content
        path = r‘C:\Users\86131\Desktop\itchat\send_file\images\\%s.jpg‘%(name)
        with open(path, "wb")as f:
                f.write(f_img)
    except Exception as e:
        print("---------地址出错------------")

url_list = []

f = requests.get("http://wufazhuce.com/")

# #打印网页内容
# print(f.content.decode())

soup = BeautifulSoup(f.content,"lxml")

try:
    first_div = soup.find("div",attrs={‘id‘:‘main-container‘}).find(‘div‘,attrs={‘class‘:‘carousel-inner‘})
    a_all = first_div.find_all(‘a‘)

    for i  in a_all:
        url_list.append(i.attrs[‘href‘])

except Exception as e:
        print("---------出错------------")

#得到one的首页推荐页面
f_1 = requests.get(url_list[0])

#打印网页内容
# print(f_1.content.decode())

soup_1 = BeautifulSoup(f_1.content,"lxml")

try:
    second_div = soup_1.find("div",attrs={‘id‘:‘main-container‘}).find(‘div‘,attrs={‘class‘:‘one-cita-wrapper‘})
    third_div = soup_1.find("div",attrs={‘id‘:‘main-container‘}).find(‘div‘,attrs={‘class‘:‘one-imagen‘})

    #获得时期值
    now_month = second_div.find(‘p‘,attrs={‘class‘:‘may‘}).text
    now_one_day = second_div.find(‘p‘,attrs={‘class‘:‘dom‘}).text

    #获得图片的url
    img_url = third_div.find(‘img‘).attrs[‘src‘]

    #获得一段话并去除开头的空格
    one_text = second_div.find("div",attrs={‘class‘:‘one-cita‘}).text.strip()

    #将获得日期拼接
    now_day = now_one_day +‘ ‘+ now_month

    #调用函数下载图片

    download_img(img_url, now_day)

except Exception as e:
        print("---------出错------------")

原文地址:https://www.cnblogs.com/changfan/p/11113471.html

时间: 2024-09-29 04:49:47

python requests 抓取one 首页推送文字和图片的相关文章

Python实现抓取CSDN首页文章列表

1.使用工具: Python3.5 BeautifulSoup 2.抓取网站: csdn首页文章列表 http://blog.csdn.net/ 3.实现代码: __author__ = 'Administrator' import urllib.request import re from bs4 import BeautifulSoup ######################################################## # # 抓取csdn首页文章http://

用python来抓取“煎蛋网”上面的美女图片,尺度很大哦!哈哈

废话不多说,先上代码: import urllib.request import re #获得当前页面的页数page_name def get_pagenum(url): req = urllib.request.Request(url) req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safar

php+phantomjs实现今日头条的首页推送抓取

第一次搞爬虫,经验不足,爬出来的效果也不是很好,记录一下吧. 认识的哥们最近在爬今日头条的数据,不过他是做java的.之前也想用php做点爬数据的东西,于是直接也搞今日头条,万一有不明白的地方还能有个人商量.话不多说,上点干货. 关于爬虫,我之前的认知是,curl+正则,有点模糊,下面一步一步说吧  一.观察页面 今日头条的首页推送数据,是通过ajax获取的,打开页面调试我们可以看到下图 请求是每次滚动条滚动到底部触发的,然后我们右键新页面打开这个链接 不难发现这是个接口,返回json数据,在线

python Web抓取(一)

需要的模块: python web抓取通过: webbrowser:是python自带的,打开浏览器获取指定页面 requests:从因特网上下载文件和网页 Beautiful Soup:解析HTML Selenium:启动并控制一个Web浏览器.selenium能够填写表单,并模拟鼠标在这个浏览器中点击   >>>这个在这里 一.项目:利用Webbrowser模块的快速翻译脚本  webbrowser.open(url) 会在默认浏览器中打开这个地址 >>> impo

python 爬虫抓取心得

quanwei9958 转自 python 爬虫抓取心得分享 urllib.quote('要编码的字符串') 如果你要在url请求里面放入中文,对相应的中文进行编码的话,可以用: urllib.quote('要编码的字符串') query = urllib.quote(singername) url = 'http://music.baidu.com/search?key='+query response = urllib.urlopen(url) text = response.read()

Python web实时消息服务器后台推送技术方案---GoEasy

Goeasy, 它是一款第三方推送服务平台,使用它的API可以轻松搞定实时推送!个人感觉goeasy推送更稳定,推送速度快,代码简单易懂上手快浏览器兼容性:GoEasy推送支持websocket 和polling两种连接方式,从而可以支持IE6及其以上的所有版本,同时还支持其它浏览器诸如Firefox, Chrome, Safari 等等.支 持不同的开发语言:   GoEasy推送提供了Restful API接口,无论你的后台程序用的是哪种语言都可以通过RestfulAPI来实现后台实时推送.

Python Web实时消息后台服务器推送技术---GoEasy

越来越多的项目需要用到实时消息的推送与接收,怎样用Python现最方便呢?我这里推荐大家使用GoEasy, 它是一款第三方推送服务平台,使用它的API可以轻松搞定实时推送! 浏览器兼容性:GoEasy推送 支持websocket 和polling两种连接方式,从而可以支持IE6及其以上的所有版本,同时还支持其它浏览器诸如Firefox, Chrome, Safari 等等. 支持不同的开发语言:    GoEasy推送 提供了Restful API接口,无论你的后台程序用的是哪种语言都可以通过R

Python实现抓取CSDN热门文章列表

1.使用工具: Python3.5 BeautifulSoup 2.抓取网站: csdn热门文章列表 http://blog.csdn.net/hot.html 3.实现代码: __author__ = 'Administrator' import urllib.request import re from bs4 import BeautifulSoup ######################################################## # # 抓取csdn首页文

Python爬虫抓取网页图片

本文通过python 来实现这样一个简单的爬虫功能,把我们想要的图片爬取到本地. 下面就看看如何使用python来实现这样一个功能. # -*- coding: utf-8 -*- import urllib import re import time import os #显示下载进度 def schedule(a,b,c): ''''' a:已经下载的数据块 b:数据块的大小 c:远程文件的大小 ''' per = 100.0 * a * b / c if per > 100 : per =