Python 教你 4 行代码开发新闻网站通用爬虫

\

?

GNE(GeneralNewsExtractor)是一个通用新闻网站正文抽取模块,输入一篇新闻网页的 HTML, 输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、 观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色,几乎能够达到100%的准确率。

使用方式非常简单:

from gne import GeneralNewsExtractor

extractor = GeneralNewsExtractor()
html = ‘网站源代码‘
result = extractor.extract(html)
print(result)

GNE 的输入是经过 js 渲染以后的 HTML 代码,所以 GNE 可以配合Selenium 或者 Pyppeteer 使用。

下图是 GNE 配合 Selenium 实现的一个 Demo:

?

对应的代码为:

import time
from gne import GeneralNewsExtractor
from selenium.webdriver import Chrome

driver = Chrome(‘./chromedriver‘)
driver.get(‘https://www.toutiao.com/a6766986211736158727/‘)
time.sleep(3)
extractor = GeneralNewsExtractor()
result = extractor.extract(driver.page_source)
print(result)

下图是 GNE 配合 Pyppeteer 实现的 Demo:

?

对应代码如下:

import asyncio
from gne import GeneralNewsExtractor
from pyppeteer import launch

async def main():
    browser = await launch(executablePath=‘/Applications/Google Chrome.app/Contents/MacOS/Google Chrome‘)
    page = await browser.newPage()
    await page.goto(‘https://news.163.com/20/0101/17/F1QS286R000187R2.html‘)
    extractor = GeneralNewsExtractor()
    result = extractor.extract(await page.content())
    print(result)
    input(‘检查完成以后回到这里按下任意键‘)

asyncio.run(main())

如何安装 GNE

现在你可以直接使用 pip 安装 GNE 了:

pip install gne

如果访问pypi 官方源太慢,你也可以使用网易源:

pip install gne -i https://mirrors.163.com/pypi/simple/

安装过程如下图所示:

?

功能特性

获取正文源代码

extract()方法只传入网页源代码,不添加任何额外参数时,GNE 返回如下字段:

  • title:新闻标题
  • publish_time:新闻发布时间
  • author:新闻作者
  • content:新闻正文
  • images: 正文中的图片(相对路径或者绝对路径)

可能有些朋友希望获取新闻正文所在标签的源代码,此时可以给extract()方法传入with_body_html参数,设置为 True:

extractor = GeneralNewsExtractor()
extractor.extract(html, with_body_html=True)

返回数据中将会增加一个字段body_html,它的值就是正文对应的 HTML 源代码。

运行效果如下图所示:

?

总是返回图片的绝对路径

默认情况下,如果新闻中的图片使用的是相对路径,那么 GNE 返回的images字段对应的值也是图片相对路径的列表。

如果你想始终让 GNE 返回绝对路径,那么你可以给extract()方法增加host参数,这个参数的值是图片的域名,例如:

extractor = GeneralNewsExtractor()
extractor.extract(html, host=‘https://www.kingname.info‘)

这样,如果新闻中的图片是/images/pic.png,那么 GNE 返回时会自动把它变为https://www.kingname.info/images/pic.png

指定新闻标题所在的 XPath

GNE 预定义了一组 XPath 和正则表达式用于提取新闻的标题。但某些特殊的新闻网站可能无法提取标题,此时,你可以给extract()方法指定title_xpath参数,用于提取新闻标题:

extractor = GeneralNewsExtractor()
extractor.extract(html, title_xpath=‘//title/text()‘)

提前移除噪声标签

某些新闻下面可能会存在长篇大论的评论,这些评论看起来比新闻正文“更像”正文,为了防止他们干扰新闻的提取,可以通过给extract()方法传入noise_node_list参数,提前把这些噪声节点移除。noise_node_list的值是一个列表,里面是一个或多个 XPath:

extractor = GeneralNewsExtractor()
extractor.extract(html, noise_node_list=[‘//div[@class="comment-list"]‘, ‘//*[@style="display:none"]‘])

使用配置文件

API 中的参数 title_xpathhostnoise_node_listwith_body_html除了直接写到 extract() 方法中外,还可以通过一个配置文件来设置。

请在项目的根目录创建一个文件 .gne,配置文件可以用 YAML 格式,也可以使用 JSON 格式。

  • YAML 格式配置文件
title:
   xpath: //title/text()
host: https://www.xxx.com
noise_node_list:
   - //div[@class=\"comment-list\"]
   - //*[@style=\"display:none\"]
with_body_html: true

  • JSON 格式配置文件

{
   "title": {
       "xpath": "//title/text()"
   },
   "host": "https://www.xxx.com",
   "noise_node_list": ["//div[@class=\"comment-list\"]",
                       "//*[@style=\"display:none\"]"],
   "with_body_html": true
}

这两种写法是完全等价的。

配置文件与 extract() 方法的参数一样,并不是所有字段都需要提供。你可以组合填写你需要的字段。

如果一个参数,既在 extract() 方法中,又在 .gne 配置文件中,但值不一样,那么 extract() 方法中的这个参数的优先级更高。

FAQ

GeneralNewsExtractor(以下简称GNE)是爬虫吗?

GNE不是爬虫,它的项目名称General News Extractor表示通用新闻抽取器。它的输入是HTML,输出是一个包含新闻标题,新闻正文,作者,发布时间的字典。你需要自行设法获取目标网页的HTML。

GNE 现在不会,将来也不会提供请求网页的功能。

GNE支持翻页吗?

GNE不支持翻页。因为GNE不会提供网页请求的功能,所以你需要自行获取每一页的HTML,并分别传递给GNE。

GNE支持哪些版本的Python?

不小于Python 3.6.0

我用requests/Scrapy获取的HTML传入GNE,为什么不能提取正文?

GNE是基于HTML来提取正文的,所以传入的HTML一定要是经过JavaScript渲染以后的HTML。而requests和Scrapy获取的只是JavaScript渲染之前的源代码,所以无法正确提取。

另外,有一些网页,例如今日头条,它的新闻正文实际上是以JSON格式直接写在网页源代码的,当页面在浏览器上面打开的时候,JavaScript把源代码里面的正文解析为HTML。这种情况下,你在Chrome上面就看不到Ajax请求。

所以建议你使用Puppeteer/Pyppeteer/Selenium之类的工具获取经过渲染的HTML再传入GNE。

GNE 支持非新闻类网站吗(例如博客、论坛……)

不支持。

关于 GNE

GNE 官方文档:https://generalnewsextractor.readthedocs.io/

GNE 的项目源代码在:https://github.com/kingname/GeneralNewsExtractor。

原文地址:https://www.cnblogs.com/7758520lzy/p/12207351.html

时间: 2024-10-12 00:48:40

Python 教你 4 行代码开发新闻网站通用爬虫的相关文章

用30行代码开发一个上传、下载文件的接口

分享一段代码,开发了3个接口: 1.上传文件 2.查看所有文件 3.下载文件 使用python开发,需要安装flask模块,使用pip install flask安装即可,代码量特别少,就能实现,加上注释总共35行代码,特别的简单,代码如下: import flask,os,time from flask import request,send_from_directory,jsonify app = flask.Flask(__name__)#创建一个app,代表这个web服务 @app.ro

利用Python的几行代码开发一个QQ机器人!小白也能快速上手的案例

本篇教大家如何用Python来实现QQ机器人,如有不足欢迎在评论方指出! 简单介绍 安装方法 可在 Python个版本下使用,用 pip 安装: pip install qqbot 使用方法 一.启动 QQBot 二.操作 QQBot QQBot 启动后,在另一个控制台窗口使用 qq 命令来操作 QQBot ,目前提供以下命令: list 命令提供强大的联系人查询功能,例如: 如: qq list group 机器人测试 例如: 实现我们自己的 QQ 机器人 要实现咱们自己的QQ 机器人超级简单

教你10行代码写侧滑菜单

原帖发表于传智播客黑马训程序员论坛,地址:http://bbs.itheima.com/thread-167442-1-1.html 先来看个侧滑菜单效果: 上面分别为:初始状态->滑动中->松开打开菜单 你造吗?看完本文章,写这种侧滑菜单,so easy for you! 你造吗?其实写这个侧滑菜单,只需要10行手写代码就能搞定! 你造吗?看完本文章,当你再听到产品说"我要这个效果"时,再也不会底气不足! 在Android开发中,自定义View效果是属于高级的部分.因为常

教你几行代码实现全平台端口数据的转发

一.使用背景 现在由于物联网的发展,越来越多的设备,需要接入网络,但是由于,现阶段的网络都还是,使用IPV4,导致IP网段十分紧张,因此如何利用有限的资源,发挥最大的作用越来越重要. 需要说明的是,全平台主要是PC端,包含Windows系统,Linux系统,苹果的系统都可进行使用的. 现在我们使用NB-IOT设备联网测试的时候,有一个需求,需要在Linux环境下,将一个端口收到的数据,转发到另外一个IP的端口上,使用Linux自带的工具,大部分都只能实现TCP数据的 转发,不能实现UDP数据的转

10分钟10行代码开发APP(delphi 应用案例)

总结一下用到的知识(开发环境安装配置不计算在内): 第六章  使用不同风格的按钮: 第十七章  让布局适应不同大小与方向的窗体: 第二十五章 使用 dbExpress访问 InterBase ToGo 第二十九章  从移动客户端连接到企业数据库: 以下是具体制作步骤: 1.创建DataSnap服务VCL应用程序 1.1 创建服务程序 新建一个项目:Delphi Projects >DataSnap Server > DataSnap Server   1.   第一步,选择Forms Appl

教你3行代码坑崩系统(哈哈哈哈)

:1 start goto 1 你没看错,就是上面这三行代码,先创建一个记事本,在记事本里输入上面代码: 另存为 ---.bat 文件 选择所有文件 直接双击刚才保存的文件,你就会发现电脑不断的弹出窗口,直到系统崩溃. 这个时候只有关机了, 当然,这个对电脑一点伤害都没有,纯属用来坑人. 重新开机后,电脑就没问题了.

教你几行代码实现图片的模糊效果

一张清楚的图片变的模糊了,也就是所谓的毛玻璃效果,通过查看图层可以发现,它只是在原有的图片上加了一个View,而这个View具有毛玻璃效果, 图层查看如下图所示: 最终效果图如下图: 1 1 // 创建图片 2 2 UIImageView *imgView = [[UIImageView alloc]initWithFrame:[UIScreen mainScreen].bounds]; 3 3 imgView.image = [UIImage imageNamed:@"1"]; 4

Android | 教你如何用代码一键实现银行卡绑定

前言 ??小编前面几期文章分别给大家介绍了用代码实现微笑抓拍.证件照DIY.拍照翻译的功能开发(链接见文章末尾),本次小编给大家带来的是用代码一键实现银行卡识别与绑定功能. 银行卡识别的应用场景 ??介绍开发步骤前,我们先来谈谈银行卡识别的具体应用场景,银行APP.移动支付.缴费类APP.电商类APP或者其它带支付功能的APP在使用过程中往往会遇到如下常见的几个应用场景: 绑卡支付 ??常用于支付类APP,或者带支付功能的APP,用来绑定信用卡.银联借记卡,提供在线支付功能. 转账汇款 ??常用

40多行python代码开发一个区块链。

40多行python代码开发一个区块链?可信吗?我们将通过Python 2动手开发实现一个迷你区块链来帮你真正理解区块链技术的核心原理.python开发区块链的源代码保存在Github. 尽管有人认为区块链目前还是不成熟的解决方案,但它无疑是计算机发展史上的一个奇迹.但是,到底区块链是什么呢? 区块链 区块链是一个公开的数字账本,它按时间顺序记录比特币或其他加密货币发生的交易. 更一般的讲,区块链是一个公共数据库,新的数据将存储在一个被称为"块"的容器中,然后块会被添加到一个不可篡改的