数据提取

页面解析和数据提取

一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。内容一般分为两部分，非结构化的数据 和 结构化的数据。

  • 非结构化数据：先有数据，再有结构，
  • 结构化数据：先有结构、再有数据
  • 不同类型的数据，我们需要采用不同的方式来处理。

非结构化的数据处理

文本、电话号码、邮箱地址
  • 正则表达式
HTML 文件
  • 正则表达式
  • XPath
  • CSS选择器

结构化的数据处理

JSON 文件
  • JSON Path
  • 转化成Python类型进行操作（json类）
XML 文件
  • 转化成Python类型（xmltodict）
  • XPath
  • CSS选择器
  • 正则表达式

侵权删:

　　笔记来自传智播客课件, 感谢传智.

原文地址：https://www.cnblogs.com/amou/p/9142303.html

时间： 2024-10-28 15:22:23

数据提取的相关文章

PHP实例————表单数据插入数据库及数据提取

网站在进行新用户注册时,都会将用户的注册信息存入数据库中,需要的时候再进行提取.今天写了一个简单的实例. 主要完成以下几点功能: (1)用户进行注册,实现密码重复确认,验证码校对功能. (2)注册成功后,将用户进行插入数据库中进行保存. (3)将数据库表中数据进行提取,并打印. 1.注册表单 在以前的几篇博客中,分享过注册及登录表单的代码.这次的代码,大致相同,只是略有变化.仅作为实例探讨 <html> <head> <title>注册页面</title>

把数组中的数据提取出来，包括数组中的数组

/*** 用闭包 实现数组中及数组内部数组 的数据提取出来*/ var myarr = [1,2,8,[3],[4,[5,[6],['a','b']],[9]]]; function tqFun(qcArr1){ var tempArr = []; function bbFun (qcArr){ for(var i=0; i<qcArr.length; i++){ if(qcArr[i] instanceof Array){ bbFun(qcArr[i]); }else{ tempArr.pus

PHP+Mysql————表单数据插入数据库及数据提取

站点在进行新用户注冊时,都会将用户的注冊信息存入数据库中,须要的时候再进行提取.今天写了一个简单的实例. 主要完毕下面几点功能: (1)用户进行注冊,实现password反复确认,验证码校对功能. (2)注冊成功后,将用户进行插入数据库中进行保存. (3)将数据库表中数据进行提取,并打印. 1.注冊表单 在曾经的几篇博客中,分享过注冊及登录表单的代码.这次的代码,大致同样,仅仅是略有变化.仅作为实例探讨 表单页面实在没什么可讲的,除了格式对齐上加几个&nbsp(空格). <html>

PHP实例 表单数据插入数据库及数据提取 用户注册验证

网站在进行新用户注册时,都会将用户的注册信息存入数据库中,需要的时候再进行提取.今天写了一个简单的实例. 主要完成以下几点功能: (1)用户进行注册,实现密码重复确认,验证码校对功能. (2)注册成功后,将用户进行插入数据库中进行保存. (3)将数据库表中数据进行提取,并打印. 1.注册表单 在以前的几篇博客中,分享过注册及登录表单的代码.这次的代码,大致相同,只是略有变化.仅作为实例探讨 <html> <head> <title>注册页面</title>

bmp图片数据提取

仿照别人的程序写的bmp数据提取C代码,并将提取的数据放到txt文档中 1 /* 2 date : 2014/06/24 3 designer :pengxiaoen 4 version : dev4.9.9.0 5 function :读取bmp图片的图片数据信息到文件txt中.参考了其他的程序 6 7 bmp 文件格式: 第10个字节处存放图像数据起始地址 —— 此程序中25行用到 8 第36h - 0436h 字节处存放调色板 —— 此程序中没有用到 9 10 **************

论数据提取的正确打开方式

在WX时做了两年的数据提取,处理了七八百个需求,基本是每天都有.曾经有段时间,我还挺喜欢提数据的,因为简单轻松不用太动脑.虽然领导时不时也会强调一下,在提取数据时要多和业务方讨论.但讨论的目的是砍掉一些意义不大的指标,以减少数据提取的耗时,因为领导觉得数据提取是一件很low的事情,没啥技术含量.所以在WX的时间里,我一直以为数据提取就只是数据提取. 所以,它的正确处理方式就应该是:需求方发来一封邮件,上面简要写着分析背景,分析目的以及详细的指标体系.收到邮件后,我需要先认真阅读邮件中的每一个指标

转：SQL SERVER数据库中实现快速的数据提取和数据分页

探讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页.以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构: CREATE TABLE [dbo].[TGongwen] (    --TGongwen是红头文件表名 [Gid] [int] IDENTITY (1, 1) NOT NULL , --本表的id号,也是主键 [title] [varchar] (80) COLLATE Chinese_PRC_CI_AS NULL ,  --红头文件

大数据提取价值信息技术实现方案

大数据提取价值信息技术实现方案 分5步: 1.通过FTP采集文件 2.把文件入到HDFS系统 3.使用HIVE从HDFS中选择数据 4.使用DataStage或Infomatica把数据入库 5.入库到Sybase IQ数据库 注意事项: 1.不一定用ftp采集文件,反正只要把海量文件采集过来即可: 2.采集的源文件一定是海量的,可以文件数海量,也可以文件里的内容海量,要不然就不叫大数据了: 3.这里面主要用到了hadoop的hdfs,没有用到mapreduce: 4.mapreduce其实是h

PHP+Mysql-表单数据插入数据库及数据提取完整过程

网站在进行新用户注册时,都会将用户的注册信息存入数据库中,需要的时候再进行提取.今天写了一个简单的实例. 主要完成以下几点功能: (1)用户进行注册,实现密码重复确认,验证码校对功能. (2)注册成功后,将用户进行插入数据库中进行保存. (3)将数据库表中数据进行提取,并打印. 1.注册表单 在以前的几篇博客中,分享过注册及登录表单的代码.这次的代码,大致相同,只是略有变化.仅作为实例探讨 <html> <head> <title>注册页面</title>