aauto攫http数据

说明:灵巧使用上述数据的抓取网页简单的例子。

样例:想把某站点的数据抓回来。然后保存在数据库里边。

步骤:1、打开sql。new一个数据库Test。新建一个表test。

2、打开快手。准备抓数据,以这个为例3w.nbedi.com/pre_bsq/para/zuanghuogang.asp,我要把这个表格的数据抓回来。

import console;
import inet.whttp;
import web.mshtml;
import sqlServer;

var db,err  = sqlServer(
        server= ".";
        database= "Test";
        uid = "sa";
        pwd= "123";
)
assert(  db,err );

var http=inet.whttp();

var url="http://www.nbedi.com/pre_bsq/para/zuanghuogang.asp";
var str=http.get(url);
str=string.save("f:\test.txt",str); //保存到本地

var str=string.load("f:\test.txt");  //读取
var html = web.mshtml();  //生成解析器
html.write(str);   //解析下載的文本
var eles = html.queryEles(tagName="table");
console.log(eles[1].rows.length);
for(i=1;eles[1].rows.length - 1)
{
	var pnamec=eles[1].rows(i).cells(0).innerText;
	var pnamee=eles[1].rows(i).cells(1).innerText;
	var ccodes=eles[1].rows(i).cells(2).innerText;
	var pcodes=eles[1].rows(i).cells(3).innerText;
	console.log(pnamec,pnamee,ccodes,pcodes);

db.exec( "INSERT INTO test(pnamec,pnamee,ccodes,pcodes) VALUES(@pnamec,@pnamee,@ccodes,@pcodes)",{
	pnamec = pnamec;
	pnamee = pnamee;
	ccodes = ccodes;
	pcodes = pcodes;
        //写进数据库
	})
}
console.pause(true);

ok。

欢迎交流 http://blog.csdn.net/ycwol/article/details/40379811

版权声明:本文博主原创文章,博客,未经同意不得转载。

时间: 2024-07-28 13:40:04

aauto攫http数据的相关文章

aauto抓http数据

说明:利用快手抓取网页上面的数据的简单例子. 例子:想把某网站的数据抓回来,然后保存在数据库里边. 步骤:1.打开sql,new一个数据库Test,新建一个表test. 2.打开快手.准备抓数据,以这个为例3w.nbedi.com/pre_bsq/para/zuanghuogang.asp,我要把这个表格的数据抓回来. import console; import inet.whttp; import web.mshtml; import sqlServer; var db,err = sqlS

高可用数据采集平台(如何玩转3门语言php+.net+aauto)

同类文章:高并发数据采集的架构应用(Redis的应用) 吐槽下:本人主程是PHP,团队里面也没有精通.net的人才,为了解决这个平台方案,还是费了一部分劲. 新年了,希望有个新的开始.技术+团队管理都有新的突破吧,在新的一年对自己好些,不能再继续搞基下去. 问题出发点: ´随着软件的日益强大,用户的使用需求越来越多,用户也希望众多数据进行整合,来达到资源的合理应用. ´有些数据资源需要抓取网页的形式来采集到数据. ´采集应用不统一,没有良好的管理程序,杂乱无章. ´采集应用经常性无响应,无相应的

记一次MySQL找回用户数据

事情经过 有天,我们公司外区的一个销售C说他8月3号以前的工作流记录找不到了.问清缘由,原来是更新了微信号(我们公司的工作流是基于企业微信开发的).经过分析,微信号和流程数据并没什么关系,所以初步得出结论:本来只需要更新微信号的,结果我们公司的流程系统管理员把用户先删除,再创建了新的用户. 解决过程 1.首先想到的是直接从定时备份数据里面找回原来的用户ID,结果发现系统只备份了十天的记录,而工作流系统上显示销售C只有8月3号以后的流程记录,距今已经40多天,从自动备份的数据里已经无法恢复. 2.

使用 Chrome 浏览器插件 Web Scraper 10分钟轻松实现网页数据的爬取

本文标签: WebScraper Chrome浏览器插件 网页数据的爬取 使用Chrome 浏览器插件 Web Scraper 可以轻松实现网页数据的爬取,不写代码,鼠标操作,点哪爬哪,还不用考虑爬虫中的登陆.验证码.异步加载等复杂问题. Web Scraper插件 Web Scraper 官网中的简介: Web Scraper Extension (Free!)Using our extension you can create a plan (sitemap) how a web site

Day4 - 迭代器&生成器、装饰器、Json & pickle 数据序列化、软件目录结构规范

---恢复内容开始--- 本节内容 迭代器&生成器 装饰器 Json & pickle 数据序列化 软件目录结构规范 作业:ATM项目开发 1.列表生成式,迭代器&生成器 列表生成式 需求:列表a = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9],要求把列表里的每个值加1 1 a = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 2 b = [] 3 for i in a: 4 b.append(i+1) 5 a = b 6 print(a) 普通青

Oracle 10g通过创建物化视图实现不同数据库间表级别的数据同步

摘自:http://blog.csdn.net/javaee_sunny/article/details/53439980 目录(?)[-] Oracle 10g 物化视图语法如下 实例演示 主要步骤 在A节点创建原表和物化视图日志 在B节点创建连接A节点的远程链接 在B节点处创建目标表和与目标表名称相同的物化视图 在B节点处刷新物化视图 升级采用存储过程定时任务JOB方式定时刷新物化视图 进一步优化 文章更新记录 参考文章 Oracle 10g 物化视图语法如下: create materia

MySQL(九)之数据表的查询详解(SELECT语法)二

上一篇讲了比较简单的单表查询以及MySQL的组函数,这一篇给大家分享一点比较难得知识了,关于多表查询,子查询,左连接,外连接等等.希望大家能都得到帮助! 在开始之前因为要多表查询,所以搭建好环境: 1)创建数据表suppliers 前面已经有一张表是book表,我们在建立一张suppliers(供应商)表和前面的book表对应. 也就是说 让book中s_id字段值指向suppliers的主键值,创建一个外键约束关系. 其实这里并没有达到真正的外键约束关系,只是模拟,让fruits中的s_id中

C#如何拿到从http上返回JSON数据?

在实际开发中,我们经常会使用到API,所谓API一般就是一个地址,我们称之为接口.然后我们通过用C#对这地址发送请求,请求后,服务器就会给我们返回数据,一般是XML或者JSON,这里我们主要讲述的是JSON. 为了演示,我们这里准备了一个接口,这是一个查询物流的接口.(读者读到这篇文章的时候,接口可能有效,也可能失效,因为接口是网上找的,不是笔者自己写的,但是原理是一样的.) 接口:  http://www.kuaidi100.com/query?type=快递公司编码&postid=物流单号

C#中导出数据到Excel表格中

之前PM交给我一个自动化测试的Case,让我抓取页面上的数据到Excel表格中,刚好又接了一个之前人家做的系统, 刚好看到可以用NPOI导数据,就动手试试,成功导出. 由于鄙人比较菜,也比较懒, 怕自己忘记了,今天就总结一下,以防下次用可以参考. 1.要使用NPOI,首先需要在Project中Install NPOI的 Package. 右键点击Project------>Manage NuGet Packages---->Search NPOI----->点击搜索到的NPOI然后点击等