getjob

[[email protected] getpage]$ cat job.py
#coding: utf-8
#title..href...
import urllib.request
import time

url=[‘‘]*30
page=83909
j=0
while j<30:
    url[j]=‘http://job.csdn.net/Job/Index?jobID=‘+str(page)
    content=urllib.request.urlopen(url[j]).read().decode(‘utf-8‘)
    open(r‘job/‘+str(page)+‘.html‘,‘w+‘).write(content)
    print(‘donwloading ‘,j,‘ page:‘,url[j])
    j=j+1
    page=page+1
    time.sleep(0.1)
else:    
    print(‘download article finished‘)

时间: 2024-10-05 10:33:57

getjob的相关文章

18. PowerShell -- Start-Job, Get-Job, Remove-Job 等

·         PowerShell Job Overview This topic explains how to run background jobs in Windows PowerShell on a local computer. For information about running background jobs on remote computers, see about_Remote_Jobs. When you start a background job, the

利用fastjson解析json并通过js&amp;ajax实现页面的无跳转刷新

1.json是一种优秀的数据格式,在移动开发和web开发中经常用到,本例中通过一个小案例讲解如何通过alibaba的开源框架fastjson来解析jason数据格式并通过js实现无跳转刷新 2,新建一个web项目,这是我的项目:我这里直接用servlet写的 注意导包,我这里到了很多无用的包,其实主要的包是下面几个: 这个三个包是必须的,其他都是开发基本web的常用包 3.创建一个domain: package com.keson.domain; import com.thoughtworks.

MapReduce编程实战之“高级特性”

本篇介绍MapReduce的一些高级特性,如计数器.数据集的排序和连接.计数器是一种收集作业统计信息的有效手段,排序是MapReduce的核心技术,MapReduce也能够执行大型数据集间的""连接(join)操作. 计数器 计数器是一种收集作业统计信息的有效手段,用于质量控制或应用级统计.计数器还可用于辅助诊断系统故障.对于大型分布式系统来说,获取计数器比分析日志文件容易的多. 示例一:气温缺失及不规则数据计数器 import java.io.IOException; import

Windows PowerShell 学习---第一章 PowerShell介绍

第1章 PowerShell介绍 1.1.什么是PowerShell 2006年,微软发布一款叫做Windows PowerShell的全新脚本语言. PowerShell与命令提示符shell一样,PowerShell可以进行交互性地输入命令.也可以很容易的使用管道和重定向将文件和程序串联起来. 不过,PowerShell确是一个强大的面向对象的语言,可以用于复杂的脚本编程. 1.2.面向对象的命令shell 关于cmd 如果在命令提示符下输入dir,dir命令将会在屏幕打印出目录中的文件名.

Mybatis开发的配置

数据库访问层:将数据库或者其它存储的数据转换为内存的对象数据. 业务逻辑层:将内存的数据加工处理 UI层(界面层):负责数据的展示.-----MVC来处理. 数据持久化的概念:将存储在其它地方的数据转换为内存中的数据的这一过程称之为数据持久化的过程. 比如oracle开发,userinfo表 Model:数据模型    R:relation:关联    Object:对象 关键点:每条数据对应是一个实例化的有数据的对象. 2.回顾JDBC的操作: 3.ORM的框架: 1)将数据库表与对象进行映射

PHP设计模式-工厂模式

代码摘抄自:http://blog.csdn.net/mysteryhaohao/article/details/51181089 使用场景: 如果很多地方调用了类Test,那么假设某天需要把Test类的名称修改,则意味着所有调用此类的地方都要修改 关键: 只要是可以根据不同的参数生成不同的类实例,那么就符合工厂模式的设计思想 代码实现: <?php /** * 基本工厂模式 * */ class User { private $username; public function __const

mybatis入门

前身是Ibatis,数据持久化的解决方案. Hibernate是纯ORM,Mybatis是半ORM. mybatis让程序将主要精力放在sql上,通过mybatis提供的映射方式,自由灵活生成(半自动化,大部分需要程序员编写sql)满足需要sql语句. 1>引入jar包 log4j-1.2.17.jar mybatis-3.3.1.jar obdbc6.jar 2>编写数据库的jdbc配置文件mybatis.xml放到src目录下 <?xml version="1.0"

Hibernate学习笔记

一 . Hibernate的简介 提到hibernate,首先的说说ORM框架技术(Object.Relation.Mapping),它的主要问题就是对象-关系的映射,怎么说呢?现在用的数据库大多数都是关系数据库,而关系数据库重在于表与表之间的关系连接.术语就为:一个持久化类和一个表对应,类的每个实例对应表的一条记录.其他就不说了,回到hibernate.ORM框架类型有很多,hibernate就是其中的一种,还有EJB框架(Enterprise javaBean).iBATIS框架.TopLi

业务层将持久层方法调用

主要业务层和持久层的联系 员工实体Bean package com.project.bean; import java.sql.Date; /** * 员工信息实体类 * @author 45470 * */ public class EmployeeBean { /**员工id*/ private int empId; /**员工登录名*/ private String empAccount; /**员工登录密码*/ private String empPwd="123456"; /