深圳公租房轮候库已经朝着几十万人的规模前进了，这是截至16年10月之前的数据了，贴上来大家体会下
所以17年已更新妥妥的10W+
今天就拿这个作为爬虫的练手项目
1、环境准备：
操作系统：win10
python版本：python3.5.3
开发工具：sublime 3
python需要安装的库：
anaconda 没安装的可以去https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/这里下载，国内镜像比较快；
Requests urllib的升级版本打包了全部功能并简化了使用方法（点我查看官方文档）
beautifulsoup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.（点我查看官方文档）
LXML 一个HTML解析包 用于辅助beautifulsoup解析网页
Requests ，beautifulsoup ，LXML 模块安装方式：windows的命令提示符窗口输入以下代码即可
pip install requests pip install beautifulsoup4 pip install lxml
直接贴代码吧
import requests
from bs4 import BeautifulSoup
import os
class Gongzufang():
#获取页面数据
def all_url(self,url):
html = self.request(url)
all_a = BeautifulSoup(html.text, ‘lxml‘).find(‘table‘, class_=‘sort-tab‘).find_all(‘tr‘)
for a in all_a:
title = a.get_text("|", strip=True)
print(title)
#self.save_data(url)
#获取分页面地址
def html(self, url):
html = self.request(url)
max_span = BeautifulSoup(html.text, ‘lxml‘).find(‘div‘, class_=‘fix pagebox‘).find_all(‘a‘)[-3].get_text()
for page in range(1, int(max_span) + 1):
page_url = url + ‘/‘ + ‘0-‘+str(page)+‘-0-0-1‘
self.all_url(page_url)
def save_data(self,data_url):#下载数据
pass
#获取网页的response 然后返回
def request(self, url):
headers = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240‘,‘Connection‘: ‘Keep-Alive‘,‘Referer‘:‘http://www.mzitu.com/tag/baoru/‘}
content = requests.get(url, headers=headers)
return content
#实例化
Gongzufang = Gongzufang()
#给函数all_url、html传入参数 你可以当作启动爬虫（就是入口）
Gongzufang.html(‘http://anju.szhome.com/gzfpm‘)
Gongzufang.all_url(‘http://anju.szhome.com/gzfpm‘)
结果如下：
时间： 2024-10-23 15:24:33