唯品会专场监控系统

唯品会的对于数据的封锁是很严重的，例如某个界面：

一片空白！！！

身为一个数据分析师，没有数据更谈不上分析了，所以数据挖掘下还是有的：

果断F12，突然发现了一个页面：

1 http://stock.vip.com/list/?callback=te_list&brandId=813542

最后面的813542是这个店铺的ID，前边都是一样的

打开页面：

很醒目的：sold_out

数据是要自己找的，所以就可以发挥一下自己的小特长来搞个数据监控，顺便为自己的数据分析提供点帮助

这样子就可以做一个售罄的监控系统，监控别家店铺的售罄情况，最后得到的效果图如下：

你们在我眼里是没有秘密的！

代码解析：

确定专场ID、监控的时间间隔、监控的次数：

 1         info_data_id = input(‘请输入需要监控专场的ID：‘)
 2
 3         ##设置间隔时长
 4         try:
 5             info_time_interval = int(input(‘请输入监控时间间隔分钟(min)(默认3分钟)：‘))
 6             if info_time_interval < 0:
 7                 print(‘间隔太短‘)
 8                 info_time_interval = 3 * 60
 9             else:
10                 info_time_interval = info_time_interval * 60
11         except:
12             info_time_interval = 3 * 60
13
14         ##设置监控次数
15         try:
16             info_time_frequency = int(input(‘请输入监控次数(默认2次)：‘))
17             if info_time_frequency > 50:
18                 print(‘不要监控那么久，不能超过50次‘)
19                 info_time_frequency = 2
20         except:
21             info_time_frequency = 2

由于

time.sleep(second)

所以要乘以60变成分钟

给定频率最开始的代码是

frequency = 0
while frequency < info_time_frequency:
    time.sleep(info_time_interval)
    frequency = frequency + 1

在睡眠里面加入代码：

 1             url = ‘http://stock.vip.com/list/?callback=te_list&brandId=‘ + info_data_id
 2             info_data = (get_all(getHtml(url).decode(‘UTF-8‘, ‘ignore‘)))  # (‘UTF-8‘)(‘unicode_escape‘)(‘gbk‘,‘ignore‘)
 3
 4             ##下面是判断
 5             if frequency == 0:
 6                 info_data_new = info_data[0][1].split(‘,‘)
 7                 print(‘######导入售罄情况开始监控######‘)
 8             elif len(info_data_new) == len(info_data[0][1].split(‘,‘)):
 9                 print(‘######售罄情况没什么变化######‘)
10             elif len(info_data_new) > len(info_data[0][1].split(‘,‘)):
11                 for j in range(0, len(info_data_new)):
12                     info_data_name = []
13                     info_html_jpg = []
14                     if info_data_new[j] in info_data[0][1].split(‘,‘):
15                         pass
16                     else:
17                         print(‘该商品异常，估计被下了订单或者被取消付款：‘ + info_data_new[j])
18
19                         ##图片名字，包括专场名称、商品名称
20                         namepath = get_data(getHtml(
21                             ‘http://www.vip.com/detail-‘ + info_data_id + ‘-‘ + info_data_new[j] + ‘.html‘).decode(
22                             ‘UTF-8‘, ‘ignore‘))
23                         rstr = ‘[’!"#$///%&\‘*+,./:;<=>[email protected][\\]\\\^_`//{|}~]+‘
24                         info_data_name = re.sub(rstr, "", namepath[0][1])
25                         name = time.strftime(‘%Y%m%d%H%S‘, time.localtime())  # 当时时间
26
27                         ##得到图片网址
28                         jpgpath = get_jpg(getHtml(
29                             ‘http://www.vip.com/detail-‘ + info_data_id + ‘-‘ + info_data_new[j] + ‘.html‘).decode(
30                             ‘UTF-8‘, ‘ignore‘))
31
32                         # 图片放大
33                         try:
34                             info_html_jpg = jpgpath[0][1].replace(‘95x120‘, ‘720x720‘)
35                         except:
36                             info_html_jpg = jpgpath[0][1]
37
38                         pic = urllib.request.urlopen(info_html_jpg)  # 解析图片网址
39
40                         ##下面是保存图片
41                         file = ‘C:\\Users\\Administrator\\Desktop\\monitor\\‘ + time.strftime(‘%Y%m%d‘,
42                                                                                               time.localtime()) + ‘-‘ + info_data_id + ‘\\‘
43                         filess = open(file + name + info_data_name + info_data_new[j] + ‘异常.jpg‘, ‘wb‘)
44                         filess.write(pic.read())
45                         filess.close()
46
47                 info_data_new = info_data[0][1].split(‘,‘)  ##更新数组
48                 continue

分段解释：

getHtml#解析头，爬虫的都知道

正则表达式得到商品的ID，附上：

 1 ##解析网址的正则表达式，将售罄的product_id搞出来
 2 def get_all(html_all):
 3     reg = r‘(sold_out":")(.+?)(","sold_chance)‘
 4     all = re.compile(reg);
 5     alllist = re.findall(all, html_all)
 6     return alllist

得到店铺ID，那么我要用商品的的名称来，再去看商品的product_id解析情况：

那么正则写为：

1 def get_data(html_all):
2     reg = r‘(keywords" content=")(.+?)(" />)‘
3     all = re.compile(reg);
4     alllist = re.findall(all, html_all)
5     return alllist

图片的网址也要，要下载图片来看看什么东西那么好卖：

那么正则写为：

1 def get_jpg(html_all):
2     reg = r‘(<img src=")(.+?)(" width=)‘
3     all = re.compile(reg);
4     alllist = re.findall(all, html_all)
5     return alllist

将得到的product_id按照“，”号来分开存入一个新数组里面，这个心的数组用来作为下次循环的判断依据，即下一次循环得到的数组和这个新数组进行比较：

info_data_new = info_data[0][1].split(‘,‘)

如果两个数组长度一样就不判断了

因为解析得到的是售罄的情况

假如售罄的商品不增加还变少了，那么就可以判断是别人下单后取消订单了

因为这里下单后会假如没有库存了就会被判断为售罄

但是别人取消订单，那么售罄状态解除

如果是正常的变多，那就遍历一次就行了，找到没有的

再把判断数组更新就行

info_data_new = info_data[0][1].split(‘,‘)

这一段的代码如下：

 1                 if frequency == 0:
 2                 info_data_new = info_data[0][1].split(‘,‘)
 3                 print(‘######导入售罄情况开始监控######‘)
 4             elif len(info_data_new) == len(info_data[0][1].split(‘,‘)):
 5                 print(‘######售罄情况没什么变化######‘)
 6             elif len(info_data_new) > len(info_data[0][1].split(‘,‘)):
 7                 for j in range(0, len(info_data_new)):
 8                     info_data_name = []
 9                     info_html_jpg = []
10                     if info_data_new[j] in info_data[0][1].split(‘,‘):
11                         pass
12                     else:
13                         print(‘该商品异常，估计被下了订单或者被取消付款：‘ + info_data_new[j])

解析也能得到图片的网址，那么就要把图片保存下来：

 1                         ##图片名字，包括专场名称、商品名称
 2                         namepath = get_data(getHtml(
 3                             ‘http://www.vip.com/detail-‘ + info_data_id + ‘-‘ + info_data_new[j] + ‘.html‘).decode(
 4                             ‘UTF-8‘, ‘ignore‘))
 5                         rstr = ‘[’!"#$///%&\‘*+,./:;<=>[email protected][\\]\\\^_`//{|}~]+‘
 6                         info_data_name = re.sub(rstr, "", namepath[0][1])
 7                         name = time.strftime(‘%Y%m%d%H%S‘, time.localtime())  # 当时时间
 8
 9                         ##得到图片网址
10                         jpgpath = get_jpg(getHtml(
11                             ‘http://www.vip.com/detail-‘ + info_data_id + ‘-‘ + info_data_new[j] + ‘.html‘).decode(
12                             ‘UTF-8‘, ‘ignore‘))
13
14                         # 图片放大
15                         try:
16                             info_html_jpg = jpgpath[0][1].replace(‘95x120‘, ‘720x720‘)
17                         except:
18                             info_html_jpg = jpgpath[0][1]
19
20                         pic = urllib.request.urlopen(info_html_jpg)  # 解析图片网址
21
22                         ##下面是保存图片
23                         file = ‘C:\\Users\\Administrator\\Desktop\\monitor\\‘ + time.strftime(‘%Y%m%d‘,
24                                                                                               time.localtime()) + ‘-‘ + info_data_id + ‘\\‘
25                         filess = open(file + name + info_data_name + info_data_new[j] + ‘异常.jpg‘, ‘wb‘)
26                         filess.write(pic.read())
27                         filess.close()

图片的名字为：当时下载的时间+图片本来的名称+product_id

上面代码没什么特别，无非就是

去掉名字里面的不合字符

把图片变大一点

存入生成的文件夹里面，搞定

上面是异常售罄的情况

后面要写正常售罄的代码

 1             else:
 2                 info_data_linshi = []
 3                 info_data_linshi = info_data[0][1].split(‘,‘)
 4                 for i in range(0, len(info_data[0][1].split(‘,‘))):
 5                     info_data_name = []
 6                     info_html_jpg = []
 7                     if info_data_linshi[i] in info_data_new:
 8                         pass
 9                     else:
10                         print(‘新增售罄商品：‘ + info_data_linshi[i])
11                         ##图片名字，包括专场名称、商品名称
12                         namepath = get_data(getHtml(
13                             ‘http://www.vip.com/detail-‘ + info_data_id + ‘-‘ + info_data_linshi[i] + ‘.html‘).decode(
14                             ‘UTF-8‘, ‘ignore‘))
15                         rstr = ‘[’!"#$///%&\‘*+,./:;<=>[email protected][\\]\\\^_`//{|}~]+‘
16                         info_data_name = re.sub(rstr, "", namepath[0][1])
17                         name = time.strftime(‘%Y%m%d%H%S‘, time.localtime())  # 当时时间
18
19                         ##得到图片网址
20                         jpgpath = get_jpg(getHtml(
21                             ‘http://www.vip.com/detail-‘ + info_data_id + ‘-‘ + info_data_linshi[i] + ‘.html‘).decode(
22                             ‘UTF-8‘, ‘ignore‘))
23
24                         # 图片放大
25                         try:
26                             info_html_jpg = jpgpath[0][1].replace(‘95x120‘, ‘720x720‘)
27                         except:
28                             info_html_jpg = jpgpath[0][1]
29
30                         pic = urllib.request.urlopen(info_html_jpg)  # 解析图片网址
31
32                         ##下面是保存图片
33                         file = ‘C:\\Users\\Administrator\\Desktop\\monitor\\‘ + time.strftime(‘%Y%m%d‘,
34                                                                                               time.localtime()) + ‘-‘ + info_data_id + ‘\\‘
35                         filess = open(file + name + info_data_name + info_data_linshi[i] + ‘.jpg‘, ‘wb‘)
36                         filess.write(pic.read())
37                         filess.close()
38
39                         info_data_new.append(info_data_linshi[i])  ##更新数组    

其实和上面是一样的，这样就算搞定了，附上全部代码：

  1 #print(‘python 的空白页，用来打开PyCharm‘)
  2 # -*- coding:utf-8 -*-
  3 import re
  4 import urllib.request, urllib.parse, http.cookiejar
  5 import os, time, re
  6 import http.cookies
  7 import time
  8 import xlsxwriter
  9 import datetime
 10
 11
 12 ############################################################这里是解析网址的东西###################################################################
 13 ##    说明
 14 ##     安装包
 15 ##  pip3 install bs4
 16 ##  pip3 install -U selenium
 17 ## 抓取不会变的网址用getHtml,否则getFirefox()
 18
 19 ## 这个函数可以用Post，Get等方式获取网页内容
 20 ## 例子一：
 21 ## 如果网站有使用cookie登录的话可以加载cookie,或者如果网站反爬虫可以加头部
 22 ## 例子二：
 23 ## 被封了Ip，你就无法抓取了，此时你可以设置代理ip，下面那个‘’表示不使用代理，代理可以去网上找，很多
 24 ## 例子三：
 25 ## 有些抓取需要发送一些数据过去，才能获取到内容，此时下面的{}表示数据
 26
 27 ## 一般使用就是 url=”xxxxxxx“ getHtml（url）   其他不用管
 28 ## 得到原始网页
 29 def getHtml(url, daili=‘‘, postdata={}):
 30     """
 31     抓取网页：支持cookie
 32     第一个参数为网址，第二个为POST的数据（这句话看得懂吧）
 33     """
 34     # COOKIE文件保存路径
 35     filename = ‘cookie.txt‘
 36
 37     # 声明一个MozillaCookieJar对象实例保存在文件中
 38     cj = http.cookiejar.MozillaCookieJar(filename)
 39     # cj =http.cookiejar.LWPCookieJar(filename)
 40
 41     # 从文件中读取cookie内容到变量
 42     # ignore_discard的意思是即使cookies将被丢弃也将它保存下来
 43     # ignore_expires的意思是如果在该文件中 cookies已经存在，则覆盖原文件写
 44     # 如果存在，则读取主要COOKIE
 45     if os.path.exists(filename):
 46         cj.load(filename, ignore_discard=True, ignore_expires=True)
 47     # 建造带有COOKIE处理器的打开专家
 48     proxy_support = urllib.request.ProxyHandler({‘http‘: ‘http://‘ + daili})
 49     # 开启代理支持
 50     if daili:
 51         print(‘代理:‘ + daili + ‘启动‘)
 52         opener = urllib.request.build_opener(proxy_support, urllib.request.HTTPCookieProcessor(cj),
 53                                              urllib.request.HTTPHandler)
 54     else:
 55         opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
 56
 57     # 打开专家加头部----与post的数据格式一样，下面是头部，表示我用ipad浏览器！
 58     opener.addheaders = [(‘User-Agent‘,
 59                           ‘Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5‘),
 60                          ]
 61
 62     # 分配专家
 63     urllib.request.install_opener(opener)
 64     # 有数据需要POST
 65     if postdata:
 66         # 数据URL编码
 67         postdata = urllib.parse.urlencode(postdata)
 68
 69         # 抓取网页
 70         html_bytes = urllib.request.urlopen(url, postdata.encode(), timeout=30).read()
 71     else:
 72         html_bytes = urllib.request.urlopen(url, timeout=30).read()
 73
 74     # 保存COOKIE到文件中
 75     cj.save(ignore_discard=True, ignore_expires=True)
 76     return html_bytes
 77
 78
 79 ############################################################这里是函数，也是正则表达式###################################################################
 80 ##解析网址的正则表达式，将售罄的product_id搞出来
 81 def get_all(html_all):
 82     reg = r‘(sold_out":")(.+?)(","sold_chance)‘
 83     all = re.compile(reg);
 84     alllist = re.findall(all, html_all)
 85     return alllist
 86
 87
 88 ##解析网址的正则表达式，将变动商品的专场以及名称搞出来
 89 def get_data(html_all):
 90     reg = r‘(keywords" content=")(.+?)(" />)‘
 91     all = re.compile(reg);
 92     alllist = re.findall(all, html_all)
 93     return alllist
 94
 95
 96 def get_jpg(html_all):
 97     reg = r‘(<img src=")(.+?)(" width=)‘
 98     all = re.compile(reg);
 99     alllist = re.findall(all, html_all)
100     return alllist
101
102
103 ###########################################################这里是杂七杂八的东西###################################################################
104 def timetochina(longtime, formats=‘{}天{}小时{}分钟{}秒‘):
105     day = 0
106     hour = 0
107     minutue = 0
108     second = 0
109     try:
110         if longtime > 60:
111             second = longtime % 60
112             minutue = longtime // 60
113         else:
114             second = longtime
115         if minutue > 60:
116             hour = minutue // 60
117             minutue = minutue % 60
118         if hour > 24:
119             day = hour // 24
120             hour = hour % 24
121         return formats.format(day, hour, minutue, second)
122     except:
123         raise Exception(‘时间非法‘)
124
125 ############################################################这里是主函数###################################################################
126 if __name__ == ‘__main__‘:
127
128     a = time.clock()  # 程序测速，后面会有个b = time.clock()，那么b-a就是时间
129
130     info_data_id = input(‘请输入需要监控专场的ID：‘)
131
132     ##设置间隔时长
133     try:
134         info_time_interval = int(input(‘请输入监控时间间隔分钟(min)(默认3分钟)：‘))
135         if info_time_interval < 0:
136             print(‘间隔太短‘)
137             info_time_interval = 3 * 60
138         else:
139             info_time_interval = info_time_interval * 60
140     except:
141         info_time_interval = 3 * 60
142
143     ##设置监控次数
144     try:
145         info_time_frequency = int(input(‘请输入监控次数(默认2次)：‘))
146         if info_time_frequency > 50:
147             print(‘不要监控那么久，不能超过50次‘)
148             info_time_frequency = 2
149     except:
150         info_time_frequency = 2
151
152     frequency = 0
153     info_data_new = []
154
155     if os.path.exists(r‘C:\\Users\\Administrator\\Desktop\\monitor‘):  # 建立一个文件夹在桌面，文件夹为monitor
156         print(‘monitor文件夹已经在桌面存在，继续运行程序……‘)
157     else:
158         print(‘monitor文件夹不在桌面，新建文件夹monitor‘)
159         os.mkdir(r‘C:\\Users\\Administrator\\Desktop\\monitor‘)
160         print(‘文件夹建立成功，继续运行程序‘)
161
162     if os.path.exists(r‘C:\\Users\\Administrator\\Desktop\\monitor\\‘ + time.strftime(‘%Y%m%d‘,
163                                                                                       time.localtime()) + ‘-‘ + info_data_id):
164         print(time.strftime(‘%Y%m%d‘, time.localtime()) + ‘-‘ + info_data_id + ‘文件夹已经在桌面存在，继续运行程序……‘)
165     else:
166         print(time.strftime(‘%Y%m%d‘, time.localtime()) + ‘-‘ + info_data_id + ‘文件夹不在桌面，新建文件夹‘ + time.strftime(
167             ‘%Y%m%d‘, time.localtime()) + ‘-‘ + info_data_id)
168         os.mkdir(r‘C:\\Users\\Administrator\\Desktop\\monitor\\‘ + time.strftime(‘%Y%m%d‘,
169                                                                                  time.localtime()) + ‘-‘ + info_data_id)
170         print(‘文件夹建立成功，继续运行程序‘)
171
172     while frequency < info_time_frequency:
173         url = ‘http://stock.vip.com/list/?callback=te_list&brandId=‘ + info_data_id
174         info_data = (get_all(getHtml(url).decode(‘UTF-8‘, ‘ignore‘)))  # (‘UTF-8‘)(‘unicode_escape‘)(‘gbk‘,‘ignore‘)
175
176         ##下面是判断
177         if frequency == 0:
178             info_data_new = info_data[0][1].split(‘,‘)
179             print(‘######导入售罄情况开始监控######‘)
180         elif len(info_data_new) == len(info_data[0][1].split(‘,‘)):
181             print(‘######售罄情况没什么变化######‘)
182         elif len(info_data_new) > len(info_data[0][1].split(‘,‘)):
183             for j in range(0, len(info_data_new)):
184                 info_data_name = []
185                 info_html_jpg = []
186                 if info_data_new[j] in info_data[0][1].split(‘,‘):
187                     pass
188                 else:
189                     print(‘该商品异常，估计被下了订单或者被取消付款：‘ + info_data_new[j])
190
191                     ##图片名字，包括专场名称、商品名称
192                     namepath = get_data(getHtml(
193                         ‘http://www.vip.com/detail-‘ + info_data_id + ‘-‘ + info_data_new[j] + ‘.html‘).decode(
194                         ‘UTF-8‘, ‘ignore‘))
195                     rstr = ‘[’!"#$///%&\‘*+,./:;<=>[email protected][\\]\\\^_`//{|}~]+‘
196                     info_data_name = re.sub(rstr, "", namepath[0][1])
197                     name = time.strftime(‘%Y%m%d%H%S‘, time.localtime())  # 当时时间
198
199                     ##得到图片网址
200                     jpgpath = get_jpg(getHtml(
201                         ‘http://www.vip.com/detail-‘ + info_data_id + ‘-‘ + info_data_new[j] + ‘.html‘).decode(
202                         ‘UTF-8‘, ‘ignore‘))
203
204                     # 图片放大
205                     try:
206                         info_html_jpg = jpgpath[0][1].replace(‘95x120‘, ‘720x720‘)
207                     except:
208                         info_html_jpg = jpgpath[0][1]
209
210                     pic = urllib.request.urlopen(info_html_jpg)  # 解析图片网址
211
212                     ##下面是保存图片
213                     file = ‘C:\\Users\\Administrator\\Desktop\\monitor\\‘ + time.strftime(‘%Y%m%d‘,
214                                                                                           time.localtime()) + ‘-‘ + info_data_id + ‘\\‘
215                     filess = open(file + name + info_data_name + info_data_new[j] + ‘异常.jpg‘, ‘wb‘)
216                     filess.write(pic.read())
217                     filess.close()
218
219             info_data_new = info_data[0][1].split(‘,‘)  ##更新数组
220             continue
221
222
223         else:
224             info_data_linshi = []
225             info_data_linshi = info_data[0][1].split(‘,‘)
226             for i in range(0, len(info_data[0][1].split(‘,‘))):
227                 info_data_name = []
228                 info_html_jpg = []
229                 if info_data_linshi[i] in info_data_new:
230                     pass
231                 else:
232                     print(‘新增售罄商品：‘ + info_data_linshi[i])
233                     ##图片名字，包括专场名称、商品名称
234                     namepath = get_data(getHtml(
235                         ‘http://www.vip.com/detail-‘ + info_data_id + ‘-‘ + info_data_linshi[i] + ‘.html‘).decode(
236                         ‘UTF-8‘, ‘ignore‘))
237                     rstr = ‘[’!"#$///%&\‘*+,./:;<=>[email protected][\\]\\\^_`//{|}~]+‘
238                     info_data_name = re.sub(rstr, "", namepath[0][1])
239                     name = time.strftime(‘%Y%m%d%H%S‘, time.localtime())  # 当时时间
240
241                     ##得到图片网址
242                     jpgpath = get_jpg(getHtml(
243                         ‘http://www.vip.com/detail-‘ + info_data_id + ‘-‘ + info_data_linshi[i] + ‘.html‘).decode(
244                         ‘UTF-8‘, ‘ignore‘))
245
246                     # 图片放大
247                     try:
248                         info_html_jpg = jpgpath[0][1].replace(‘95x120‘, ‘720x720‘)
249                     except:
250                         info_html_jpg = jpgpath[0][1]
251
252                     pic = urllib.request.urlopen(info_html_jpg)  # 解析图片网址
253
254                     ##下面是保存图片
255                     file = ‘C:\\Users\\Administrator\\Desktop\\monitor\\‘ + time.strftime(‘%Y%m%d‘,
256                                                                                           time.localtime()) + ‘-‘ + info_data_id + ‘\\‘
257                     filess = open(file + name + info_data_name + info_data_linshi[i] + ‘.jpg‘, ‘wb‘)
258                     filess.write(pic.read())
259                     filess.close()
260
261                     info_data_new.append(info_data_linshi[i])  ##更新数组
262
263         # print(len(info_data_new))
264         print(‘暂停‘ + str(info_time_interval / 60) + ‘分钟‘)
265         print(‘\n‘)
266         print(‘请等待...‘)
267
268         time.sleep(info_time_interval)
269         frequency = frequency + 1
270
271     b = time.clock()
272     print(‘运行时间：‘ + timetochina(b - a))
273     input(‘请关闭窗口‘)  ##防止运行完毕后窗口直接关闭而看不到运行时间