2月3日-寒假进度03

今天心神俱疲，准备爬取淘宝数据，淘宝的反爬机制太严格了，用的python?selenium?chrome去爬的数据，一天就是在坑里挣扎，

1.谷歌浏览器驱动界面必须是有谷歌浏览器的哈，然后对应自己浏览器的版本去下载chromedriver.exe文件，下载地址可看下篇博客

2.可能因为版本问题或者网络问题，爬取数据时，经过页面跳转后，会出现标签定位不到的问题，但和同学沟通看来，我的这样但她却没类似问题，开始以为是我的标签没写对，研究了好久，浪费了很长时间。大概有3个小时都耗在这了，(欲哭无泪啊)，网上查找原因或许是页面跳转后不稳定导致的，只解决了百分之50(解决办法在下篇博客统一总结了)索性最后先存下详情链接，之后再去爬。。。。。。若有大佬看到这篇没质量的博客，并有方法，求评论告知????

今日总结：每天在一个问题上消耗很长时间，没多大进展，慌得一批，明天继续爬数据，(爬了一点点，我的淘宝账号还给我封了。。)

明天继续爬数据，文章发布！

原文地址：https://www.cnblogs.com/ggrm/p/12257999.html

时间： 2024-11-09 11:03:21

2月3日-寒假进度03的相关文章

2月4日-寒假进度04

炸了炸了炸了,电脑前边坐了一天,毕设愣是没啥进度,啥也没做成呢?!!!! 今天主要完成了数据的分页显示,淘宝数据的爬取,早上起床就登录让它爬数据,刚爬了300条又被封了,,,, 在考虑是否换掉数据库,改用mongodb或者hive,后期处理大批的数据,关系型数据库太慢了 ,明天再研究 分页代码,调试了一个下午 另外和大家分享下我的电脑桌面,哈哈哈,开心!!! 原文地址:https://www.cnblogs.com/ggrm/p/12261853.html

2月1日寒假总结

1.今天在b站上观看学习并搭建了android开发环境. 2.学习了android studio的常规使用操作,学会了基本的使用. 3.在csdn上面了解到了一些关于APP的知识: (1)  一个完整的app开发过程要经过合同的签订→项目启动→建立产品原型→经过客户确认→形成效果图→客户再次确认→开始进入研发阶段→研发成功后进入测试阶段→测试过后将问题反馈给研发人员进行调整-→确认没有bug后客户验收→验收合格开始正式上线. (2)原生APP.Web APP(即HTML5)和混合APP. 一.A

杭电OJ 2015 2014年9月25日19:51:03

偶数求和 Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 46061    Accepted Submission(s): 20130 Problem Description 有一个长度为n(n<=100)的数列,该数列定义为从2开始的递增有序偶数,现在要求你按照顺序每m个数求出一个平均值,如果最后不足m个,则以实际数量求平均值.编程输出

杭电OJ 2012 2014年9月25日11:58:03

素数判定 Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 74351    Accepted Submission(s): 25941 Problem Description 对于表达式n^2+n+41,当n在(x,y)范围内取整数值时(包括x,y)(-39<=x<y<=50),判定该表达式的值是否都为素数. Input 输入数据

计算机英语总结2019年11月3日 23:13:03

(1)DOS was the first widely-installed operating system on personal computers. (2)To command to check a diskette for flaws and creates a directory where all the names ofthe diskette's files will be stored. It is Ping command (3)While there are several

2月1日学习进度

1.今天看了看制作小程序的视频 网址如下在b站https://www.bilibili.com/video/av30608960?p=1 前12p p1认识小程序随便搂了一眼 p2小程序开发流程 p3小程序设计规范没怎么看 p4小程序运营规范 p5小程序实战项目简介 p6创建项目和目录文件结构  仔细看 p7页面配置初探 p8view text image组件的介绍 p9快速实现布局 p10适配不同宽度屏幕 p11新增每周推荐页 p12使用navigator组件 基本了解了小程序开发流程,和基本

2月2日学习进度

今天学习的是微信小程序的制作 昨天已经入门了 今天是进阶操作 B站网址 https://www.bilibili.com/video/av30608960?p=1 昨天学到了12 今天从13到22 13配置tabbar 就是下面导航栏的跳转 14数据绑定 就是根据json数据显示到前端页面 15小程序运行基本环境与基本架构 17条件渲染 就是根据条件显示不同的前台界面 18列表渲染没太懂 19使用swiper组件  是微信小程序里面的一个规则 20页面的生命周期函数 就是 onload载入函数

2014年6月7日03:49:28

1 //将一个字符串数组的元素的顺序进行反转.{"3","a","8","haha"} {"haha","8","a","3"}.第i个和第length-i-1个进行交换. 2 string[] strs = { "3", "a", "8", "haha" }; 3 f

2014年6月7日03:17:08

1 int i = 9; 2 Console.WriteLine("{0}", i == 1); 3 Console.WriteLine("{0}", i = 1); 4 Console.ReadKey(); 5 //输出falese和1. C#中赋值表达式也有值,它的值表示为赋值后变量的值 1 string s = Console.ReadLine(); 2 if (s == "1") 3 { 4 Console.WriteLine("