2月2日学习记录

1,背诵单词:substitute:替代者,替代物  valid:有效的  wax:蜡,蜡状物  stubborn:顽固的,固执的  abstract:抽象的  ankle:踝关节,踝  occasionally:偶尔  trace:踪迹

        export:出口,输出  scan:扫描,细看  stale:陈腐的,不新鲜的  venture:冒险行事  amongst:处在.....中  calculate:计算,估计  victim:牺牲者,受害者

      aluminium:铝  explode:使爆炸  variable:变化的,可变的  vote:投票,选举  waiter:侍者,服务员  ton:吨  wolf:狼,贪婪的人  vacation:假期,休眠

2,学习Python爬虫的Scrapy框架的使用观看视频:https://www.bilibili.com/video/av9784617  从48集看到60集

  发布博客:https://i-beta.cnblogs.com/posts/edit-done;postId=12254076

(一)Scrapy库概述

  1,安装:运行D:\Python\Python36\python.exe -m pip install --upgrade pip命令升级

      修改Python36文件的权限:https://www.cnblogs.com/liaojiafa/p/5100550.html

      安装:D:\Python\Python36\python.exe -m pip install wheel

      安装:D:\Python\Python36\python.exe -m pip install scrapy

      安装过程出了很多问题,比如升级pip要修改Python文件的权限;安装Scrapy库前要安装wheel;还有教程要单独安装Twisted?xxx?win_amd64.whl,还有修改名称,结果一直不通过,一点用没有;最重要的是网络要好,不然网速太慢很多文件下载好多分钟最后保错还不知道什么地方出问题了。最后换了一个网,很快就安装成功了。

  

  

(二)Scrapy库的使用

  

  爬取某个HTML:

    建立过程: scrapy startproject python123demo

    建立爬虫demo:scrapy genspider demo python123.io;建立demo.py文件

    修改爬虫文件deom.py文件

    运行爬虫:scrapy crawl demo

  (1)request类:

      

    (2)response类:

      

    (3)Item类:类字典类型,可以按照字典类型操作;表示从HTML中提取的内容

  CSS Selector:

    

3,练习写了爬取股票信息:发现requests库+BeautifulSoup库爬取多个网页时运行速度非常慢

4,明天计划继续背单词;继续学习使用Scrapy库爬取股票数据;学习Spark

  

原文地址:https://www.cnblogs.com/lq13035130506/p/12254144.html

时间: 2024-10-10 02:12:51

2月2日学习记录的相关文章

9月6日学习记录

早晨学习了网易云课堂的<Python Web全栈工程师>课程的预习课程<做一个静态网页>.自己手动过了一遍视频教程的代码,过程很成功,明天做这个系列的课后作业.下午,学习了中国大学MOOC课程的<Python网络爬虫与信息提取>.主要是跟着视频重新过了一遍<实战2:股票交易信息的爬取>,除了有个别的问题还需要再搞清楚一点之外,大部分的流程都明白了.明天的任务是再分别分析一下这周课程的两个实战项目.越来越清晰的感觉到自己的基础知识的缺乏.毕竟,到现在为止才学了

7月16日学习记录

今天学习了html基础知识,认识标签,学习表单,基本能看懂网页基本中语句.明天计划学习CSS. 1.大框架 <html> <head>  放标题等 </head> <body>    网站的正文 </body> </html> 2.标签大都是成对出现的,例外:<br/>(回车)&nbsp(空格)<hr/>(横线). 3.文本中常用的标签:strong(加粗)em(斜体)q blockquote(引用)等

1月5日学习记录

1.首先对数据的分析 我觉得首先要了解通用的传统方法是什么,在了解传统方法的过程中,就会对问题就更深的理解. 2.VAE学习 https://blog.csdn.net/Avery123123/article/details/103283558(待看) http://cjc.ict.ac.cn/online/onlinepaper/yfn-201916192006.pdf 这个也介绍了多种类型的VAE.(待看) https://www.cnblogs.com/HYWZ36/p/11416710.

2月1日学习记录

1,背诵英语单词20个左右: shell:贝,卵    delicate:纤弱的,熟练的  treat:威胁,恐吓  utmost:极度的,最大的  wit:机智  stool:凳子  strictly:严格的,严厉的  facility:设施  recorder:录音机       similarly:相似的,类似的  drift:流动,随意移动  helmet:头盔,钢盔  summarize:总结,概述  terminal:终结,终端  utilize:利用,使用  shepherd:牧羊

2月3日学习记录

1,背诵单词:bay:海湾  earn:赚的  cheerful:欢乐的  cash:现金  basin:盆,盆地  attain:达到  effort:努力  cassette:盒式录音带  civilization:文明  cock:公鸡  cabinet:内阁,橱柜  copper:铜币  fierce:凶猛的  fame:名声  cheque:支票  communism:共产主义  emit:发出  curtain:窗帘  conversation:会话 2,学习Python爬虫的Scr

2月5日学习记录

1,背诵单词:outlook:前景,展望  operate:做手术  peach:桃子  rank:排列  oxygen:氧气  overseas:海外的  particular:特别的  paste:粘贴  patch:眼罩  pack:包裹  participate:参加  overtake:追上  modern:现代的  merchant:商人  path:小路  likewise:同样的  ministry:部门  Pacific:太平洋  minority:少数 2,学习spark视频

2月6日学习记录

1,背诵单词:dive:潜水  wreck:残骸,毁灭  vitamin:维生素  distribution:分配  dismiss:解雇  Soviet:苏维埃  dialect:方言  wrist:手腕  interpreter:解释着  spider:蜘蛛  destination:终点  van:厢式货车  Fahrenheit:华氏温度计的  worship:崇拜  step:步,脚本  tomb:坟墓  tight:紧的  vase:花瓶  twinkle:闪烁的 2,学习spark

2月9日学习记录

1,背诵单词:obstacle:障碍物  gum:口香糖  fridge:电冰箱  combination:结合  fasten:系牢  purchase:购买  leak:漏出  inhabitant:居民  express:快递  conceal:隐瞒   digest:消化  beggar:乞丐  apology:道歉认错  suspicion:怀疑  aid:帮助  yield:投降  dew:水珠  transmit:传输  stable:稳定的  spot:点 2,做spark实验4

2月10日学习记录

1,背诵单词:assault 猛烈地攻击,袭击  principal最重要的,主要的  consumption 消费(量),消耗   sniff .嗅…味道:抽鼻涕   extensive广大的,广阔的   tolerance 宽容   denote 表示,意味着   fierce 凶猛的,残忍的   idiot白痴:笨蛋   regarding关于,有关   surge汹涌:彭湃  railroad 铁路   coordinate 同等的,并列的  renovate 更新,修复   effic