在Scrapy里设置Cookies 要注意一点!

1.requests里设置cookies,可以将cookies放入headers里一同提交。

{‘Accept‘: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8‘,
 ‘Accept-Encoding‘: ‘gzip, deflate‘,
 ‘Accept-Language‘: ‘zh-CN,zh;q=0.9,en;q=0.8‘,
 ‘Cache-Control‘: ‘max-age=0‘,
 ‘Connection‘: ‘keep-alive‘,
 ‘Cookie‘: ‘__cfduid=d50cf692a2f654986d51b98e6c1bad6c41535939301; session=.eJwlzj0OwjAMQOG7eO6Q2Emc9DKV6x-oEB1amBB3pxLS27_3gSUOP-8wv463T7BsBjMEiaIRMZe-MgfXKozmShqWXZVMOqdW-jDElkbm2r2IKqt0WYkwczKLNjyKmqUW2Nekgv3KMg2mWp1TRcm54ShNROvl5FARmOB9-vGfeWz7bZenw_cHGzsyUA.Dw5FeA.xD0ofpGXJUvDLYeCrMn08E24HKM‘,
 ‘DNT‘: ‘1‘,
 ‘Host‘: ‘exercise.kingname.info‘,
 ‘Upgrade-Insecure-Requests‘: ‘1‘,
 ‘User-Agent‘: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36‘}

2.但是,如果使用Scrapy的时候需要Cookies,就不能把Cookies放在Headers里面。在Scrapy发起请求的时候,有一个单独的参数来设置Cookies:

yield scrapy.Request(url,
                     callback=self.xxx,
                     headers=headers,
                     cookies={‘__cfduid‘: ‘d50cf692a2f654986d51b98e6c1bad6c41535939301‘,
                              ‘session‘: ‘.eJwlzj0OwjAMQOG7eO6Q2Emc9DKV6x-oEB1amBB3pxLS27_3gSUOP-8wv463T7BsBjMEiaIRMZe-MgfXKozmShqWXZVMOqdW-jDElkbm2r2IKqt0WYkwczKLNjyKmqUW2Nekgv3KMg2mWp1TRcm54ShNROvl5FARmOB9-vGfeWz7bZenw_cHGzsyUA.Dw5FeA.xD0ofpGXJUvDLYeCrMn08E24HKM‘})

原文地址:https://www.cnblogs.com/longsongpong/p/10724311.html

时间: 2024-10-18 00:43:08

在Scrapy里设置Cookies 要注意一点!的相关文章

网络爬虫之scrapy框架详解,scrapy框架设置代理

twisted介绍 Twisted是用Python实现的基于事件驱动的网络引擎框架,scrapy正是依赖于twisted, 它是基于事件循环的异步非阻塞网络框架,可以实现爬虫的并发. twisted是什么以及和requests的区别: request是一个python实现的可以伪造浏览器发送Http请求的模块,它封装了socket发送请求 twisted是基于时间循环的异步非阻塞的网络框架,它也封装了socket发送请求,但是他可以单线程的完成并发请求. twisted的特点是: 非阻塞:不等待

安卓实训第九天---Activity的复习以及在Onstart里设置网络连接

今天,首先对Activity的生命周期进行复习: (下面的截图部分是借鉴自赵雅智老师的博客...) Activity的完整生命周期自第一次调用onCreate()开始,直至调用onDestroy()为止.Activity在onCreate()中设置所有"全局"状态以完成初始化,而在onDestroy()中释放所有系统资源.例如,如果Activity有一个线程在后台运行从网络下载数据,它会在onCreate()创建线程,而在 onDestroy()销毁线程. 刚进入activity: 按

django设置cookies

登录页面和首页分开 index.html: <html> <head> <title>首页</title> </head> <body> <div>这是首页,当前登录用户是:<span style="color:green">{{currentuser}}</span> </div> </body> </html> userlogin.html

在环境变量里设置VI中TAB缩进

终端上的tab键默认是缩进8个空格的(记住8个空格不等于一个tab, tab和空格不是一个概念) 一般设置vim的tab(制表符)的缩进的时候都这样:set tabstop=4 ” 表示让tab的宽度显示成和4个空格的宽度一样设置完后你不要以为这时候一个tab等于4个空格了,它们不相等,那什么时候相等呢?set expandtab ” 表示将tab(制表符)变成空格设置完后,一个4个空格长度的tab就等于4个空格了 附上vim中关于自动缩进(一般换行什么的需要自动缩进)的设置:set autoi

解决在网页里设置锚点后,链接不到相应位置

在网页里设置锚点后,链接不到相应位置,常常出现点完链接后跳到相应位置偏下的位置, <div class="row" id="alter-title" name="alter-title"> 只需要在设置id的位置设置它的样式padding-top; .row{padding-top:20px;} 像数根据实际情况调 解决在网页里设置锚点后,链接不到相应位置,布布扣,bubuko.com

action里设置session

? 1 2 3 4 5 6 7 8 9 UserDao userDao = new UserDao(); User  u = userDao.login(user); <span style="color: rgb(0, 128, 0);">// 调用登录方法.</span> result = new HashMap(); if(u != null){     result.put("result", true);     ServletAc

VC设置cookies实现文件刷下载量

VC设置cookies实现文件刷下载量 VC设置cookies实现文件刷下载量 分类: c/c++2013-10-11 17:22 250人阅读 评论(0) 收藏 举报 目录(?)[+] 同学XXX提问: 大家好,我们做的Android应用已经成功在中兴汇天地成功上架了,打开“中兴汇天地应用商店”http://apps.ztems.com/,搜索栏搜索“睿云”就能找到了,但是需要你注册一个应用商店的账号,完成后就可以下载了,还可以给我们评论.最简单的刷下载量请直接点击http://dl5.zte

sos 怎么在代码里设置将一个imagebutton放在屏幕的中间

============问题描述============ 怎么在代码里设置将一个imagebutton放在屏幕的中间 ============解决方案1============ LinearLayout.LayoutParams btParams =  new LinearLayout.LayoutParams (width, height); btParams.gravity = Gravity.CENTER; ============解决方案2============ framelayout

前台JS设置Cookies后台读取刚设置的Cookies

今天在整理代码的时候,发现以前做到一半的功能没有实现.今天完善一下,并无私的将代码分享给大家. 前台代码: 1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> 2 3 <html xmlns="http://www.w3.org/1999/xht