scrapy加载cookies登陆

import scrapy
from xxxx.items import XXXXItem
from scrapy.http.request import Request

class ZndsSpider(scrapy.spiders.Spider):
    name = "xxxx"
    allowed_domains = ["xxxx.com"]
    start_urls=[]

    cookie={‘xxx‘:‘xxx‘,‘xxx‘:‘xxx‘}

    def start_requests(self):
        for url in self.start_urls:       #加载cookies,指定回调函数,返回response
            yield Request(url,cookies=self.cookie,callback=self.parse_url)

  def parse_url(self,response):
        body = scrapy.Selector(response)
        for sel in body.xpath(‘xxx‘):
       item=XXXXItem()
            item[‘XX‘]=sel.xpath(‘td[1]/text()‘).extract()
            item[‘XX‘]=sel.xpath(‘td[3]/span/a/u/text()‘).extract()
            item[‘XX‘]=sel.xpath(‘td[5]/a/text()‘).extract()
            yield item    
时间: 2024-10-05 23:09:20

scrapy加载cookies登陆的相关文章

使用幕布时,在Session过期后,弹出框加载出登陆的HTML的问题

思路:在登陆页面判断当前加载的Url是否时login/index ,如果不是跳转到登陆页 //设置或获取对象指定的文件名或路径. var Url = window.location.pathname; //当前Url为localhost为 ‘/’ //toLowerCase()将Url转化成小写进行比较 if (Url != "/" && Url.toLowerCase() != "/login/index") { window.location.h

iOS 本地加载html登陆页面

Html的代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>登陆页面</title> <link href="CSS/Login.css" rel="stylesheet"> </head> <body> <!--最外层

jquery完成界面无刷新加载登陆注册

昨天公司说官网的登陆注册每次要跳转到另一个界面,能不能做一个简单的,在界面弹出一个框框登陆,我想了想做了这么一个案例,大家来看看成不成 贴上代码,实现了在同一个弹出窗上加载了登陆注册功能!可自由点击!当然样式丑了一些!还请见谅!demo在下面 1这里是html内容 1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1

Centos系统创建用户oracle后,用该用户登陆系统,页面加载报错GConf error

Linux 的 GConf error 解决办法 问题: Centos系统创建用户oracle后,用该用户登陆系统,页面加载报错,导致重新进入Centos系统后出现: GConf error:Failed to contact configuration server;some possible cause are that you need to enable TCP/IP networking for ORBIT or you have stale NFSlocks due to a sys

验证码登陆中session加载晚于jsp解决办法

在页面加载的时候jsp页面会先加载,而session并未加载到页面,采用<input type="text" value="${code}"/>的方式,显示为null. 实际上,sesion已经加载到作用域中.网上看到一种处理办法是采用js生成验证码,值可以在jsp中直接获取,但这样就失去验证的意义,通过抓包可以直接读到验证码.做不到区分机器和人的作用. protected void service(HttpServletRequest req, Htt

也许是被误解的浏览器资源加载优化

几乎每一个前端程序员都知道应该把script标签放在页面底部.关于这个经典的论述可以追溯到Nicholas的 High Performance Javasript 这本书的第一章Loading and Execution中,他之所以建议这么做是因为: Put all <script> tags at the bottom of the page, just inside of the closing </body> tag. This ensures that the page c

【让我们再聊聊浏览器资源加载优化】

几乎每一个前端程序员都知道应该把script标签放在页面底部.关于这个经典的论述可以追溯到Nicholas的 High Performance Javasript 这本书的第一章Loading and Execution中,他之所以建议这么做是因为: Put all <script> tags at the bottom of the page, just inside of the closing </body> tag. This ensures that the page c

[转]让我们再聊聊浏览器资源加载优化

作者 李光毅 发布于 2014年6月27日 几乎每一个前端程序员都知道应该把script标签放在页面底部.关于这个经典的论述可以追溯到Nicholas的 High Performance Javasript 这本书的第一章Loading and Execution中,他之所以建议这么做是因为: Put all <script> tags at the bottom of the page, just inside of the closing </body> tag. This e

web.xml 中的listener、filter、servlet加载及一些配置

在项目中总会遇到一些关于加载的优先级问题,近期也同样遇到过类似的,所以自己查找资料总结了下,下面有些是转载其他人的,毕竟人家写的不错,自己也就不重复造轮子了,只是略加点了自己的修饰. 首先可以肯定的是,加载顺序与它们在 web.xml 文件中的先后顺序无关.即不会因为 filter 写在 listener 的前面而会先加载 filter.最终得出的结论是:listener -> filter -> servlet 同时还存在着这样一种配置节:context-param,它用于向 Servlet