scrapy提交关键字请求

提交查询关键字的请求

 1 import scrapy
 2
 3
 4 class PostSpider(scrapy.Spider):
 5     name = ‘post‘
 6     # allowed_domains = [‘www.xxx.com‘]
 7     start_urls = [‘https://fanyi.baidu.com/sug‘]
 8
 9     def start_requests(self):
10         data = {
11             ‘kw‘:‘python‘
12         }
13         for url in self.start_urls:
14             yield scrapy.FormRequest(url=url,formdata=data,callback=self.parse)
15
16     def parse(self, response):
17         print(response.text)

这里重写父类的start_requests方法

原文地址:https://www.cnblogs.com/liaopeng123/p/10472768.html

时间: 2024-07-30 15:55:31

scrapy提交关键字请求的相关文章

scrapy发送POST请求

发送post请求 可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求. 如果希望程序执行一开始就发送POST请求,可以重写Spider类的start_requests(self) 方法,并且不再调用start_urls里的url. 1 class mySpider(scrapy.Spider): 2 # start_urls = ["http://www.example.com/"] 3 4 def star

php ajax提交post请求出现数组被截断情况的解决方法

一.场景 今天做保存专题商品列表的时候发现,前端明明有2300多条数据,但是实际服务端接受存入数据库才166条 二.解决过程 经过调试发现前端页面提交post请求时数据量是正确的,但到服务端只能接受到166条. 一开始以为是post请求长度超过限制,不过看了下请求内容才200多K,而post请求默认支持8M以内的数据传输. 于是怀疑可能是php内部配置导致的,后来百度了下果不其然发现max_input_vars这个配置项,该配置项是在php 5.3.9版本之后才加入的,目的是为了防止hash冲突

PHP服务器文件管理器开发小结(三):使用jQuery提交AJAX请求

本节将讨论使用jQuery提交AJAX请求的基本方法,并完成显示首文件夹的基本方法. 同时,本节也将讨论使用图片链接提交请求的基本方法. jQuery是一套强大的JS库,将复杂的JS操作封装成简洁的语句,并提供对AJAX的支持.通过 jQuery AJAX 方法,您能够使用 HTTP Get 和 HTTP Post 从远程服务器上请求文本.HTML.XML 或 JSON - 同时您能够把这些外部数据直接载入网页的被选元素中.编写常规的 AJAX 代码并不容易,因为不同的浏览器对 AJAX 的实现

使用libcurl提交POST请求

最近在学习libcurl,并利用它提交POST请求,可是返回的响应总是无从验证该次POST请求是否成功提交了. 1. 先看下根据firebug提交的一次成功的请求,这里以login我喜欢上的xiami为例,嘻嘻~ 1.1 本次POST请求的HTTP交互 1.2 POST 1.3 经server端redirect的GET 2. OK,接下来看下使用libcurl向xiami发送POST请求 2.1 使用libcurl的大概流程curl_easy_init()curl_easy_setopt()cu

使用新浪云(SAE)实现基于mySql和微信公众平台的关键字请求响应服务

本例是作者初次尝试微信公众平台开发之作,实现传统的关键字请求响应功能.即:用户发关键字,公众号通过关键字进行检索, 在mysql数据库中读取与关键字相关的信息,并返回给用户.本例在微信订阅号(开发者模式)上实现,目的是学习微信公众平台开发.验证SAE的功能,并研究SAE+微信公众平台的实用性及应用场景.因仅是进行技术学习的示例子,所以忽略公众号在非开发者模式下可以简单实现该功能的事实. 感谢方倍公作室的教程,让我一开始就站上一个高度:微信公众平台开发入门教程 应用比较简单,直接上代码了: <?p

django提交post请求

在做post的时候,view.py用到了下面的方法,如果是POST的method,就通过request.POTST['XX']获得html中name为XX的值,然后将值save到数据库里 models.py: from projectmanage.settings import DBNAMEfrom mongoengine import *connect(DBNAME) class project(Document): name = StringField(max_length=120, req

妥善的ajax跨域提交post请求的解决方案,结合PHP与jquery

开发背景: 在开发中采用了一个新的架构,将大部分客户的留言功能集成到一个公共API提交保存,采用不同的用户名区分,供客户查询自己网站的留言,这样节约了客户网站的资源,也提升了维护性. 那么在提交时不能采用直接的post提交,否则会产生跳转,使访客混乱,所以采用ajax提交留言内容至公共服务器:http://wx.igooda.cn/index.php/messagesave,但尝试后发现不能提交post请求,百度后查询结果是跨域只能是get请求,这对留言内容多的来说,是不可行的.还有一种解决方案

EBS环境提交新请求默认是&quot;单一请求&quot;

http://blog.csdn.net/samt007/article/details/38304239 用过EBS的请求都知道,提交一个新报表都要点好几个按钮,其中一个很麻烦的就是选择提交新请求的类型:单一请求或者请求集. 其实一般99%的情况都是单一请求,这个确实是没必要选择的. 现在有个办法可以很完美解决这个问题. 逻辑是: 增加一个Profile值设定,是否启用默认提交单个请求的标识. 如果启用,则: 每次提交新请求,当定位到运行请求类型的时候,都默认选择单个请求,并且自动点击“确定”

scrapy 发post请求

可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求. 如果希望程序执行一开始就发送POST请求,可以重写Spider类的start_requests(self) 方法,并且不再调用start_urls里的url. class mySpider(scrapy.Spider): # start_urls = ["http://www.example.com/"] def start_requests(self):