Scrapy shell调试返回403错误

(1):第一种方法是在命令上加上-s USER_AGENT=‘Mozilla/5.0‘

(2):第二种方法是修改scrapy的user-agent默认值

找到Python的:安装目录下的default_settings.py文件,

C:\Program Files (x86)\Anaconda2\envs\scrapy\Lib\site-packages\scrapy\settings\default_settings.py

修改269行，USER_AGENT；

USER_AGENT = ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36‘

(2):第在请求头部构造一个User Agent，如下所示：

1 def start_requests(self):
2     yield Request("http://www.baidu.com/",
3                   headers={‘User-Agent‘: "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"})

时间： 2024-10-10 08:19:35

Scrapy shell调试返回403错误的相关文章

Centos 执行shell命令返回127错误

shell脚本功能:连接mysql,自动创建数据库,脚本如下 mysql -h$MYSQL_IP -u$MYSQL_USER -p$MYSQL_PASSWORD --default-character-set=utf8 -e "create database IF NOT EXISTS test" 数据库IP.用户.密码采用参数传值问题描述:root用户登录,直接执行.sh脚本,一切正常,使用java程序调用,命令返回127错误解决思路:网上查了一下,应该是java运行环境和登录用

Scrapy shell调试网页的信息

通过scrapy shell "http://www.thinkive.cn:10000/zentaopms/www/index.php?m=user&f=login" 证明登录成功 http://www.360doc.com/content/15/0414/20/12067640_463223209.shtml

Spring MVC Post请求返回403错误，Get请求却正常，可能是安全框架引起的前端解决办法

原文地址:http://blog.csdn.net/t894690230/article/details/52404105 困惑:很奇怪,明明在方法上面配置了RequestMethod.POST,POST表单提交却返回403状态码,可是使用GET方式却没问题啊!!! @RequestMapping(value="***", method = { RequestMethod.POST }) public ModelAndView edit() { ModelAndView model =

django post请求 403错误解决方法

--摘第一次用Django做项目,遇到了很多问题. 今天遇到的问题是Django在处理post请求时多次出现403错误. 我先描述一下问题出现的环境:我用Django写了一个web服务端,姑且称它为API吧.我在实际测试中发现,通过get方式可以从API中获得数据,但是post方式却无法获取数据,客户端显示服务器端出现403错误. 我找不出什么原因,只好新建了一个表单来测试post请求,我发现通过表单发送post请求时,页面显示403错误:Forbidden CSRF verification

Apache服务器出现Forbidden 403错误提示的解决方法总结

在配置Linux的 Apache服务时,经常会遇到http403错误,我今天配置测试时也出现了,最后解决了,总结了一下.http 403错误是拒绝访问的意思,有很多原因的.还有,这些问题在win平台的Apache里一样会发生!我按照经验总结的主要有以下4种原因! 本人测试的环境是:Scientific Linux 5.3(与RHEL和CentOS百分百兼容!),其它版本的Linux应该通用,没测试. 1. 访问的文档权限不够.要755以上权限.解决方法:用命令chmod 755 /var/ww

Scrapy之Scrapy shell

Scrapy Shell Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据. 如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端). IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性.(推荐安装IPython) 启动Scrapy Shell 进入项目的根目录,执行下列命令来启动shell: sc

Linux Shell函数返回值

转:http://blog.csdn.net/ithomer/article/details/7954577 Shell函数返回值,一般有3种方式:return,argv,echo 1) return 语句shell函数的返回值,可以和其他语言的返回值一样,通过return语句返回.示例: [javascript] view plain copy print? #!/bin/bash - function mytest() { echo "arg1 = $1" if [ $1 = &q

Scrapy框架----- Scrapy Shell

Scrapy——2 Scrapy shell

Scrapy--2 Scrapy shell 什么是Scrapy shell Scrapy shell终端是一个交互终端,我们可以在未启动spider的情况下尝试调试代码,也可以用来测试Xpath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取数据 Scrapy内置选择器: xpah():传入xpath表达式,返回该方法所对应的所有节点的selector list列表 extract():序列化该节点为Unicode字符串并返回list / extracrt_first