解决Scrapy shell启动出现UnicodeEncodeError问题

windows 命令行编码是cp936,而D:\Python27\Scripts\scrapy脚本编码是Unicode编码顾在命令行启动会出现编码问题

解决办法:修改D:\Python27\Scripts\ 下的scrapy文件,这个文件即scrapy命令的程序文件,加上如下代码即可:

import sys
default_encoding = ‘cp936‘
if sys.getdefaultencoding() != default_encoding:
reload(sys)
sys.setdefaultencoding(default_encoding)

在scrapy运行爬虫程序时若出现UincodeencodeError时在程序文件中加入以上代码即可解决编码问题

解决Scrapy shell启动出现UnicodeEncodeError问题

时间: 2024-10-11 06:53:44

解决Scrapy shell启动出现UnicodeEncodeError问题的相关文章

Scrapy之Scrapy shell

Scrapy Shell Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据. 如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端). IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性.(推荐安装IPython) 启动Scrapy Shell 进入项目的根目录,执行下列命令来启动shell: sc

python爬虫scrapy之scrapy终端(Scrapy shell)

Scrapy终端是一个交互终端,供您在未启动spider的情况下尝试及调试您的爬取代码. 其本意是用来测试提取数据的代码,不过您可以将其作为正常的Python终端,在上面测试任何的Python代码. 该终端是用来测试XPath或CSS表达式,查看他们的工作方式及从爬取的网页中提取的数据. 在编写您的spider时,该终端提供了交互性测试您的表达式代码的功能,免去了每次修改后运行spider的麻烦. 一旦熟悉了Scrapy终端后,您会发现其在开发和调试spider时发挥的巨大作用. 如果您安装了 

scrapy shell

一.scrapy shell 1.安装pip install Jupyter 2.在pycharm中的启动命令: scrapy shell 注:启动后关键字高亮显示 3.查看response 执行scrapy shell http://www.521609.com,查看response 二.Scrapyshell 使用细节 注:调用:scrapy shell https://www.xxx.com/ 1.Scrapyshell 终端是一个交互终端 我们可以在未启动spider的情况下尝试及调试代

Scrapy框架----- Scrapy Shell

Scrapy Shell Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据. 如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端). IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性.(推荐安装IPython) 启动Scrapy Shell 进入项目的根目录,执行下列命令来启动shell: sc

Scrapy——2 Scrapy shell

Scrapy--2      Scrapy shell 什么是Scrapy shell Scrapy shell终端是一个交互终端,我们可以在未启动spider的情况下尝试调试代码,也可以用来测试Xpath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取数据 Scrapy内置选择器: xpah():传入xpath表达式,返回该方法所对应的所有节点的selector list列表 extract():序列化该节点为Unicode字符串并返回list  /  extracrt_first

解决mongodb服务启动 Permission denied:exception in ...

解决mongodb服务启动报错:exception in initAndListen: 98 Unable to create/open lock file: /var/lib/mongodb/mongod.lock errno:13 Permission denied is a mongod instance already running? mongodb服务启动不成功,通过查看日志文件,命令: [Shell] 纯文本查看 复制代码 ? 1 sudo gedit /var/log/mongo

如何解决Apache无法启动的问题

今天重装xampp后,一直无法启动Apache,提示以下错误: 22:36:54 [Apache] Attempting to start Apache app...22:36:54 [Apache] Status change detected: running22:36:55 [Apache] Status change detected: stopped22:36:55 [Apache] Error: Apache shutdown unexpectedly.22:36:55 [Apach

MySQL:解决MySQL无法启动的问题

MySQL无法启动的原因有多种,这里是我遇到的一种情况和解决方法. 起因: 最近项目需要使用MySQL,于是想在MAC上安装一个本地的数据库,但是其实忘了已经安装过一个版本了,结果发现新的服务器怎么也无法运行. 现象: 通过命令行启动MySQL:sudo /usr/local/mysql/support-files/mysql.server start Starting MySQL 一直得到这个错误: ERROR! The server quit without updating PID fil

scrapy shell 用法(慢慢更新...)

scrapy shell 命令 1.scrapy shell url #url指你所需要爬的网址 2.有些网址数据的爬取需要user-agent,scrapy shell中可以直接添加头文件, 第①种方法 scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36" url #url指你所