Scrapy运行项目时出错:Scrapy 0.16.2 – no active project,Unknown command: crawl,Use "scrapy" to see available commands

【问题】

通过Scrapy创建好了项目:


1

E:\Dev_Root\python\Scrapy>scrapy startproject songtaste

运行项目,结果出错:


1

2

3

4

5

6

E:\Dev_Root\python\Scrapy>scrapy crawl songtaste -t json -o h1user.json

Scrapy 0.16.2 - no active project

Unknown command: crawl

Use "scrapy" to see available commands

【解决过程】

1.参考:

Trying to get Scrapy into a project to run Crawl command

然后才知道,原来是需要切换到对应的项目所在文件夹,再运行crawl,才可以的。

2.所以去,切换到项目所在目录songtaste子文件夹中,再运行,就可以了:

?


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

E:\Dev_Root\python\Scrapy>cd songtaste

E:\Dev_Root\python\Scrapy\songtaste>scrapy crawl songtaste -t json -o h1user.json

2012-11-12 22:39:13+0800 [scrapy] INFO: Scrapy 0.16.2 started (bot: songtaste)

2012-11-12 22:39:13+0800 [scrapy] DEBUG: Enabled extensions: FeedExporter, LogStats, TelnetConsole, CloseSpider, WebServ

ice, CoreStats, SpiderState

2012-11-12 22:39:14+0800 [scrapy] DEBUG: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware,

UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, RedirectMiddleware, CookiesMiddleware, HttpCompressionMi

ddleware, ChunkedTransferMiddleware, DownloaderStats

2012-11-12 22:39:14+0800 [scrapy] DEBUG: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMidd

leware, UrlLengthMiddleware, DepthMiddleware

2012-11-12 22:39:14+0800 [scrapy] DEBUG: Enabled item pipelines:

2012-11-12 22:39:14+0800 [songtaste] INFO: Spider opened

2012-11-12 22:39:14+0800 [songtaste] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

2012-11-12 22:39:14+0800 [scrapy] DEBUG: Telnet console listening on 0.0.0.0:6023

2012-11-12 22:39:14+0800 [scrapy] DEBUG: Web service listening on 0.0.0.0:6080

2012-11-12 22:39:14+0800 [songtaste] DEBUG: Crawled (200) <GET http://www.songtaste.com/user/351979/> (referer: None)

2012-11-12 22:39:14+0800 [songtaste] DEBUG: Scraped from <200 http://www.songtaste.com/user/351979/>

        {‘h1user‘: [u‘crifan‘]}

2012-11-12 22:39:14+0800 [songtaste] INFO: Closing spider (finished)

2012-11-12 22:39:14+0800 [songtaste] INFO: Stored json feed (1 items) in: h1user.json

2012-11-12 22:39:14+0800 [songtaste] INFO: Dumping Scrapy stats:

        {‘downloader/request_bytes‘: 235,

         ‘downloader/request_count‘: 1,

         ‘downloader/request_method_count/GET‘: 1,

         ‘downloader/response_bytes‘: 11058,

         ‘downloader/response_count‘: 1,

         ‘downloader/response_status_count/200‘: 1,

         ‘finish_reason‘‘finished‘,

         ‘finish_time‘: datetime.datetime(2012, 11, 12, 14, 39, 14, 431000),

         ‘item_scraped_count‘: 1,

         ‘log_count/DEBUG‘: 8,

         ‘log_count/INFO‘: 5,

         ‘response_received_count‘: 1,

         ‘scheduler/dequeued‘: 1,

         ‘scheduler/dequeued/memory‘: 1,

         ‘scheduler/enqueued‘: 1,

         ‘scheduler/enqueued/memory‘: 1,

         ‘start_time‘: datetime.datetime(2012, 11, 12, 14, 39, 14, 275000)}

2012-11-12 22:39:14+0800 [songtaste] INFO: Spider closed (finished)

【总结】

虽然此错误,很低级,但是,由于新接触Scrapy,由于不太熟悉,所以还是很容易犯的。

转载请注明:在路上 ? 【已解决】Scrapy运行项目时出错:Scrapy 0.16.2 – no active project,Unknown command: crawl,Use "scrapy" to see available commands

原文地址:http://www.cnblogs.com/zfquan/p/8108905.html

时间: 2024-10-08 20:54:20

Scrapy运行项目时出错:Scrapy 0.16.2 – no active project,Unknown command: crawl,Use "scrapy" to see available commands的相关文章

Scrapy错误-no active project Unknown command: crawl

在运行别人的scrapy项目时,使用命令行 scrapy crawl douban(douban是该项目里爬虫的名字,烂大街的小项目---抓取豆瓣电影). 执行之后,出现报错如下: 上网搜寻无果. 大多数是说路径不对,需要进入到项目工程的路径下,然而,我在项目的路径里. 听从建议使用了“scrapy”命令行之后发现,能使用的命令如下: 没有crawl,很奇怪.反复查看后,发现了那句no active project,说明我的工程有问题. 于是去看了看目录结构.查了下手册.在使用命令行startp

VS2010 F5调试时出现:“ 尝试运行项目时出错:未捕获通过反射调用的方法引发的异常”解决

S2010 F5调试时出现 尝试运行项目时出错:未捕获通过反射调用的方法引发的异常 两个解决方法:1) 打开项目属性,选择调试选项卡,将“启用非托管代码调试”一项钩上.2) 打开项目属性,选择调试选项卡,将“启用Visual Studio宿主进程“一项钩掉. 原文地址:https://www.cnblogs.com/gisoracle/p/9690123.html

创建Android项目时出错——No resource found that matches the given name &#39;Theme.AppCompat.Light&#39;

创建Android项目时出错,error: Error retrieving parent for item: No resource found that matches the given name 'Theme.AppCompat.Light'. 问题描述: 创建一个Android应用项目时,需指定其适用的SDK版本,默认如下图: 最低适用版本为:API 8: Android 2.2 (Froyo) 目标版本为:API 21: Android 4.X (L Preview) 编译版本为:A

Tomcat部署项目时出错java.lang.IllegalStateException: ContainerBase.addChild: start:org.apache.catalina.Life

Tomcat部署项目时出错java.lang.IllegalStateException: ContainerBase.addChild: start:org.apache.catalina.LifecycleException: Failed to start component[StandardEngine[Catalina].StandardHost[localhost].StandardContext[/项目名]] 一个很简单的项目,没有出现编译错误,从Eclipse中用Tomcat v

nuxt下运行项目时内存溢出的一种情况

话不多说直接上代码: 如图,点红点的三行引入了一个组件,内容是同意注册协议的弹窗.但是在run dev的时候提示说内存溢出了(out of memory)...经过多方排查,定位到这个组件,警察叔叔就是他! 组件的内容非常简单,总共不到70行代码,就不再贴了.先删掉了js,生命周期,methods,watch删的干干净净:又开始删template,只剩下一个<p>111</p>:css没有动,它还能出什么幺蛾子?但是还是报错啊!后来同事猜测说就是css的问题:我们的弹窗使用了ele

使用IDEA运行项目时提示:Warning:java: 源值1.5已过时, 将在未来所有发行版中删除

如图 在使用IDEA运行项目时,在下方提示:Warning:java: 源值1.5已过时, 将在未来所有发行版中删除 这是因为JDK版本问题 解决方法如下:左上角 file ——> Project Structure 找到 Modules 和 Project 两项 在框内选择自己本地安装的 JDK 版本 然后同样找到  file ——> Settings 最后,重新运行项目 就不会提示这个问题了. 原文地址:https://www.cnblogs.com/yqcg/p/12074368.htm

jsp配置项目时出错Deployment failure on Tomcat 6.x. Could not copy all resources to

转自:http://www.2cto.com/kf/201201/116853.html 今天在网上部署项目的时候出现在了问题 tomcat一直部署不上 网上查了一下 原因记下来供大家查看 [plain] <span style="font-size:18px;">Deployment failure on Tomcat  6.x. Could not copy all resources to D:\Program Files\apache-tomcat-6.0.16\w

项目 XXX 受源代码管理。向源代码管理注册此项目时出错。建议不要对此项目进行任何修改

错误描述:  解决办法: 使用记事本打开,项目csproj文件删除图中几行,重新打开解决方案就可以了 原因分析: 导致上述错误的原因是:项目用visual studio的svn插件进行创建,但是在其他的机器上进行过去项目的时候没有在visual studio中设置源代码管理器,从而导致上面的问题. 了解原因之后的解决方法: 在其他的机器上获取由visual studio的svn插件创建的项目时先设定visual studio的源代码管理器,然后在进行获取项目就可以了.

maven 构建项目时出错 “Dynamic Web Module 3.1 requires Java 1.7 or newer” in Eclipse

记录一下,水平太菜,花费了半天时间. pom.xml <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.1</version> <configuration> <source&