[原创]Ubuntu下 使用scrapyd+Supervisor管理爬虫

1、 安装 scrapyd

pip install scrapyd

2、 安装 scrapyd 客户端 scrapyd-client

pip install scrapyd-client

3、 安装 supervisor. 这里一定要加sudo,否则会安装失败。我是root用户登录的,不知道为什么一定要加sudo?

sudo pip install supervisor

4、 创建 supervisor 配置文件

echo_supervisord_conf > /etc/supervisord.conf

5、 在 supervisor 配置文件  /etc/supervisord.conf 末尾加入以下内容

[include]
files = /etc/supervisor/*.conf

5、 在目录 /etc/supervisor/ 下创建项目配置文件 scrapyd.conf,参考配置如下

[program:scrapyd]
command=scrapyd
autorestart=true
时间: 2024-10-07 11:01:16

[原创]Ubuntu下 使用scrapyd+Supervisor管理爬虫的相关文章

Ubuntu下wxWidgets学生公寓管理编程,sqlite3的用法(mysql数据库),窗体,下面是部分添加和删除功能,其他功能可以联系我。。

以下是学生公寓信息管理的增加和删除,仅供参考.. void StuManaFrame::OnAdd(wxCommandEvent &event) { //add student's dormitory infomation sqlite3 *db=NULL; int flag; char *errmsg; flag = sqlite3_open("./stuinfo.db",&db); if(SQLITE_OK != flag) { wxLogMessage("

ubuntu下python+tornado+supervisor+nginx部署

由于之前在医院采集的数据都是拍照得到的处方图片,而需要用到的是处方的文本形式.因此这两个星期写了个小程序把服务器的图片显示给用户(到时候雇一些人),让用户根据图片录入文字信息. 之前都是用java写web,想到自己最近学机器学习要用python,所以用python来写一下,此外,因为想用点新东西,也介于程序比较小,所以考虑用mongodb来存储(虽然确实没有必要). 基本架构是这样:(后台语言)python +(web框架和web服务器)tornado + (数据库)mongodb  +(进程管

在ubuntu下用apt-get安装和管理java

1. 简介 本文将介绍如何在ubuntu下使用apt-get安装不同版本的java. 2. 安装默认的JRE/JDK 这种是最简便的方法,(原文OpenJDK6→ubuntu12.04,Open'JDK6→ubuntu12.10+) 更新软件包列表 sudo apt-get update 检查是否已经安装java java -version 如果没有安装,继续.(这一步安装JRE,可以跳过–译者注) sudo apt-get install default-jre 安装JDK sudo apt-

ubuntu下的supervisor启动express失败问题

ubuntu下apt-get install nodejs后的启动命令是nodejs,而不同于windows下的node 所以我在supervisor启动express的时候出现了问题 提示如下: /usr/bin/env: "node": 没有那个文件或目录 然后whereis node,查看到文件都是nodejs形式命名,所以supervisor启动node的时候没有找到可执行的文件. 解决方法如下: cd  /usr/bin ls -s /usr/bin/nodejs /usr/

Linux包管理命令与Ubuntu下安装nginx的方法

rpm包和deb包是两种Linux系统下最常见的安装包格式,在安装一些软件或服务的时候免不了要和它们打交道.rpm包主要应用在RedHat系列包括 Fedora等发行版的Linux系统上,deb包主要应用于Debian系列包括现在比较流行的Ubuntu等发行版上. 二者对应的安装命令分别为rpm与dpkg. Ubuntu的软件包格式是deb,如果要安装rpm的包,则要先用alien把rpm转换成deb.alien安装与转换命令: sudo apt-get install alien #安装ali

Ubuntu下安装RabbbitVCS(图形化svn管理工具)- Ubuntu也有TortoiseSVN

在Windows下用惯了TortoiseSVN这只小乌龟,到了Ubuntu下很不习惯命令行的SVN,于是经过一番寻找安装了RabbitVCS这款SVN图形化前端工具(官方网站:http://rabbitvcs.org/),界面和功能可以说几乎和TortoiseSVN一模一样,与Nautilus整合程度很高,右键菜单.文件夹图标等等使用习惯一个都不落下!而且还有git等功能,这绝对算得上是最佳替代品. 废话不多说,开始安装! 在终端输入如下命令添加源:sudo add-apt-repository

【云计算】使用supervisor管理Docker多进程-ntpd+uwsgi+nginx示例最佳实践

supervisor安装启动: apt-get install supervisor -y # start supervisord nodaemon /usr/bin/supervisord --nodaemon nginx示例: [program:nginx] command = /usr/sbin/nginx -g 'daemon off;' process_name = %(program_name)s stopsignal = QUIT autostart = true # starts

ubuntu下手动创建应用的快捷方式

ubuntu下手动创建应用的快捷方式 在使用ubuntu开发的时候总是难免要安装一些开发类 的软件, 那么来谈下ubuntu下几种软件的安装方式: 1.★★★★★ 通过命令安装的,如 apt-get,apt-repository,ppa等,这种没有任何问题,最方便最好用,稳定性也最好,只是需要提前知道某个软件的包名,不知道的话就没得玩,没法安装,比较蛋疼.虽然可以通过apt-cache search 命令搜索包名,但是还是要知道包名,而不是包显示的名字,蛋疼.软件中心有个应用可以下载下来,叫做"

APScheduler定时执行外加supervisor管理后台运行

最近写的天气爬虫想要让它在后台每天定时执行,一开始用的celery,但不知道为什么明明设置cron在某个时间运行,但任务却不间断的运行.无奈转用apscheduler,但是不管怎么设置都不能使得当调用: python  tasks.py 的时候都会阻塞在控制台.再次无奈转用supervisor. 首先是任务tasks.py: #-*- coding: utf-8 -*- #!/usr/bin/python import datetime from apscheduler.schedulers.b