centos7+docker 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker

1.先决条件centos7+docker最新版本

 sudo yum updat

2.配置一下镜像源,创建/etc/docker/daemon.conf文件,在其中输入如下内容

{
 "registry-mirrors": ["https://registry.docker-cn.com"]
}

3.启动docker命令:

systemctl start docker 

重启docker服务:

service docker restart

4.查看和下载Crawlab的镜像命令 :

docker search crawlab                   #(查找Crawlab镜像)
docker pull tikazyq/crawlab:latest       #(下载Crawlab镜像)

5.创建docker组:

sudo groupadd docker    (删除docker这个用户:userdel -r docker)

6.centos7查看所有用户:

cut -d : -f 1 /etc/group

7.将您的用户添加到该docker用户组,命令:

sudo usermod -aG docker 用户名

8.查看“docker”组下的所有用户,命令:

  grep 'docker' /etc/group

9.Docker Compose安装

sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

稍等片刻,有点慢!!!!

赋权:

sudo chmod +x /usr/local/bin/docker-compose

查看版本:

docker-compose --version

10.查找docker-compose.yml文件位置:

find / -name "docker-compose.yml*"

(会出现find: ‘/run/user/1000/gvfs’: 权限不够,执行:umount /run/user/1000/gvfsrm -rf /run/user/1000/gvfs,再执行就不会出错了!!!

11.图中:

/var/lib/docker/overlay2/50df4de9bf340501cade27650953ad983948b10e13bbe931710ef090ab1a4602/diff/app/docker-compose.yml-----------是我的路径

cd 到app目录就可以了

vim docker-compose.yml   #编辑

注意: 新版镜像的CRAWLAB_API_ADDRESS是这样的: CRAWLAB_API_ADDRESS: "http://192.168.157.128:8000"

12.启动 Crawlab

? cd 进入到docker-compose.yml 所在文件目录下

? 才能运行:docker-compose up 集群启动容器,否则找不到文件

查看woker容器日志命令:docker-compose logs worker

正常会启动四个容器:master、woker、redis、mongo

第一次次启动会下载安装并配置节点和数据库(redis 和mongodb)

13.Crawlab

浏览器访问 :http://ip:8080 用户名密码是 admin/admin

第一次访问没问题,但是第二次启动会报各种错,博主正在研究中-----持续更新中!!!

原文地址:https://www.cnblogs.com/duhy/p/12028408.html

时间: 2024-10-11 00:55:09

centos7+docker 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker的相关文章

CentOS7的安装及部署javaweb项目 - 学习笔记

一, 概述: 这两天在捣鼓linux的东西,安装及配置网络环境,共享设置,以及安装jdk , tomcat环境,并将自己开发的javaweb系统部署到上述环境中.经过周末熬到深夜,终于搞掂,现在整理一下笔记,分享出来,以后也可以回顾. 二, 安装CentOS7: 我这里是基于VirtualBox的安装,安装的是无桌面版本CentOS 1, 下载virtualbox并安装 此处省略100字.... 2, 下载CentOS最小安装版本 官网: https://www.centos.org/downl

如何通过 Scrapyd + ScrapydWeb 简单高效地部署和监控分布式爬虫项目

来自 Scrapy 官方账号的推荐 需求分析 初级用户: 只有一台开发主机 能够通过 Scrapyd-client 打包和部署 Scrapy 爬虫项目,以及通过 Scrapyd JSON API 来控制爬虫,感觉命令行操作太麻烦,希望能够通过浏览器直接部署和运行项目 专业用户: 有 N 台云主机,通过 Scrapy-Redis 构建分布式爬虫 希望集成身份认证 希望在页面上直观地查看所有云主机的运行状态 希望能够自由选择部分云主机,批量部署和运行爬虫项目,实现集群管理 希望自动执行日志分析,以及

gerrit 基于docker实现的部署,包括nginx ssl、mysql

gerrit 基于docker容器的部署: 命令行启动 1.  启动mysql容器 sudo docker run --name mysql -d -v /gerrit_mysql_data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123qwezxc -e MYSQL_DATABASE=reviewdb -e MYSQL_USER=gerrit2 -e MYSQL_PASSWORD=gerrit mysql 2. 启动gerrit容器 sudo docker 

Docker安装和基本操作

一.Docker安装 CentOS7安装Docker CE $sudo yum install -y yum-utils device-mapper-persistent-data lvm2 $sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo $sudo yum install docker-ce 注意:以上安装的是最新版18.03,如果要安装指定版本可以使用以下命

调度系统Airflow1.10.4调研与介绍和docker安装

Airflow1.10.4介绍与安装 现在是9102年,8月中旬.airflow当前版本是1.10.4. 随着公司调度任务增大,原有的,基于crontab和mysql的任务调度方案已经不太合适了,需要寻找一个可以支持分布式扩容的调度系统解决方案. 最初瞄准azkaban来着,想着基于这个的二次开发.对比功能和社区热度之后,Airflow比较符合我们寻找的调度系统. 什么是Airflow Airflow是一个以编程方式创作,安排和监控工作流程的平台.对比crontab来看,它是一个可以定时调度任务

docker安装使用

介绍 Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化.容器是完全使用沙箱机制,相互之间不会有任何接口. 来自百度百科: http://baike.baidu.com/link?url=xk95L4b2jAH5C_U44AwkUEV4DoM2q23PZ018SJ48xEhn1jIPlinOkcLn8sZ3TNfBi7iB3__AGTMQjDC8U_Q4Xq 官方社区:http://docs

docker 安装最新版mysql 客户端连接不上的问题

问题:docker 安装mysql后,使用sqlyog连接不上: 1:进入docker容器中,发现mysql的加密方式为caching_sha2_password 2:修改加密方式 3:查看 4:完成! 原文地址:https://www.cnblogs.com/xkkdev/p/10783119.html

Centos7.3 Docker安装部署学习记录1

一.Docker基础环境的安装 1. 环境说明 本机采用操作系统如下: CentOS-7.3-X86-64,内核3.10 x64位,docker 1.12.x版本.   建议采用CentOS7版本或ubuntu版本,本文采用CentOS7即CentOS-7-x86_64-DVD-1611.iso版本最小化安装.    Docker可以在虚拟机环境中运行进行使用测试.本文出自:http://koumm.blog.51cto.com/ 2. 主机网络 1)关闭firewalld防火墙和SELinux

CentOS7.X环境下基于docker安装部署RabbitMQ集群

1.IP地址规划(将信息配置到/etc/hosts中)主机名 IP地址RabbitMQ01 192.168.8.131RabbitMQ02 192.168.8.132RabbitMQ03 192.168.8.133RabbitMQ04 192.168.8.1342.RabbitMQ集群安装(1)四个节点同时运行,下载RabbitMQ镜像[[email protected]~]# docker pull rabbitmq:3-management(2)四个节点分别运行,启动RabbitMQ容器 [