5.airflow问题

1.

Traceback (most recent call last):
  File "/usr/bin/airflow", line 28, in <module>
    args.func(args)
  File "/usr/lib/python2.7/site-packages/airflow/bin/cli.py", line 858, in serve_logs
    host=‘0.0.0.0‘, port=WORKER_LOG_SERVER_PORT)
  File "/usr/lib64/python2.7/site-packages/flask/app.py", line 843, in run
    run_simple(host, port, self, **options)
  File "/usr/lib/python2.7/site-packages/werkzeug/serving.py", line 736, in run_simple
    inner()
  File "/usr/lib/python2.7/site-packages/werkzeug/serving.py", line 696, in inner
    fd=fd)
  File "/usr/lib/python2.7/site-packages/werkzeug/serving.py", line 590, in make_server
    passthrough_errors, ssl_context, fd=fd)
  File "/usr/lib/python2.7/site-packages/werkzeug/serving.py", line 501, in __init__
    HTTPServer.__init__(self, (host, int(port)), handler)
  File "/usr/lib64/python2.7/SocketServer.py", line 419, in __init__
    self.server_bind()
  File "/usr/lib64/python2.7/BaseHTTPServer.py", line 108, in server_bind
    SocketServer.TCPServer.server_bind(self)
  File "/usr/lib64/python2.7/SocketServer.py", line 430, in server_bind
    self.socket.bind(self.server_address)
  File "/usr/lib64/python2.7/socket.py", line 224, in meth
    return getattr(self._sock,name)(*args)
socket.error: [Errno 98] Address already in use

上面报了WORKER_LOG_SERVER_PORT这个,查下配置文件,是celeryexecutor像master合并日志的端口。

用root执行:

[[email protected] ~]# netstat -apn | grep 8793
tcp        0      0 0.0.0.0:8793            0.0.0.0:*               LISTEN      85717/airflow serve
[[email protected] ~]#
[[email protected] ~]# ps -ef|grep 85717
root      85717      1  0 09:33 ?        00:00:01 /usr/bin/python /usr/bin/airflow serve_logs
root      90578  90367  0 09:58 pts/15   00:00:00 grep --color=auto 85717
[[email protected] ~]# kill 85717

可以看到原因是:之前错误的用root执行了airflow worker命令,启动了一个服务,占了这个端口。kill掉后用bqadm启动airflow worker即可。

来自为知笔记(Wiz)

时间: 2024-10-09 02:44:36

5.airflow问题的相关文章

2.airflow参数简介

比较重要的参数: 参数 默认值 说明 airflow_home /home/airflow/airflow01 airflow home,由环境变量$AIRFLOW_HOME决定 dags_folder /home/airflow/airflow01/dags dag python文件目录 base_log_folder /home/airflow/airflow01/logs 主日志目录 executor SequentialExecutor, LocalExecutor, CeleryExe

3.Airflow使用

1. airflow简介2. 相关概念2.1 服务进程2.1.1. web server2.1.2. scheduler2.1.3. worker2.1.4. celery flower2.2 相关概念2.2.1. dag2.2.2.task2.2.3.Operator2.2.4 scheduler2.2.5.worker2.2.6.executor2.2.7.Task Instances2.2.8.pool2.2.9.connection2.2.10.Hooks2.2.11.Queues2.2

4.airflow测试

1.测试sqoop任务1.1 测试全量抽取1.1.1.直接执行命令1.1.2.以shell文件方式执行sqoop或hive任务1.2 测试增量抽取2.测试hive任务3.总结 当前生产上的任务主要分为两部分:sqoop任务和hive计算任务,测试这两种任务,分别以shell文件和直接执行命令的方式来测试. 本次测试的表是airflow.code_library. 1.测试sqoop任务 1.1 测试全量抽取 1.1.1.直接执行命令 from airflow import DAG from ai

1.airflow的安装

1.环境准备1.1 安装环境1.2 创建用户2.安装airflow2.1 安装python2.2 安装pip2.3 安装数据库2.4 安装airflow2.4.1 安装主模块2.4.2 安装数据库模块.密码模块2.5 配置airflown2.5.1 设置环境变量2.5.2 修改配置文件3. 启动airflow3.1 初始化数据库3.2 创建用户3.3 启动airflow4.执行任务5.安装celery5.1 安装celery模块5.2 安装celery broker5.2.1 使用RabbitM

Airflow使用笔记

设置AirFlow根路径:vi /etc/profile => export AIRFLOW_HOME=/opt/airflow 安装: pip install airflow 初始化数据库:airflow initdb 设置Mysql为数据库:vi airflow.cfg => sql_alchemy_conn = mysql://root:[email protected]:3306/airflowdb

airflow 优化

1. 页面默认加载数据过多,加载慢. 修改 .../python2.7/site-packages/airflow/www/views.py文件, 1823行, page_size参数, 比如改成18  .重启webserver.  然后速度嗖嗖的. class AirflowModelView(ModelView): list_template = 'airflow/model_list.html' edit_template = 'airflow/model_edit.html' creat

工作流管理平台Airflow

Airflow 1. 引言 Airflow是Airbnb开源的一个用Python写就的工作流管理平台(workflow management platform).在前一篇文章中,介绍了如何用Crontab管理数据流,但是缺点也是显而易见.针对于Crontab的缺点,灵活可扩展的Airflow具有以下特点: 工作流依赖关系的可视化: 日志追踪: (Python脚本)易于扩展 对比Java系的Oozie,Airflow奉行"Configuration as code"哲学,对于描述工作流.

[Airflow] ImportError: No module named lockfile.pidlockfile

When setting up a clean install of airflow on ubuntu 14.04, I ran into the following error: [email protected]:~$ airflow [2016-07-19 15:37:41,839] {__init__.py:36} INFO - Using executor SequentialExecutor [2016-07-19 15:37:41,912] {driver.py:120} INF

【airflow实战系列】 基于 python 的调度和监控工作流的平台

简介 airflow 是一个使用python语言编写的data pipeline调度和监控工作流的平台.Airflow被Airbnb内部用来创建.监控和调整数据管道.任何工作流都可以在这个使用Python来编写的平台上运行. Airflow是一种允许工作流开发人员轻松创建.维护和周期性地调度运行工作流(即有向无环图或成为DAGs)的工具.在Airbnb中,这些工作流包括了如数据存储.增长分析.Email发送.A/B测试等等这些跨越多部门的用例. 这个平台拥有和 Hive.Presto.MySQL