docker容器与大数据组件的冲突点

1.容器里面安装spark，外面的程序（安装spark主机的容器）会连接不上集群。理由：这个组件用的akka，连接上集群，会提示：

akka.ErrorMonitor: dropping message [class akka.actor.ActorSelectionMessage] for non-local recipient [Actor[akka.tcp://[email protected]:50071/]] arriving at [akka.tcp://[email protected]:50071] inbound addresses are [akka.tcp://[email protected]:7077]
akka.event.Logging$Error$NoCause$

akka会检测连接的url，像这种会连接失败，就是因为外面程序设置的master是localhost:50071，不符合funslave0:7077这个格式

碰到这种情况，只有删除容器重来.docker系统不能在运行中途更改映射端口。

原文地址：https://www.cnblogs.com/dgutfly/p/9953891.html

时间： 2024-11-04 21:04:36

docker容器与大数据组件的冲突点的相关文章

七牛云宫静：基于容器和大数据平台的持续交付平台

7 月 6 日上午,在 ArchSummit 2018 深圳站 | 全球架构师峰会上,七牛云工程效率部技术专家宫静分享了<基于容器和大数据平台的持续交付平台>为题的演讲.本文是对演讲内容的整理.? ? 本次分享的主要内容是基于容器和大数据平台去构建的持续交付系统,是七牛云工程效率部在持续交付.容器化方面去做的技术实践.将从以下两个方向展开:一个是容器化方向,一个是持续交付的平台.主要会结合在七牛云的实践来介绍这个持续集成.持续部署在容器化方向的探索和思考,以及未来方向的考虑.? 01 业务场景

[docker] 管理docker容器中的数据

之前我们介绍了Docker的基本概念(前面的没翻译...),了解了如何使用Docker镜像进行工作,并且学习了网络和容器之间的链接.这一节我们将讨论如何管理容器中及容器之间的数据. 我们将查看下面两种管理Docker中数据的主要方法. 数据卷数据卷容器数据卷一个数据卷就是经过特殊设计的,在一个或多个容器中通过UFS文件系统提供的一些特性实现数据持久化或共享. 数据卷可以在容器之间共享和重复利用可以对数据卷里的内容直接进行修改对镜像的更新不会改变数据卷的内容卷会一直持续到没有容器使

大数据组件

一.大数据组件分类: 1.计算类: hadoop,spark,flink,hive 2.传输类:kafka,flume,redis 3.存储类:hbase,mongodb,Cassandra 4.调度类:zookeeper 5.配置类:mesos,yarn 二.流行的框架SMACK Spark Mesos Akka Cassandra Kafka 三.Apache Zookeeper 分布式调度 Spark 计算 Kafka 中心化传输整合数据,面向服务 Cassandra 线性增加容量,节省资

如何在Docker容器之间拷贝数据

[编者的话]在容器之间拷贝数据是Docker一个重要而且基本的功能.拷贝数据到其他容器是一个经常使用到的场景,如当服务器遇到不可预见的“灾难”(注:断电,宕机)时,起到备份数据的作用.本文作者详细介绍了操作步骤. 如何在Docker容器之间拷贝数据 Docker容器可以类比成一个目录,它可以将一个应用程序运行时所依赖的所有环境(注:此应用依赖的其他的服务或程序等)打包在一起运行:同时可以随意的对它进行“启动”.“停止”.“移动”或者“删除”等操作.Docker容器在Linux的命名空间(Name

使用burpsuite等代理工具抓取docker容器中的数据包

使用burpsuite等代理工具抓取docker容器中的数据包,下面是详细的教程. 以docker中的某个漏洞平台(bwapp)为例,展示如何抓包. 1.首先使用docker下载bwapp: # docker pull raesene/bwapp 2.然后运行bwapp (使用命令 --env HTTP_PROXY="http://192.168.43.14:8080" 来进行代理设置,这里设置的是burpsuite中的ip地址以及端口) # docker run -d --n

容器技术Docker 容器操作大总结

Docker实战之容器操作: 新建容器: docker create创建的容器处于停止状态,可以使用docker start命令启动Docker容器. 使用docker run命令,可以创建一个运行中的容器. create命令与容器运行模式相关的选项: -a,--attach=[] 是否绑定到标准输出.输入和错误 -a,--detach=true|false 是否在

大数据组件原理总结-Hadoop、Hbase、Kafka、Zookeeper、Spark

Hadoop原理分为HDFS与Yarn两个部分.HDFS有Namenode和Datanode两个部分.每个节点占用一个电脑.Datanode定时向Namenode发送心跳包,心跳包中包含Datanode的校验等信息,用来监控Datanode.HDFS将数据分为块,默认为64M每个块信息按照配置的参数分别备份在不同的Datanode,而数据块在哪个节点上,这些信息都存储到Namenode上面.Yarn是MapReduce2,可以集成更多的组件,如spark.mpi等.MapReduce包括Job

大数据云计算高级实战Hadoop，Flink，Spark，Kafka，Storm，Docker高级技术大数据和Hadoop技能

大数据和Hadoop技能可能意味着有你的梦想事业和被遗忘之间的差异.骰子引用:“技术专业人员应该志愿参与大数据项目,这使他们对目前的雇主更有价值,对其他雇主更有销路.” 1.与Hadoop的职业:根据福布斯2015年的一份报告,约有90%的全球性组织报告了中高级别的大数据分析投资,约三分之一的投资者称其投资“非常重要”.最重要的是,约三分之二的受访者表示,数据和分析计划对收入产生了重大的可衡量的影响. Hadoop技能是需求的 - 这是不可否认的事实!因此,IT专业人士迫切需要使用 Hadoop

Docker容器间中的数据如何共享？

本文和大家分享的是Docker进阶中容器中的数据管理相关知识,希望可以帮助大家更好的学习Docker,一起来看看吧. 先思考一些场景,如果利用Docker创建了一个N个容器,这些容器之间需要数据共享,此时该怎么办?如果我们想在本机了解容器的运行状态.命令历史等,此时该怎么办? 按照Docker官方文档的说明,容器中的数据管理有两种形式: Manage data in containers 数据卷(Data Volumes) 可以将"数据卷"理解为容器中的一个目录,类似于Linux中mo