阿里云经典网络与Rancher VXLAN兼容性问题

近期国内很多用户曝出在阿里云的环境中无法使用Rancher的VXLAN网络,现象是跨主机的容器无法正常通信,healthcheck服务一直无法更新正常状态。经过一系列走访排查,最终定位此现象只发生在阿里云的经典网络环境下。如果你也遭遇了同样的情况,请关注此文。

阿里云经典网络部署最新的stable(v1.6.7)版本并启用VXLAN网络,使用经典网络的内网IP加入两台主机,现象如下:

Rancher的VXLAN网络除了VXLAN本身的机制外,还需要在IPtables中的RAW表中进行数据包标记,然后在Filter表中对标记数据包设置ACCEPT规则,进而实现容器跨主机通信。但是在阿里云经典网络环境中,无论如何配置安全组功能,RAW表中始终无法匹配进入主机栈的数据包。

依据“大胆假设,小心求证”的troubleshooting原则,首先我们验证了使用经典网络的公网IP注册主机,VXLAN并没有问题,这说明存在某种安全规则是作用在经典网络的内网IP的。

其次,我们知道Rancher VXLAN的实现是基于Linux kernel的VXLAN module,IPtables的数据包处理也基本是kernel处理,所以理论上讲肯定系统中存在权限更高的组件截获了VXLAN的数据,因为我们测试了在其他公有云环境并无此问题,考虑阿里云会对经典网络的内网安全做诸多限制,所以怀疑阿里云镜像内做了一些特殊的定制。

以过往使用阿里云的经验,我们对系统中内置的“安全加固”组件疑惑很大,尝试删除这个组件,可以使用这个脚本 http://update.aegis.aliyun.com/download/uninstall.sh ,但重启机器后发现VXLAN网络依然不通。无法确定是否存在删除不彻底的情况,所以重建环境并在创建VM时选择去掉“安全加固”选项。

重新添加主机,发现VXLAN一切恢复正常。

我们也正在尽力与阿里云官方取得联系,确认这种情况是否存在误杀。当前可选择的临时方案除了按照上面的说明删除“安全加固”组件外,还可以在创建VM的时候选择不使用安全加固镜像,这样Rancher VXLAN就可以正常工作。

在这里,非常感谢社区用户的热情发问,没有大家对技术专注的态度和刨根问底的精神,Rancher也无法真正发现问题的根源,Rancher会一如既往地接受用户的问题与需求,改进自身产品,真真正正能够提供一个有生产力的工具。

时间: 2024-10-08 13:12:06

阿里云经典网络与Rancher VXLAN兼容性问题的相关文章

阿里云经典网络与VPC网络互通的实现

前言 众所周知,阿里云在目前的网络条件下,具有两套类型的网络,即经典网络和 VPC网络:对于申请阿里云较早的用户,大多环境下使用的是经典网络,而后 期一般申请的vps主机都是VPC网络的: 于是乎这里就出现了经典网络与VPC网络条件下,内网互通的一个问题. 内网互通一般可以通过三部曲实现: 1) 在经典网络主机的控制台下点击连接至专有网络即可: 2) 在该经典网络主机的控制台下的"添加classic link安全组"处,实现该主机与 要连接的VPC主机的安全组,实现连接即可: 3) 在

阿里云 经典网络使用ClassicLink连接到专用网络后,192.168网段需要添加路由

配置后,专用网络中的机器Ping不通经典网络, 查帮助说192.168网段需要手动添加路由表. 抓包能在经典网络中收到专用网络中过来的数据包,但回复的数据包不能正确发出去. 先用 route -n 查看当前路由, 10.0.0.0 10.116.207.247 255.0.0.0 UG 0 0 0 eth0 10.116.200.0 0.0.0.0 255.255.248.0 U 0 0 0 eth0 100.64.0.0 10.116.207.247 255.192.0.0 UG 0 0 0

neutron实现阿里云ecs网络

一.neutron实现阿里云ecs网络 (1)环境准备 IP地址 主机名 操作系统 192.168.56.11 linux-node1 CentOS7 192.168.56.12 linux-node2 CentOS7 其中,linux-node1当作控制节点 linux-node2当作计算节点 (2)添加双网卡 阿里云主机,两个网卡,一个外网,一个内网网卡. 所以我们模拟阿里云云主机,需要添加在原有基础上再添加一块网卡. 打开wmware workstation,点"编辑"--&qu

解决阿里云VPC网络下面ECS不能指定高于X.X.X.247私有IP地址的方法

阿里云在配置可用范围私有地址时报错:"指定的私网IP不在指定虚拟交换机的网段中" 根据阿里云提供的接口文档,VPC网络下面自定义的网段192.168.15.0/24可用私有IP地址范围为:192.168.15.1-192.168.15.252.(文档参考:云服务器 ECS > API 文档 > 交换机相关接口 > 新建交换机 说明:每个 VSwitch 的第 1 个和最后 3 个 IP 地址为系统保留(以 192.168.1.0 / 24 为例,192.168.1.0

阿里云异常网络连接-可疑WebShell通信行为的分析解决办法

2018年10月27日接到新客户网站服务器被上传了webshell脚本***后门问题的求助,对此我们sine安全公司针对此阿里云提示的安全问题进行了详细分析,ECS服务器被阿里云提示异常网络连接-可疑WebShell通信行为,还会伴有,网站后门-发现后门(Webshell)文件,以及提示网站后门-一句话webshell的安全提示,但是大部分都是单独服务器ECS的用户,具体被阿里云提示的截图如下: 点开消息后的内容为:受影响资产 iZ2393mzrytZ 访问者IP Webshell URL 事件

阿里云与网络维护

今天遇到了阿里云被漏洞登陆, 服务器变为ddos肉鸡 不停扫别人的3306, 主要原因就是mysql默认的账户密码,被人轻易破解, win的服务器.net漏洞被人利用修改了用户组权限,各种放马. 所以组建服务器还是有很多要考虑的事情, 必要的检测漏洞, 安全狗的监控 防火墙 杀毒软件 权限管理 密码管理 等等

阿里云ECS网络服务器配置网站,内网上能够访问,公网ip不能访问,或者选择ip时没有公网ip地址为字符串

最近租了一个阿里云服务器,想挂几个网站上去玩玩.在iis上配置好网站后,在服务器上用内网可以打开,但是通过公网ip不能访问.我的配置情况如下 因为主机是专有网络,服务器内部看不到公网ip,直接的选择全部未分配,不会影响外网来访问网站. 可是这样配置好后,就出现了内网可以访问外网不能访问的问题. 于是我通过本机的控制台去ping 公网ip能够ping通,那么说明公网没有问题可以正常访问.那么就有可能是端口被服务器给禁止了.通过百度阿里云的端口设置,搜索到了配置安全组可以解决端口问题,于是抱着试一试

Rancher通过Aliyun-slb服务对接阿里云SLB教程

概要 阿里云负载均衡(Server Load Balancer)是将访问流量根据转发策略分发到后端多台云服务器(Elastic Compute Service,简称 ECS)的流量分发控制服务. 负载均衡服务通过设置虚拟服务地址,将位于同一地域的多台ECS实例虚拟成一个高性能.高可用的应用服务池:再根据应用指定的方式,将来自客户端的网络请求分发到云服务器池中.负载均衡服务是ECS面向多机方案的一个配套服务,需要同ECS结合使用. 负载均衡服务会检查云服务器池中ECS实例的健康状态,自动隔离异常状

阿里云参加ONS EU 2018,飞天洛神亮相网络顶会

摘要: 9月25日,荷兰阿姆斯特丹,为期3天的网络科技界盛会Open Networking Summit拉开序幕.来自世界各地的网络技术领域专家齐聚一堂,参与并分享各自分支领域的经验和成果.阿里云在会上展示了虚拟网络系统飞天洛神,智能网络管理平台齐天,并分享了基于开源项目FD.io/VPP的实践探索. 9月25日,荷兰阿姆斯特丹,为期3天的网络科技界盛会Open Networking Summit拉开序幕.来自世界各地的网络技术领域专家齐聚一堂,参与并分享各自分支领域的经验和成果.阿里云在会上展