canal网络添加黑洞路由
作者 | 谢泽钦 |
---|---|
团队 | Filed&&Suppoort |
编写时间 | 2020/12/31 |
类型 | 存储相关解决方案 |
问题概述
由于canal是通过明细路由将数据转发到对应的pod容器网卡上,当访问的pod的IP不存在时,或者当pod访问外部服务在回包的过程中pod已经不存在没有对应的明细路由时,会导致该数据包进入到主机时,找不到对应的明细路由,最终通过默认网关转发到主机外部(交换机)。此时就会在交换机上可以看到源IP是pod IP、Mac地址是物理主机的Mac地址的数据包。
问题影响
正常情况下,该数据包通过默认路由走到网关后,网关会将该数据包丢弃。但是由于思科ACI网络的GARP学习机制,会导致交换机学习到错误的MAC-IP的地址,造成频繁的MAC-IP地址学习,影响交换机使用的性能,严重时会影响到整个ACI网络发送错误的数据包到错误的主机上。
解决思路
基于上述问题,我们可以通过添加黑洞路由来解决这个问题
先查看主机flannel.1网卡的IP
添加黑洞路由
上述操作在每个节点上都添加上对应的黑洞路由
效果验证
验证访问不存在的pod IP是否能在主机网卡上抓到目的IP为该pod IP的数据包
10.42.0.21 ping 一个不存在的pod IP:10.42.1.200
添加黑洞路由前抓包
添加黑洞路由
再次抓包
结论
添加黑洞路由可以禁止pod数据包通过默认路由发往外部交换机
最终版
通过如上方法在每个节点上添加黑洞路由的方式可以避免pod包路由到交换机上,但是因为每个主机的pod子网段是不同的,所以每次添加节点都得手动添加对应子网的黑洞路由,而且主机重启后路由就丢失了,需要重新添加,那有没有一劳永逸的方法呢?答案是肯定的。
直接添加B类子网的黑洞路由就可以了。也就是说,直接添加集群层面的pod网段的路由,并写入到网络配置文件中,这样每次重启主机或者重启网络都会自动加载黑洞路由,就不用去手动维护这个路由了。
参考CentOS7,方法如下:
确认集群的pod CIDR,例如Rancher创建的集群默认pod的CIDR是
10.42.0.0/16
新建路由配置文件
键入如下路由规则
- 保存后重启网络即可
查看路由
至此添加成功!