推荐看一下这篇文章,讲述了各个流表,我们这里着重讲流程和代码,对流表不再细说。
我们主要的关注点还是OVS-DPDK的流表转换,其实和OVS的转换差不多,只不过OVS的Datapath流表位于kernel,报文在Datapath找不到流表即通过netlink上传到Userspace,而OVS-DPDK则是Datapath流表依然位于Userspace,可以看做是一个缓存。查找不到的话直接继续调用其他接口查找Userspace的流表。
- controller会根据网络情况给ovs下发流表,或者命令ovs-ofctl,属于Userspace的流表(ofproto classifier)。
- 当报文来的时候会先提取key值,然后在Datapath的流表(EMC或者microflow)进行查找匹配,查找到之后会进行action操作
- 如果没有查找到,就会转而继续查找Datapath的流表(也叫dpcls、TSS classifier、megaflow)。
- dpcls有好多的子表,根据掩码来分类,需要挨个查找每个子表,如果查找到就会讲带掩码的流表转换成精确匹配的流表,然后匹配转发
- 如果匹配不到就会将key和报文传递给Userspace进行匹配
- Userspace的查找会根据优先级和对每个table进行查找,然后执行相应的操作,最后匹配的所有流表会进行组合生成更简单的一些流表,比如table 0有n0条流表,一直到table 24有n24条流表,那么最终生成的dpcls流表可能有n1 x n2 x … x n24中可能性
- 将生成的流表转换安装到dpcls,然后转换安装到EMC
- 如果匹配不到的话会丢弃或者上报packet in给controller
边界点
- EMC是以pmd为边界的,每个pmd都有自己的一套EMC
- dpcls是以端口边界的,每个端口都有自己的dpcls流表
- ofproto classifier是以桥为边界的,每个桥都有自己的流表
流表下发
其实前面我们说到了三种存在形式的流表,这里流表下发只是下到了ofproto classifier了,其他的都是需要报文去触发去上一级拉取相应的流表。
流表发送
流表下发一般是两种方式:
- controller,根据情况生成流表,通过openflow协议下发flow mod给ovs的Userspace流表。
- 命令ovs-ofctl,这个是根据命令情况生成流表,通过openflow协议下发flow mod给ovs的Userspace流表。
流表下发我们就先不去看了,因为我目前的原则是操作命令先不看,先看服务,controller后面会看ovn的,到时候单独来写。
流表接收
流表接收是指将命令行或者controller下发的流表接收,并且暂存。
服务启动
ovs-vswitchd.c
的路径为main-->bridge_run-->bridge_run__(针对每个桥运行ofproto)-->ofproto_run(信息量大,暂时忽略)-->handle_openflow
handle_openflow-->handle_openflow__
- 提取openflow协议的类型
- 简单介绍下部分openflow的协议类型
- ECHO是握手
- FEATURES是同步版本和特性
- CONFIG是同步配置
- PACKET_OUT发包
- PORT_MOD修改端口信息
- FLOW_MOD修改流表,这个是最关键的
- GROUP_MOD, TABLE_MOD, METER_MOD
- 最重要的
OFPTYPE_FLOW_MOD
的操作为handle_flow_mod
主要是对流表的操作
handle_flow_mod
ofputil_decode_flow_mod
主要是将FLOW_MOD信息解析到ofputil_flow_mod
结构中handle_flow_mod__-->ofproto_flow_mod_init
主要是将上面ofputil_flow_mod
结构的数据解析到结构ofproto_flow_mod
中。handle_flow_mod__-->ofproto_flow_mod_start
支持了流表添加、删除、修改的操作,我们主要关注添加,即add_flow_start
ofproto_flow_mod_init
ofproto_flow_mod_init
涉及到数据结构的转换,我们先看下两个数据结构,然后看一下怎么转换的
12345678910111213141516171819202122232425262728293031 |
struct { struct ovs_list list_node; //匹配项,支持standard和OXM两种类型 struct match match; //流表优先级 int priority; //添加流表时这两项为0 ovs_be64 cookie; /* Cookie bits to match. */ ovs_be64 cookie_mask; /* 1-bit in each 'cookie' bit to match. */ ovs_be64 new_cookie; /* New cookie to install or UINT64_MAX. */ bool modify_cookie; /* Set cookie of existing flow to 'new_cookie'? */ //流表的table id,只有删除的时候不需要指定 uint8_t table_id; //操作命令,是添加、删除还是修改 uint16_t command; //空闲超时时间,即流表没有报文之后多长时间销毁流表 uint16_t idle_timeout; //硬超时时间,从建立起多长时间销毁流表,不论有木有报文 uint16_t hard_timeout; uint32_t buffer_id; //出端口 ofp_port_t out_port; uint32_t out_group; //一些操作标识,比如要不要统计等等 enum ofputil_flow_mod_flags flags; uint16_t importance; /* Eviction precedence. */ //操作 struct ofpact *ofpacts; /* Series of "struct ofpact"s. */ size_t ofpacts_len; /* Length of ofpacts, in bytes. */}; |
将ofputil_flow_mod
的数据转换为ofproto_flow_mod
的数据
1234567891011121314151617181920212223242526 |
struct ofproto_flow_mod { //rculist链表,里面存储了match项,和上面的match项还是有差别的 //上面的match结构主要是flow和mask两个结构 //rule里面的是minimatch,里面包含了上面的两个flow,并且还有flowmap //rule的其他信息基本上是从上面拷贝过来的 struct rule *temp_rule; struct rule_criteria criteria; //和actions相关的,不太明白 struct cls_conjunction *conjs; size_t n_conjs; //以下两条直接从上面数据结构拷贝 uint16_t command; bool modify_cookie; //允许添加流表 bool modify_may_add_flow; //取自上面的flags,是否保持统计,false表示重新统计 bool modify_keep_counts; enum nx_flow_update_event event; ovs_version_t version; bool learn_adds_rule; /* Learn execution adds a rule. */ struct rule_collection old_rules; /* Affected rules. */ struct rule_collection new_rules; /* Replacement rules. */}; |
- 首先直接拷贝过来的结构包括command、modify_cookie
- 然后根据操作的命令执行不同的函数,我先关注添加,即调用
add_flow_init
- 没有指定table_id则指定table_id为0
- 根据指定的table_id找到数据结构oftable
- 调用
cls_rule_init
和ofproto_rule_create
创建ofm->temp_rule
,这个接下来详细说下,主要是priority和match的填充 - 调用
get_conjunctions
获取根据上面的ofpacts填充下面的conjs,这块还是不太懂,是和action相关的信息
rule创建
要看rule创建,我们首先了解一下rule的数据结构,然后看一下当前填充的priority和match
12345678910111213141516171819202122232425262728293031323334353637383940414243444546 |
struct rule { //包含自己的ofproto struct ofproto *const ofproto; /* The ofproto that contains this rule. */ const struct cls_rule cr; /* In owning ofproto's classifier. */ //流表中看到的table_id const uint8_t table_id; /* Index in ofproto's 'tables' array. */ //流表状态,包括初始化、插入和删除 enum rule_state state; //用于释放的引用计数 struct ovs_refcount ref_count; const ovs_be64 flow_cookie; /* Immutable once rule is constructed. */ struct hindex_node cookie_node OVS_GUARDED_BY(ofproto_mutex); enum ofputil_flow_mod_flags flags OVS_GUARDED; //对应上面的两个超时 uint16_t hard_timeout OVS_GUARDED; /* In seconds from ->modified. */ uint16_t idle_timeout OVS_GUARDED; /* In seconds from ->used. */ /* Eviction precedence. */ const uint16_t importance; uint8_t removed_reason; struct eviction_group *eviction_group OVS_GUARDED_BY(ofproto_mutex); struct heap_node evg_node OVS_GUARDED_BY(ofproto_mutex); //action操作 const struct rule_actions * const actions; /* In owning meter's 'rules' list. An empty list if there is no meter. */ struct ovs_list meter_list_node OVS_GUARDED_BY(ofproto_mutex); enum nx_flow_monitor_flags monitor_flags OVS_GUARDED_BY(ofproto_mutex); uint64_t add_seqno OVS_GUARDED_BY(ofproto_mutex); uint64_t modify_seqno OVS_GUARDED_BY(ofproto_mutex); struct ovs_list expirable OVS_GUARDED_BY(ofproto_mutex); long long int created OVS_GUARDED; /* Creation time. */ long long int modified OVS_GUARDED; /* Time of last modification. */}; |
cls_rule_init
该函数主要是填充的ofm->temp_rule->cr
cls_rule_init__
是将priority填充minimatch_init
主要是将match填充,主要将struct match中的flow和wc分别填充到struct minimatch的flow和mask
ofproto_rule_create
该函数主要是创建ofm->temp_rule,并且填充一系列的内容,包括上面的new_cookie、idle_timeout、hard_timeout、flags、importance、ofpacts等
ofproto->ofproto_class->rule_alloc
申请rule空间- rule->ofproto = ofproto指向自己的father
- 初始化引用计数ref_count
- 复制过来new_cookie、idle_timeout、hard_timeout、flags、importance
- 记录创建时间
- 调用
rule_actions_create
来填充之前的ofpacts信息 - 调用
rule_construct
进行一些信息的初始化
add_flow_start
classifier_find_rule_exactly
从流表指定的table(table_id)的classifier中通过掩码找到子表,在子表中进行匹配,必须找到匹配项,并且优先级和rule版本匹配,则找到流表,否则都是不匹配返回NULL- 没有匹配到规则,则需要判定规则总数是否超过最大值(UINT_MAX),超过需要删除一条流表。实际操作就是用新的流表替换掉旧的流表
- 如果找到匹配的规则,说明已有规则,则需要用新的流表替换掉旧的流表
replace_rule_start
主要操作就是新的流表替换旧的流表的操作,如果存在旧流表,则调用ofproto_rule_remove__
删除,然后调用ofproto_rule_insert__
和classifier_insert
添加流表。其中classifier_insert
主要是将rule->cr添加到table->cls中
ofproto_rule_insert__
该函数主要是将rule插入到ofproto中去,上面有了rule的数据结构,下面我们看一下ofproto数据结构存储了什么信息
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465 |
struct ofproto { struct hmap_node hmap_node; /* In global 'all_ofprotos' hmap. */ const struct ofproto_class *ofproto_class; char *type; /* Datapath type. */ char *name; /* Datapath name. */ /* Settings. */ uint64_t fallback_dpid; /* Datapath ID if no better choice found. */ uint64_t datapath_id; /* Datapath ID. */ bool forward_bpdu; /* Option to allow forwarding of BPDU frames * when NORMAL action is invoked. */ char *mfr_desc; /* Manufacturer (NULL for default). */ char *hw_desc; /* Hardware (NULL for default). */ char *sw_desc; /* Software version (NULL for default). */ char *serial_desc; /* Serial number (NULL for default). */ char *dp_desc; /* Datapath description (NULL for default). */ enum ofputil_frag_handling frag_handling; /* Datapath. */ struct hmap ports; /* Contains "struct ofport"s. */ struct shash port_by_name; struct simap ofp_requests; /* OpenFlow port number requests. */ uint16_t alloc_port_no; /* Last allocated OpenFlow port number. */ uint16_t max_ports; /* Max possible OpenFlow port num, plus one. */ struct hmap ofport_usage; /* Map ofport to last used time. */ uint64_t change_seq; /* Change sequence for netdev status. */ /* Flow tables. */ long long int eviction_group_timer; /* For rate limited reheapification. */ struct oftable *tables; int n_tables; ovs_version_t tables_version; /* Controls which rules are visible to * table lookups. */ /* Rules indexed on their cookie values, in all flow tables. */ struct hindex cookies OVS_GUARDED_BY(ofproto_mutex); struct hmap learned_cookies OVS_GUARDED_BY(ofproto_mutex); /* List of expirable flows, in all flow tables. */ struct ovs_list expirable OVS_GUARDED_BY(ofproto_mutex); /* Meter table. * OpenFlow meters start at 1. To avoid confusion we leave the first * pointer in the array un-used, and index directly with the OpenFlow * meter_id. */ struct ofputil_meter_features meter_features; struct meter **meters; /* 'meter_features.max_meter' + 1 pointers. */ /* OpenFlow connections. */ struct connmgr *connmgr; int min_mtu; /* Current MTU of non-internal ports. */ /* Groups. */ struct cmap groups; /* Contains "struct ofgroup"s. */ uint32_t n_groups[4] OVS_GUARDED; /* # of existing groups of each type. */ struct ofputil_group_features ogf; /* Tunnel TLV mapping table. */ OVSRCU_TYPE(struct tun_table *) metadata_tab; /* Variable length mf_field mapping. Stores all configured variable length * meta-flow fields (struct mf_field) in a switch. */ struct vl_mff_map vl_mff_map;}; |
- 如果有超时时间的设置,调用
ovs_list_insert
将rule->expirable添加到ofproto->expirable
中 - 调用
cookies_insert
将rule->cookie_node
插入ofproto->cookies
eviction_group_add_rule
先不管- 如果有meter配置,调用
meter_insert_rule
- 有group的话,调用
ofproto_group_lookup
和group_add_rule
EMC查找
首先是报文接收,路径之前我们写过,
pmd_thread_main-->dp_netdev_process_rxq_port-->netdev_rxq_recv-->netdev_dpdk_vhost_rxq_recv-->dp_netdev_input-->dp_netdev_input__
进行报文的处理。查找到就直接进行操作即可,如果查找不到的话就需要去dpcls进行查找了,找到后调用emc_insert
安装EMC流表。
key值提取
emc_processing-->miniflow_extract
会进行key值的提取。这块相对比较简单,我们就不看了,主要就是提取L2、L3、L4的报文协议头。
emc_processing
- 因为之前收取报文,一次最多NETDEV_MAX_BURST(32)个报文,所以是循环查表
miniflow_extract
主要是讲报文的信息提取到key->mf
dpif_netdev_packet_get_rss_hash
是获取rss计算的hash值,如果没有计算,则调用miniflow_hash_5tuple
计算出hash值emc_lookup
主要是在pmd的flowcache中查找表项,必须是hash值、key->mf、并且流表是alive的- 如果匹配,
dp_netdev_queue_batches
主要是将报文添加到批处理中 - 如果不匹配,记录下不匹配的报文
- 循环持续到处理完所有的报文
dp_netdev_count_packet
主要是统计一下丢弃的报文、不匹配的报文、和EMC匹配的报文数
dpcls查找
上面EMC查找匹配的报文会放在批处理里面,还会剩下不匹配的报文,接下来会在dpcls中查找。
fast_path_processing
dp_netdev_pmd_lookup_dpcls
根据报文入端口从pmd找出对应的classifier- 如果找不到classifier,则记录为miss
- 如果找到则继续调用
dpcls_lookup
从各个子表找到合适的流表,只要有一个报文不匹配也记录为miss - 如果都匹配则继续下面的操作,如果有不匹配的报文,尝试upcall的读锁
- 获取读锁失败,删掉不匹配的报文
- 获取读锁成功,则调用
dp_netdev_pmd_lookup_flow
重新查一下,以防意外收获,查找到了就继续 - 如果依然没有查询到,则调用
handle_packet_upcall
继续调用到ofproto classifier的流表查找。 - 接下来对报文检测已经匹配到流表的,调用
emc_insert
将流表插入EMC中 - 最后调用
dp_netdev_queue_batches
将报文加入批处理中 - 记录丢弃的报文、不匹配的报文、查找的报文和匹配掩码的报文
dpcls_lookup
比较复杂,主要是根据不同的掩码进行子表的区分,然后拿着报文分别去所有的子表用key和mask计算出hash,查看子表中有没有相应的node,如果有的话查看是否有hash冲突链,最终查看是否有匹配key值的表项。我们直接看一下代码
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374 |
static booldpcls_lookup(struct dpcls *cls, const struct netdev_flow_key keys[], struct dpcls_rule **rules, const size_t cnt, int *num_lookups_p){ typedef uint32_t map_type; struct dpcls_subtable *subtable; //keys_map所有位都置1 map_type keys_map = TYPE_MAXIMUM(map_type); /* Set all bits. */ map_type found_map; uint32_t hashes[MAP_BITS]; const struct cmap_node *nodes[MAP_BITS]; //清除多余的位,只记录跟报文一样多的位 if (cnt != MAP_BITS) { keys_map >>= MAP_BITS - cnt; /* Clear extra bits. */ } memset(rules, 0, cnt * sizeof *rules); int lookups_match = 0, subtable_pos = 1; //dpcls是由众多的subtables组成,当新的规则插入时,子表根据情况动态创建。 //每个子表都是根据掩码来区分的,我们通过key和子表的掩码进行计算, //找到匹配的表项,因为不会重复,所以只要找到即可停止 //以下就是循环所有子表进行查找 PVECTOR_FOR_EACH (subtable, &cls->subtables) { int i; //这个循环是找到keys_map是1的最低位是多少,一开始的时候肯定全是1,就是从0开始 //然后根据报文的key和mask计算出hash存储起来,继续下一个1的位 //直到计算出所有报文hash值,下面会去匹配表项的 //hash值的计算可以通过cpu加速,需要cpu支持,并且编译时配置"-msse4.2" ULLONG_FOR_EACH_1(i, keys_map) { hashes[i] = netdev_flow_key_hash_in_mask(&keys[i], &subtable->mask); } //从子表中进行hash值的匹配,将匹配到node的报文的bit置1到found_map found_map = cmap_find_batch(&subtable->rules, keys_map, hashes, nodes); //在找到匹配node的报文的冲突hash链中继续详细匹配报文 ULLONG_FOR_EACH_1(i, found_map) { struct dpcls_rule *rule; //冲突链中继续检测key值是否匹配 CMAP_NODE_FOR_EACH (rule, cmap_node, nodes[i]) { if (OVS_LIKELY(dpcls_rule_matches_key(rule, &keys[i]))) { //找到匹配的规则,则记录一下,后面会用到 rules[i] = rule; subtable->hit_cnt++; lookups_match += subtable_pos; goto next; } } //不匹配则将该位设置为0 ULLONG_SET0(found_map, i); /* Did not match. */next: ; /* Keep Sparse happy. */ } //清除已经匹配流表的位 keys_map &= ~found_map; /* Clear the found rules. */ if (!keys_map) { if (num_lookups_p) { *num_lookups_p = lookups_match; } return true; /* All found. */ } subtable_pos++; } if (num_lookups_p) { *num_lookups_p = lookups_match; } return false; /* Some misses. */} |
EMC流表安装
dpcls会查找到rules,然后rules转换成flow,最后调用
emc_insert
将流表插入到EMC中。
emc_insert
- 根据key->hash找到hash桶,并且进行轮询
- 查看是否有匹配的key值,有的话调用
emc_change_entry
修改流表。 - 如果没有匹配的就会根据算法记录一个entry,用来替代
- 循环完毕之后,调用
emc_change_entry
替代之前不用的流表
emc_change_entry
操作很简单,就是赋值netdev_flow_key和dp_netdev_flow
ofproto classifier查找
handle_packet_upcall
miniflow_expand
讲key->mf解析到match.flowdpif_flow_hash
根据key值计算出hashdp_netdev_upcall
是进一步调用去ofproto classifier查表的接口,如果失败则删除报文dp_netdev_execute_actions
可能是直接执行action,后期需要看看为什么不能放入批处理,现在还不明白dp_netdev_pmd_lookup_flow
需要重新查找dpcls,没有查找到则调用dp_netdev_flow_add
添加流表emc_insert
讲dpcls的流表插入EMC中
dp_netdev_upcall-->upcall_cb
upcall_receive
主要是将一堆信息解析到upcall中process_upcall
根据upcall的类型MISS_UPCALL确定调用函数upcall_xlate
upcall_xlate
xlate_in_init
主要是将upcall的数据转给xlate_inxlate_actions
主要是进行流表查找
xlate_actions
- 调用
xbridge_lookup
查找对应的xbridge信息 - 根据当前掌握的一堆信息生成一个结构
xlate_ctx
xlate_wc_init
主要是初始化通配符的一些已知的项rule_dpif_lookup_from_table
会查找指定table的流表,默认是table 0,用一个循环去遍历每一个table,然后知道找到匹配的ruledo_xlate_actions
主要是执行所有的action,轮询所有的action,并且根据具体的情况进行相应的操作。tun_metadata_to_geneve_udpif_mask
给geneve封装metadata
rule_dpif_lookup_from_table
- 如果报文分片,默认是设置源目的端口都设置为0,其他情况下丢弃报文。
- 遍历所有的table,每次都会调用
rule_dpif_lookup_in_table
去查找rule,如果找到最终找到之后返回,找不到的话就会去下一个table找。 - 如果遍历完成都找不到,则返回miss_rule
do_xlate_actions
- 根据查找到的rule,遍历所有的action,支持的有OFPACT_OUTPUT、OFPACT_GROUP、OFPACT_CONTROLLER、OFPACT_ENQUEUE、OFPACT_SET_VLAN_VID、OFPACT_SET_VLAN_PCP、OFPACT_STRIP_VLAN、OFPACT_PUSH_VLAN、OFPACT_SET_ETH_SRC、OFPACT_SET_ETH_DST、OFPACT_SET_IPV4_SRC、OFPACT_SET_IPV4_DST、OFPACT_SET_IP_DSCP、OFPACT_SET_IP_ECN、OFPACT_SET_IP_TTL、OFPACT_SET_L4_SRC_PORT、OFPACT_SET_L4_DST_PORT、OFPACT_RESUBMIT、OFPACT_SET_TUNNEL、OFPACT_SET_QUEUE、OFPACT_POP_QUEUE、OFPACT_REG_MOVE、OFPACT_SET_FIELD、OFPACT_STACK_PUSH、OFPACT_STACK_POP、OFPACT_PUSH_MPLS、OFPACT_POP_MPLS、OFPACT_SET_MPLS_LABEL、OFPACT_SET_MPLS_TC、OFPACT_SET_MPLS_TTL、OFPACT_DEC_MPLS_TTL、OFPACT_DEC_TTL、OFPACT_NOTE、OFPACT_MULTIPATH、OFPACT_BUNDLE、OFPACT_OUTPUT_REG、OFPACT_OUTPUT_TRUNC、OFPACT_LEARN、OFPACT_CONJUNCTION、OFPACT_EXIT、OFPACT_UNROLL_XLATE、OFPACT_FIN_TIMEOUT、OFPACT_CLEAR_ACTIONS、OFPACT_WRITE_ACTIONS、OFPACT_WRITE_METADATA、OFPACT_METER、OFPACT_GOTO_TABLE、OFPACT_SAMPLE、OFPACT_CLONE、OFPACT_CT、OFPACT_CT_CLEAR、OFPACT_NAT、OFPACT_DEBUG_RECIRC,因为action太多,我们先介绍几个常用的
OFPACT_OUTPUT
,xlate_output_action
会根据端口情况进行一些操作,这块不细看了OFPACT_CONTROLLER
,execute_controller_action
生成一个packet_in报文,然后发送OFPACT_SET_ETH_SRC
、OFPACT_SET_ETH_DST
、OFPACT_SET_IPV4_SRC
、OFPACT_SET_IPV4_DST
、OFPACT_SET_IP_DSCP
、OFPACT_SET_IP_ECN
、OFPACT_SET_IP_TTL
、OFPACT_SET_L4_SRC_PORT
、OFPACT_SET_L4_DST_PORT
,修改源目的mac、IP以及DSCP、ECN、TTL和L4的源目的端口OFPACT_RESUBMIT
,xlate_ofpact_resubmit
会继续查找指定的table的流表OFPACT_SET_TUNNEL
,设置tunnel idOFPACT_CT
,compose_conntrack_action
执行完ct的设置之后回调do_xlate_actions
执行其他的action
rule_dpif_lookup_from_table-->rule_dpif_lookup_in_table-->classifier_lookup-->classifier_lookup__
- 遍历所有子表,然后调用
find_match_wc
根据流表和掩码计算hash,然后进行对子表的各个rule进行匹配比较、 - 如果是严格匹配的话就直接返回,不是严格匹配的话还有一系列操作,暂时先不写了。
dpcls 流表安装
handle_packet_upcall-->dp_netdev_flow_add-->dpcls_insert
主要是根据掩码找到相应的子表,然后插入当前的流表
原文地址:https://www.cnblogs.com/petewell/p/11614991.html