结论:
当有break point时,$m_H(N)=O(N^{k-1})$
bounding function:
当break point = k,时成长函数$m_H(N)$的上限
这样可以忽略假设集的不同,只考虑break point=k,
N个点时,最多有几种0,1的组合(任意的k各点不能shatter)
$B(N,k)$ 表示有N各点,任意k各点不能shatter,最大的组合情况
可以想像成(N-1)各点的情况下再加入一个点,对于N-1个点的各种情况,
有些情况(假设有$\alpha$种),对于加入的那点可以有0 x两种情况
有些情况(假设有$\beta$种),对于加入的那点只有一种情况 o或x
则$B(N,k) = 2\alpha+\beta$,
其中$\alpha + \beta \leq~ B(N-1,k)$
对于那些可以加入o和x两种点的情况($\alpha$种),
这N-1个点,任意k-1各点不能shatter,因为如果shatter了,
加上新加入的一个点,就会出现N个点,有k各点shatter的情况
所以$\alpha \leq !~ B(N-1,k-1)$
所以有$B(N,k) \leq~B(N-1,k-1)+B(N-1,k)$
画出表格,可得如下表格:
证明:$B(N,k) \leq~\sum_{i=0}^{k-1}\binom{N}{i} $
提示:$\binom{n+1}{m}=\binom{n}{m}+\binom{n}{m-1}$
$B(N,k) \leq~B(N-1,k-1)+B(N-1,k) \leq~ \sum_{i=0}^{k-2}\binom{N-1}{i}+\sum_{i=0}^{k-1}\binom{N-1}{i}\\=\binom{N-1}{0}+...+\binom{N-1}{k-2}+\binom{N-1}{0}+...+\binom{N-1}{k-2}+\binom{N-1}{k-1}\\=\binom{N-1}{0}+\binom{N-1}{0}+\binom{N-1}{1}+\binom{N-1}{1}+\binom{N-1}{2}+...+\binom{N-1}{k-2}+\binom{N-1}{k-1}\\=\binom{N-1}{0}+\binom{N}{1}+...+\binom{N}{k-1}\le~\binom{N}{0}+\binom{N}{1}+...+\binom{N}{k-1}\\=\sum_{i=0}^{k-1}\binom{N}{i}$