递归算法的时间复杂度分析

在算法分析中，当一个算法中包括递归调用时，其时间复杂度的分析会转化为一个递归方程求解。实际上，这个问题是数学上求解渐近阶的问题，而递归方程的形式多种多样，其求解方法也是不一而足，比較经常使用的有下面四种方法：

(1)代入法(Substitution Method)
   
    代入法的基本步骤是先猜測递归方程的显式解，然后用数学归纳法来验证该解是否合理。
   
    (2)迭代法(Iteration Method)
   
    迭代法的基本步骤是迭代地展开递归方程的右端，使之成为一个非递归的和式，然后通过对和式的预计来达到对方程左端即方程的解的预计。
   
    (3)套用公式法(Master Method)
   
   
这种方法针对形如“T(n) = aT(n/b) +
f(n)”的递归方程。这样的递归方程是分治法的时间复杂性所满足的递归关系，即一个规模为n的问题被分成规模均为n/b的a个子问题，递归地求解这a个子
问题，然后通过对这a个子间题的解的综合，得到原问题的解。
   
    (4)差分方程法(Difference Formula Method)

能够将某些递归方程看成差分方程，通过解差分方程的方法来解递归方程，然后对解作出渐近阶预计。
   
    以下就以上方法给出一些样例说明。
       
    一、代入法
   
    大整数乘法计算时间的递归方程为：T(n) = 4T(n/2) + O(n)，当中T(1) = O(1)，我们推測一个解T(n) = O(n²
)，依据符号O的定义，对n>n0，有T(n) < cn²
- eO(2n)（注意，这里减去O(2n)，因其是低阶项，不会影响到n足够大时的渐近性），把这个解代入递归方程，得到：
   
    T(n) =  4T(n/2) + O(n)
           ≤ 4c(n/2)²
- eO(2n/2)) + O(n)
           =  cn²
- eO(n) + O(n)
           ≤ cn²

当中，c为正常数，e取1，上式符合 T(n)≤cn²
的定义，则可觉得O(n²
)是T(n)的一个解，再用数学归纳法加以证明。
   
    二、迭代法

某算法的计算时间为：T(n) = 3T(n/4) + O(n)，当中T(1) = O(1)，迭代两次可将右端展开为：
   
    T(n) = 3T(n/4) + O(n)
         = O(n) + 3( O(n/4) + 3T(n/4²
) )
         = O(n) + 3( O(n/4) + 3( O(n/4²
) + 3T(n/4³
) ) )
        
    从上式能够看出，这是一个递归方程，我们能够写出迭代i次后的方程：
   
    T(n) = O(n) + 3( O(n/4) + 3( O(n/4²
) + ... + 3( n/4ⁱ
+ 3T(n/4ⁱ⁺¹
) ) ) )
   
    当n/4ⁱ⁺¹
=1时，T(n/4ⁱ⁺¹
)=1，则
   
    T(n) = n + (3/4) + (3²
/4²
)n + ... + (3ⁱ
/4ⁱ
)n + (3ⁱ⁺¹
)T(1)
         < 4n + 3ⁱ⁺¹

而由n/4ⁱ⁺¹
=1可知，i<log₄
n，从而
   
    3ⁱ⁺¹
≤ 3^log₄
n+1
= 3^{log₃
n*log₄
3}
+1 = 3nlog₄
3
   
    代入得：
   
    T(n) < 4n + 3nlog₄
3，即T(n) = O(n)。
   
    三、套用公式法
   
    这种方法为预计形如：

　　T(n) = aT(n/b) + f(n)

　　当中，a≥1和b≥1，均为常数，f(n)是一个确定的正函数。在f(n)的三类情况下，我们有T(n)的渐近预计式：

1.若对于某常数ε>0，有f(n) = O(n^log_b
a-ε
)，则T(n) = O(n^log_b
a
)
   
    2.若f(n) = O(n^log_b
a
)，则T(n) = O(n^log_b
a
*logn)
   
    3.若f(n) = O(n^log_b
a+ε
)，且对于某常数c>1和全部充分大的正整数n，有af(n/b)≤cf(n)，则T(n)=O(f(n))。
   
    设T(n) = 4T(n/2) + n，则a = 4，b = 2，f(n) = n，计算得出n^log_b
a
= n^log₂
4
= n²
，而f(n) = n = O(n^2-ε
)，此时ε= 1，依据第1种情况，我们得到T(n) = O(n²
)。
    
    这里涉及的三类情况，都是拿f(n)与n^log_b
a
作比較，而递归方程解的渐近阶由这两个函数中的较大者决定。在第一类情况下，函数n^log_b
a
较大，则T(n)=O(n^log_b
a
)；在第三类情况下，函数f(n)较大，则T(n)=O(f (n))；在第二类情况下，两个函数一样大，则T(n)=O(n^log_b
a
*logn)，即以n的对数作为因子乘上f(n)与T(n)的同阶。
    
    但上述三类情况并没有覆盖全部可能的f(n)。在第一类情况和第二类情况之间有一个间隙：f(n)小于但不是多项式地小于n^log_b
a
，第二类与第三类之间也存在这样的情况，此时公式法不适用。