第119章 高中課程裡有這些?

    他當初剛寫第一篇論文的時候，就擬好了這個題目，只是由於數學基礎不夠，一直停留在構思階段。

    這兩天他利用碎片時間，稍微補了補高數知識，這才真正動筆。

    江寒將近期一些想法整理了一下，羅列了個大綱出來。

    很多機器學習分類算法，都要求假設數據線性可分，“感知機”也不例外。

    如果數據不是線性可分的，就必須採用一些特殊的方法，把數據非線性地投射到更高的維度上。

    在高維空間裡，數據更有可能變成線性可分的，這就是所謂的cover定理。

    對於感知機來說，處理線性不可分的問題，有個最簡單的解決辦法，那就是把單層感知機拓展為多層感知機。

    多層感知機的關鍵，在於如何訓練各層之間的連接權值。

    一種常用的辦法是隻訓練某兩層間的連接權值，而將其它連接權值進行固定。

    可以從數學上證明，對於所有非線性可分的樣本集，這種方法都是收斂的。

    也可以採用bp技術，也就是另一個世界裡，大名鼎鼎的“反向傳播神經網絡”。

    當然，這個世界裡，“感知機”都還沒正式登場，說這些還有點早。

    至於bp技術什麼時候問世，基本上是江寒自己說了算……

    此外，還可以將數據帶到核空間，再進行分類。

    在另一個世界裡，有很多著名的算法，例如支持向量機（svm）、徑向基神經網絡（rbfnn）等等，都採用了所謂的“核方法”。

    核方法的核心，是核函數。

    工業生產中，常用的核函數有線形核、多項式核、高斯核等等。

    所謂核空間，百度百科上說:“核型空間是一類局部凸空間。”

    具體來說:如果對零元的任何均衡凸鄰域v，存在另一零元的均衡凸鄰域u?v，使得典型映射t:xv→xu是核映射，則局部凸空間x稱為核型空間。

    這裡，xu是商空間(x，pu(·))/{x|pu(x)=0}，而xv是商空間(x，pv(·))/{x|pv(x)=0}的完備化空間，pu(·)及pv(·)是由u和v各自產生的閔可夫斯基泛函。

    嗯，江寒剛開始看到這個的時候，還真有點懵逼。

    所以，再加強一點數學素養，還是很有必要的說……

    當然，就算不懂上面的數學表達，一樣可以理解核函數的功能。

    核函數主要做的事情，就是將樣本映射到更高維的空間。

    但是，這樣做雖然能使樣本變得可分，但卻會造成維數過高，使得計算量急遽增大。