<div id="txknl"><tr id="txknl"></tr></div>
<div id="txknl"></div>

  • <div id="txknl"></div>
        <div id="txknl"><tr id="txknl"></tr></div>

      1. <dd id="txknl"></dd>

          天鑰科技創始人熊楚渝博士創立通用學習機全新理論體系

          timg.jpg

          1 背景1 -- 機器學習和人工智能

          首先對人工智能和機器學習做一個最簡單的背景介紹。人工智能是使用計算來模擬以及實現類似于人的智能的技術。其中又分為比較專用的人工智能(AI),以及通用人工智能(AGI)。AIAGI專注的地方很不同。例如戰勝人類圍棋選手的圍棋程序AlphaGo,就是典型的AI。而專注于更廣泛領域的智能的程序,例如美國天普大學的王培教授的NARS系統,就是一種AGI。機器學習和AI以及AGI都有所不同。很多人把機器學習看作是AI的一個部分。這個看法的確也有道理。但是,把機器學習看作這樣一種技術其實更接近實際,即,讓計算系統通過學習來獲得處理某種信息的能力,而不必完全依賴人工編程。更明確說,機器學習,是通過對計算系統輸入大量的外來的數據,計算系統對這些數據進行處理,并且在處理過程中,對計算系統本身進行修改,進而,在大量的數據和計算后,該計算系統獲得對某種特定信息進行處理的能力。這種機器學習的技術目前已經應用到了很多領域,例如圍棋程序AlphaGo,圖像識別程序,語音識別程序,機器翻譯程序,自動駕駛,等等。這些都可以看作機器學習成功運用于AI的范例。但是應該明確,機器學習本身并不是智能,那些AI程序也不必一定采用機器學習來做,例如自動駕駛,很大一部分實際上由人工編程實現。

           

          但是,機器學習的確是一種非常重要的技術,有非常遠大的前景。其實機器學習很早就產生了。舉例來說,哈佛的Valiant教授就是因為他在7080年代的對機器學習的研究而獲得圖靈獎的。但是,機器學習走向大量實際應用卻是最近的事情。直到2007年,才有了深度學習的突破,然后才有了最近這些年的機器學習特別是深度學習的熱潮。深度學習是一種機器學習的方法,建立在多層人工神經網絡上,使用大數據,采用一些特定的訓練方式,從而達到學習目的。

           

          介紹深度學習技術的資料很多。這里我們推薦閱讀資料:

          https://zh.wikipedia.org/wiki/深度學習

           

          2 背景2 -- 現有機器學習的困難

          雖然深度學習取得了巨大的成功,深度學習仍然有一些公認的關鍵問題。這些問題很可能成為發展的瓶頸。直到我們的文章發表以前,基本上深度學習的理論基礎還沒有建立。究竟深度學習里面在做什么,一直是人們爭議的熱點。為什么能夠取得這樣的巨大成功?一直眾說紛紜。甚至于還有很多人在疑惑,究竟深度學習真是在做學習,還是僅僅是某種函數逼近。深度學習需要采用大數據來驅動學習。但是,應該是什么樣的數據?數據究竟應該多大才起作用?這些是非常核心的問題。但是在我們的文章發表以前,尚無對這些核心問題的理論研究結果。深度學習需要采用超大規模的人工神經網絡,這是非常昂貴的。那么對某種特定問題,這個網絡的規模究竟應該多大?這也是非常核心的問題。同樣尚無理論研究結果。其實,還有很多重要的問題,如深度學習的表征空間是什么?是否有更有效的學習方法?怎樣去降低計算負擔?怎樣降低功耗?深度學習可以學習任何東西嗎?等等。

           

          3 機械式學習的簡介

          正是對這些理論問題做深入的研究,才促使了機械式學習和通用學習機的產生。所謂機械式學習就是一種計算系統,遵循機械而且固定的規則,它可以根據其輸入來修改自己處理信息的能力。我們長期關注機械式學習,深入研究這些理論問題,經過長期艱苦的研究,已經對機械式學習建立一個清晰的數學理論。目前的這篇文章就是對這個數學理論的描述。在此理論結果的基礎上,通用學習機就自然產生。

           

          機械式學習理論的一個重要方面,就是建立了X-形式(X-form)。這是一種新的數學工具,可以用于完善描述學習的過程和結果。X-形式的有很多應用。我們用它來建立數據充足性概念,定義了充足支持性和充足包圍性。這樣就建立了對學習必須的數據進行描述的數學框架,建立了對數據的充足性進行計算的框架。因此,大數據就再不是一句空話,而是可以實實在在計算的概念了。就是說,如果需要對某個任務進行學習,那么需要什么數據,需要多少,都是可以計算的。這樣就擺脫了盲目性。

           

          機械式學習理論的另一個重要方面是對學習機的表征空間進行了探索和規范。這個表征空間,未必是直白和明顯的,但是,必然存在。其實現形式非常多樣,但是,最終將等價于X-形式的一個集合。這樣就可以統一理解學習機。因此我們就很清楚,機械式學習就是在表征空間中的動力學,從一個X-形式變動到另一個X-形式。進而,如果我們在深度學習中導入表征空間,我們就可以很清楚看到,用我們的術語講,深度學習就是:把X-形式嵌入巨量參數空間,并且導入求極限的動力學運動,以尋求最佳的X-形式。而且我們證明了,如果有充足支持和充足包圍的數據,就可以實現學習目標。這就清晰揭示了現有的機器學習究竟內部在做什么,解決了急需的理論問題。而且具備很強的實用性(就是說可以達到XAI)。

           

          這里對X-形式再講幾句。X-形式是我們新定義的數學對象,對表達學習機內部的基本狀態乃至更多的認為都起重要作用。目前對這個數學對象僅有相當初步的研究。我們認為,這里面將有很多研究題目,其發展也將占有重要位置。我們歡迎大家來參與研究發展。

           

          通用學習機是一種機械式學習,基于一些簡單而且機械的原則,就可以從外界數據中學習,進而獲得處理信息的能力。這樣的學習機,是人們非常期望的,因為它可以學習任何東西,很強大。肯定地說,現有的機器學習方法,都不是通用學習機,他們都僅能對某種特定任務進行學習(這是在系統設定時確定的)。從理論上講,通用學習機可以學習任何外界圖式(pattern),不用人工干預,僅通過外界提供足夠的數據(不必是大數據,僅是足夠的適合的數據),就可以促使通用學習機學會對某種信息的處理能力。從數學理論上講,這已經明確。但是,我們還需要大量發展機械式學習理論,使得我們獲取更多的能力來處理通用學習機。

           

          屏幕快照 2017-06-07 下午5.07.40.png

          4 通用學習機的簡介

          通用學習機將采用機械式學習。機械式學習,就是不須任何人工干預,基于一些簡單而且機械的原則,就可以從外界數據中學習,進而獲得處理相關信息的能力。所謂通用,指的是可以學習任何東西,并不僅僅局限在某種特定的對象(目前的深度學習即是如此,局限在其系統設定的對象上面)。通用學習機建立在機械式學習的理論基礎上,建立自己的獨到的表征空間,并且建立自己的學習策略和學習方法,已經從理論上證明,通用學習機可以學習任何外界圖式(pattern),不用人工干預,僅通過外界提供適當數據,不必是大數據,僅是足夠數據,就可以促使通用學習機學會對特定信息的處理能力。

           

          通用學習機尚在發展的最初期。對未來我們未必就完全清楚。但是我們有充分的理由來相信,通用學習機將和上個世紀40年代的通用計算機(即馮·諾依曼提出的計算機,也是現在所有計算機的基本框架)一樣,有遠大的前途,甚至于,通用學習機將成為新一代計算的基本框架。這樣新一代的計算就可以通過編程來賦予其處理信息的能力,也可以通過學習來賦予其能力。這樣的新一代計算系統,將最終超越現有的計算系統。

           

          通用學習機可以有多樣的具體實現方式。我們已經發明了OSIPL學習機,這即是一種具體的實現通用學習機的方式。請查看中國國家知識產權局的專利申請號:20170298481.2。這個具體發明中設計的表征空間,具備用以實現極低功耗的特征。因此這個具體的學習機,可能引入新的硬件的發展。我們認為,肯定有更多方式來實現通用學習機。歡迎大家來參與發明。

           

          5 通用學習機的優勢

          這里對通用學習機的優勢做一些簡單的描述,可能很不全面。

          A)建立了與現有的深度學習完全不同的表征空間和方法。因此具備了多種可能性。其中很重要的一項就是,可以對學習機的行為作出完全的解釋和達到完全的控制(即所謂的XAI,而尋求XAI是目前工業界的急迫需求)。

          B)既可以用編程來賦予其處理信息的能力,也可以用學習的方法來賦予。這是現在的所有機器學習不可能做到的。

          C)可以采用多種學習策略和學習方法,完全可以采取和現有深度學習相同的方法(即嵌入巨大參數空間,并且導入求極值的動力學),也可以采取現有的學習無法企及的方法(如,在充足支持的數據驅動下,逐級提取抽象的動力學)。還可以采用教學灌輸的學習方法。

          D)可以很自然容納5種不同的學習方式一起使用(即:邏輯推導方式(亦稱為符號方式),連接主義方式,概率方式,進化論方式,聯想方式),這樣的自然容納對于現有的學習(深度學習尤其如此)都是困難的。

          E)完全有條件做到低功耗。現有的深度學習,對此將非常困難。

          F)很有希望用通用學習機的原理來做出一種學習機,其處理信息的方式,比較接近人腦處理視覺信息。而且可以由淺入深,由簡單到復雜進化。

          G)具備很強的拓展潛力。綜合而言,有潛力成為集成信息處理和學習為一體的新一代計算的基本框架。這是目前的所有機器學習都不具備的潛力。

           

          綜合這些技術優勢,通用學習機具備超越現有的深度學習的潛力。當然,通用學習機還在發展的初期。上面講的優勢,還有待具體實現。我們非常歡迎高手來參與研究發展。請聯系我們。

          英文原文請參考:http://arxiv.org/pdf/1706.00066.pdf

          上一篇 下一篇
          吉林快三走势图表今天
          0.0492s