機器學習是關于理解與研究學習的內在機制、建立能夠通過學習自動提高自身水平的計算機程序的理論方法的學科。近年來機器學習理論在諸多應用領域得到成功的應用與發(fā)展，已成為計算機科學的基礎及熱點之一。
機器學習(Machine Learning)是研究計算機怎樣模擬或實現(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。它是人工智能的核心，是使計算機具有智能的根本途徑，其應用遍及人工智能的各個領域，它主要使用歸納、綜合而不是演譯。
機器學習是關于理解與研究學習的內在機制、建立能夠通過學習自動提高自身水平的計算機程序的理論方法的學科。近年來機器學習理論在諸多應用領域得到成功的應用與發(fā)展，已成為計算機科學的基礎及熱點之一。采用機器學習方法的計算機程序被成功用于機器人下棋程序、語音識別、信用卡欺詐監(jiān)測、自主車輛駕駛、智能機器人等應用領域，除此之外機器學習的理論方法還被用于大數(shù)據(jù)集的數(shù)據(jù)挖掘這一領域。實際上，在任何有經(jīng)驗可以積累的地方，機器學習方法均可發(fā)揮作用。
學習能力是智能行為的一個非常重要的特征，但至今對學習的機理尚不清楚。人們曾對機器學習給出各種定義。H.A.Simon認為，學習是系統(tǒng)所作的適應性變化，使得系統(tǒng)在下一次完成同樣或類似的任務時更為有效。R.s.Michalski認為，學習是構造或修改對于所經(jīng)歷事物的表示。從事專家系統(tǒng)研制的人們則認為學習是知識的獲取。這些觀點各有側重，第一種觀點強調學習的外部行為效果，第二種則強調學習的內部過程，而第三種主要是從知識工程的實用性角度出發(fā)的。
機器學習在人工智能的研究中具有十分重要的地位。一個不具有學習能力的智能系統(tǒng)難以稱得上是一個真正的智能系統(tǒng)，但是以往的智能系統(tǒng)都普遍缺少學習的能力。例如，它們遇到錯誤時不能自我校正；不會通過經(jīng)驗改善自身的性能；不會自動獲取和發(fā)現(xiàn)所需要的知識。它們的推理僅限于演繹而缺少歸納，因此至多只能夠證明已存在事實、定理，而不能發(fā)現(xiàn)新的定理、定律和規(guī)則等。隨著人工智能的深入發(fā)展，這些局限性表現(xiàn)得愈加突出。正是在這種情形下，機器學習逐漸成為人工智能研究的核心之一。它的應用已遍及人工智能的各個分支，如專家系統(tǒng)、自動推理、自然語言理解、模式識別、計算機視覺、智能機器人等領域。其中尤其典型的是專家系統(tǒng)中的知識獲取瓶頸問題，人們一直在努力試圖采用機器學習的方法加以克服。
機器學習的研究是根據(jù)生理學、認知科學等對人類學習機理的了解，建立人類學習過程的計算模型或認識模型，發(fā)展各種學習理論和學習方法，研究通用的學習算法并進行理論上的分析，建立面向任務的具有特定應用的學習系統(tǒng)。這些研究目標相互影響相互促進。
機器學習已經(jīng)有了十分廣泛的應用例如搜索引擎、醫(yī)學診斷、檢測信用卡欺詐、證券市場分析、DNA序列測序、語音和手寫識別、戰(zhàn)略游戲和機器人運用。
自從1980年在卡內基-梅隆大學召開第一屆機器學術研討會以來，機器學習的研究工作發(fā)展很快，已成為中心課題之一。
目前，機器學習領域的研究工作主要圍繞以下三個方面進行：
（1）面向任務的研究 研究和分析改進一組預定任務的執(zhí)行性能的學習系統(tǒng)。
（2）認知模型 研究人類學習過程并進行計算機模擬。
（3）理論分析 從理論上探索各種可能的學習方法和獨立于應用領域的算法。
機器學習是繼專家系統(tǒng)之后人工智能應用的又一重要研究領域，也是人工智能和神經(jīng)計算的核心研究課題之一。現(xiàn)有的計算機系統(tǒng)和人工智能系統(tǒng)沒有什么學習能力，至多也只有非常有限的學習能力，因而不能滿足科技和生產(chǎn)提出的新要求。本章將首先介紹機器學習的定義、意義和簡史，然后討論機器學習的主要策略和基本結構，最后逐一研究各種機器學習的方法與技術，包括機械學習、基于解釋的學習、基于事例的學習、基于概念的學習、類比學習和基于訓練神經(jīng)網(wǎng)絡的學習等。對機器學習的討論和機器學習研究的進展，必將促使人工智能和整個科學技術的進一步發(fā)展 。
一、 機器學習的定義和研究意義
學習是人類具有的一種重要智能行為，但究竟什么是學習，長期以來卻眾說紛紜。社會學家、邏輯學家和心理學家都各有其不同的看法。按照人工智能大師西蒙的觀點，學習就是系統(tǒng)在不斷重復的工作中對本身能力的增強或者改進，使得系統(tǒng)在下一次執(zhí)行同樣任務或類似任務時，會比現(xiàn)在做得更好或效率更高。西蒙對學習給出的定義本身，就說明了學習的重要作用。
機器能否象人類一樣能具有學習能力呢？1959年美國的塞繆爾(Samuel)設計了一個下棋程序，這個程序具有學習能力，它可以在不斷的對奕中改善自己的棋藝。4年后，這個程序戰(zhàn)勝了設計者本人。又過了3年，這個程序戰(zhàn)勝了美國一個保持8年之久的常勝不敗的冠軍。這個程序向人們展示了機器學習的能力，提出了許多令人深思的社會問題與哲學問題。
機器的能力是否能超過人的，很多持否定意見的人的一個主要論據(jù)是：機器是人造的，其性能和動作完全是由設計者規(guī)定的，因此無論如何其能力也不會超過設計者本人。這種意見對不具備學習能力的機器來說的確是對的，可是對具備學習能力的機器就值得考慮了，因為這種機器的能力在應用中不斷地提高，過一段時間之后，設計者本人也不知它的能力到了何種水平。
什么叫做機器學習(machine learning)？至今，還沒有統(tǒng)一的“機器學習”定義，而且也很難給出一個公認的和準確的定義。為了便于進行討論和估計學科的進展，有必要對機器學習給出定義，即使這種定義是不完全的和不充分的。顧名思義， 機器學習 是研究如何使用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門研究機器獲取新知識和新技能，并識別現(xiàn)有知識的學問。這里所說的“機器”，指的就是計算機；現(xiàn)在是電子計算機，以后還可能是中子計算機、光子計算機或神經(jīng)計算機等等
二、 機器學習的發(fā)展史
機器學習是人工智能研究較為年輕的分支，它的發(fā)展過程大體上可分為4個時期。
第一階段是在50年代中葉到60年代中葉，屬于熱烈時期。…>
第二階段是在60年代中葉至70年代中葉，被稱為機器學習的冷靜時期。
第三階段是從70年代中葉至80年代中葉，稱為復興時期。
機器學習的最新階段始于1986年。
[DividePage:NextPage]
機器學習進入新階段的重要表現(xiàn)在下列諸方面：
(1) 機器學習已成為新的邊緣學科并在高校形成一門課程。它綜合應用心理學、生物學和神經(jīng)生理學以及數(shù)學、自動化和計算機科學形成機器學習理論基礎。
(2) 結合各種學習方法，取長補短的多種形式的集成學習系統(tǒng)研究正在興起。特別是連接學習符號學習的耦合可以更好地解決連續(xù)性信號處理中知識與技能的獲取與求精問題而受到重視。
(3) 機器學習與人工智能各種基礎問題的統(tǒng)一性觀點正在形成。例如學習與問題求解結合進行、知識表達便于學習的觀點產(chǎn)生了通用智能系統(tǒng)SOAR的組塊學習。類比學習與問題求解結合的基于案例方法已成為經(jīng)驗學習的重要方向。
(4) 各種學習方法的應用范圍不斷擴大，一部分已形成商品。歸納學習的知識獲取工具已在診斷分類型專家系統(tǒng)中廣泛使用。連接學習在聲圖文識別中占優(yōu)勢。分析學習已用于設計綜合型專家系統(tǒng)。遺傳算法與強化學習在工程控制中有較好的應用前景。與符號系統(tǒng)耦合的神經(jīng)網(wǎng)絡連接學習將在企業(yè)的智能管理與智能機器人運動規(guī)劃中發(fā)揮作用。
(5) 與機器學習有關的學術活動空前活躍。國際上除每年一次的機器學習研討會外，還有計算機學習理論會議以及遺傳算法會議。
三、 機器學習的主要策略
學習是一項復雜的智能活動，學習過程與推理過程是緊密相連的，按照學習中使用推理的多少，機器學習所采用的策略大體上可分為4種——機械學習、通過傳授學習、類比學習和通過事例學習。學習中所用的推理越多，系統(tǒng)的能力越強。
四、機器學習系統(tǒng)的基本結構
上圖表示學習系統(tǒng)的基本結構。環(huán)境向系統(tǒng)的學習部分提供某些信息，學習部分利用這些信息修改知識庫，以增進系統(tǒng)執(zhí)行部分完成任務的效能，執(zhí)行部分根據(jù)知識庫完成任務，同時把獲得的信息反饋給學習部分。在具體的應用中，環(huán)境，知識庫和執(zhí)行部分決定了具體的工作內容，學習部分所需要解決的問題完全由上述3部分確定。下面我們分別敘述這3部分對設計學習系統(tǒng)的影響。
影響學習系統(tǒng)設計的最重要的因素是環(huán)境向系統(tǒng)提供的信息。或者更具體地說是信息的質量。知識庫里存放的是指導執(zhí)行部分動作的一般原則，但環(huán)境向學習系統(tǒng)提供的信息卻是各種各樣的。如果信息的質量比較高，與一般原則的差別比較小，則學習部分比較容易處理。如果向學習系統(tǒng)提供的是雜亂無章的指導執(zhí)行具體動作的具體信息，則學習系統(tǒng)需要在獲得足夠數(shù)據(jù)之后，刪除不必要的細節(jié)，進行總結推廣，形成指導動作的一般原則，放入知識庫，這樣學習部分的任務就比較繁重，設計起來也較為困難。
因為學習系統(tǒng)獲得的信息往往是不完全的，所以學習系統(tǒng)所進行的推理并不完全是可靠的，它總結出來的規(guī)則可能正確，也可能不正確。這要通過執(zhí)行效果加以檢驗。正確的規(guī)則能使系統(tǒng)的效能提高，應予保留；不正確的規(guī)則應予修改或從數(shù)據(jù)庫中刪除。
知識庫是影響學習系統(tǒng)設計的第二個因素。知識的表示有多種形式，比如特征向量、一階邏輯語句、產(chǎn)生式規(guī)則、語義網(wǎng)絡和框架等等。這些表示方式各有其特點，在選擇表示方式時要兼顧以下4個方面：
(1)表達能力強。(2)易于推理。(3)容易修改知識庫。(4)知識表示易于擴展。
對于知識庫最后需要說明的一個問題是學習系統(tǒng)不能在全然沒有任何知識的情況下憑空獲取知識，每一個學習系統(tǒng)都要求具有某些知識理解環(huán)境提供的信息，分析比較，做出假設，檢驗并修改這些假設。因此，更確切地說，學習系統(tǒng)是對現(xiàn)有知識的擴展和改進。
執(zhí)行部分是整個學習系統(tǒng)的核心，因為執(zhí)行部分的動作就是學習部分力求改進的動作。同執(zhí)行部分有關的問題有3個：復雜性、反饋和透明性。
五、機器學習分類
1、基于學習策略的分類
學習策略是指學習過程中系統(tǒng)所采用的推理策略。一個學習系統(tǒng)總是由學習和環(huán)境兩部分組成。由環(huán)境（如書本或教師）提供信息，學習部分則實現(xiàn)信息轉換，用能夠理解的形式記憶下來，并從中獲取有用的信息。在學習過程中，學生（學習部分）使用的推理越少，他對教師（環(huán)境）的依賴就越大，教師的負擔也就越重。學習策略的分類標準就是根據(jù)學生實現(xiàn)信息轉換所需的推理多少和難易程度來分類的，依從簡單到復雜，從少到多的次序分為以下五種基本類型：
１）機械學習(Rote learning)
學習者無需任何推理或其它的知識轉換，直接吸取環(huán)境所提供的信息。如塞繆爾的跳棋程序，紐厄爾和西蒙的LT系統(tǒng)。這類學習系統(tǒng)主要考慮的是如何索引存貯的知識并加以利用。系統(tǒng)的學習方法是直接通過事先編好、構造好的程序來學習，學習者不作任何工作，或者是通過直接接收既定的事實和數(shù)據(jù)進行學習，對輸入信息不作任何的推理。
２）示教學習(Learning from instruction或Learning by being told)。
學生從環(huán)境（教師或其它信息源如教科書等）獲取信息，把知識轉換成內部可使用的表示形式，并將新的知識和原有知識有機地結合為一體。所以要求學生有一定程度的推理能力，但環(huán)境仍要做大量的工作。教師以某種形式提出和組織知識，以使學生擁有的知識可以不斷地增加。這種學習方法和人類社會的學校教學方式相似，學習的任務就是建立一個系統(tǒng)，使它能接受教導和建議，并有效地存貯和應用學到的知識。目前，不少專家系統(tǒng)在建立知識庫時使用這種方法去實現(xiàn)知識獲取。示教學習的一個典型應用例是FOO程序。
3）演繹學習(Learning by deduction)。
學生所用的推理形式為演譯推理。推理從公理出發(fā)，經(jīng)過邏輯變換推導出結論。這種推理是"保真"變換和特化(specialization)的過程，使學生在推理過程中可以獲取有用的知識。這種學習方法包含宏操作(macro-operation)學習、知識編輯和組塊(Chunking)技術。演繹推理的逆過程是歸納推理。
4）類比學習(Learning by analogy)。
利用二個不同領域（源域、目標域）中的知識相似性，可以通過類比，從源域的知識（包括相似的特征和其它性質）推導出目標域的相應知識，從而實現(xiàn)學習。類比學習系統(tǒng)可以使一個已有的計算機應用系統(tǒng)轉變?yōu)檫m應于新的領域，來完成原先沒有設計的相類似的功能。類比學習需要比上述三種學習方式更多的推理。它一般要求先從知識源（源域）中檢索出可用的知識，再將其轉換成新的形式，用到新的狀況（目標域）中去。類比學習在人類科學技術發(fā)展史上起著重要作用，許多科學發(fā)現(xiàn)就是通過類比得到的。例如著名的盧瑟福類比就是通過將原子結構（目標域）同太陽系（源域）作類比，揭示了原子結構的奧秘。
５）基于解釋的學習(Explanation-based learning, EBL)。
學生根據(jù)教師提供的目標概念、該概念的一個例子、領域理論及可操作準則，首先構造一個解釋來說明為什該例子滿足目標概念，然后將解釋推廣為目標概念的一個滿足可操作準則的充分條件。EBL已被廣泛應用于知識庫求精和改善系統(tǒng)的性能。著名的EBL系統(tǒng)有迪喬恩（G.DeJong）的GENESIS, 米切爾（T.Mitchell）的LEXII和LEAP, 以及明頓（S.Minton）等的PRODIGY。
６）歸納學習(Learning from induction)。
歸納學習是由教師或環(huán)境提供某概念的一些實例或反例，讓學生通過歸納推理得出該概念的一般描述。這種學習的推理工作量遠多于示教學習和演繹學習，因為環(huán)境并不提供一般性概念描述（如公理）。從某種程度上說，歸納學習的推理量也比類比學習大，因為沒有一個類似的概念可以作為"源概念"加以取用。歸納學習是最基本的，發(fā)展也較為成熟的學習方法，在人工智能領域中已經(jīng)得到廣泛的研究和應用。
