在近幾年的人工智能浪潮中，涌現(xiàn)了眾多優(yōu)秀的技術(shù)：視頻監(jiān)控設備的人臉識別功能，智能手機上的語音識別或谷歌最新的自動翻譯 ，都源于一種稱為“深度學習”的技術(shù)?，F(xiàn)在，人工智能成為了非常熱門的話題，而實際上目前人工智能發(fā)展的眾多貢獻都有賴于其下屬的深度學習，以及神經(jīng)網(wǎng)絡領域的發(fā)展成果。

實際上，深度學習是人工智能實現(xiàn)方法的新名稱，這種方法已經(jīng)存在了70多年。神經(jīng)網(wǎng)絡于1944年由Warren McCullough和Walter Pitts（芝加哥大學的兩位研究人員，也被認為是認知科學的創(chuàng)始成員）首次提出后伴隨人工智能的發(fā)展幾經(jīng)沉浮：

人工智能最早一次的興起是1956-1974，以命題邏輯、謂詞邏輯等知識表達、啟發(fā)式搜索算法為代表，當時已經(jīng)有關于如何下棋的研究展開。

1980 年代初又興起了第二次熱潮，主要圍繞專家系統(tǒng)、知識工程、醫(yī)療診斷等領域。隨后，人工智能跌入了近30 年的寒冬。

第三次熱潮就是最近兩年興起的深度學習推動的，主要表現(xiàn)是人臉識別、語音識別、自然語言處理等技術(shù)的成熟。

至于神經(jīng)網(wǎng)絡，直到1969年，神經(jīng)網(wǎng)絡都是神經(jīng)科學和計算機科學的一個主要研究領域。其后，它隨同人工智能的寒冬經(jīng)歷了一段被冷落的時期。在20世紀80年代神經(jīng)網(wǎng)絡方面的研究再次興起，并由于圖形芯片處理能力的提高，大規(guī)模的提升和應用在2010年后大爆發(fā)。

神經(jīng)網(wǎng)絡是一種進行機器學習的方法，計算機通過分析訓練樣例來學習執(zhí)行某些任務。通常，這些例子是事先標記的。例如，物體識別系統(tǒng)可以饋送數(shù)千個汽車，房屋，咖啡杯等不同類別的標記圖像，并且它將在圖像中找到始終與特定標簽相關聯(lián)的視覺圖案。

神經(jīng)網(wǎng)絡模仿人腦而構(gòu)建，由數(shù)千甚至數(shù)百萬個密集互連的簡單處理節(jié)點組成?，F(xiàn)今的大多數(shù)神經(jīng)網(wǎng)絡被組織成節(jié)點層，它們是“前饋”網(wǎng)絡，意味著數(shù)據(jù)只在一個方向上穿過它們。單個節(jié)點可能連接到其下面的層中的幾個節(jié)點，從中接收數(shù)據(jù)，以及它上面的層中的幾個節(jié)點，它們向其發(fā)送數(shù)據(jù)。

對于每個傳入連接，節(jié)點將分配一個稱為“權(quán)重”的數(shù)字。當網(wǎng)絡處于活動狀態(tài)時，節(jié)點在其每個連接上接收不同的數(shù)據(jù)項（不同的數(shù)字），并將其乘以相關權(quán)重。

然后它將得到的乘積，加在一起，產(chǎn)生一個結(jié)果數(shù)字。如果該數(shù)字低于傳輸閾值，則節(jié)點不將數(shù)據(jù)傳遞給下一層。如果數(shù)量超過傳輸閾值，則節(jié)點“觸發(fā)”，意味著沿其所有傳出連接發(fā)送數(shù)字 - 加權(quán)輸入的總和。

當訓練神經(jīng)網(wǎng)絡時，其所有權(quán)重和閾值最初都設置為隨機值。訓練數(shù)據(jù)被饋送到底層 - 輸入層 - 它通過后續(xù)層，以復雜的方式相乘并加在一起，轉(zhuǎn)換傳輸?shù)捷敵鰧印Ｔ谟柧毱陂g，系統(tǒng)不斷調(diào)整權(quán)重和閾值，直到具有相同標簽的訓練數(shù)據(jù)始終產(chǎn)生類似的輸出。

神經(jīng)網(wǎng)絡的發(fā)展

McCullough和Pitts在1944年描述的神經(jīng)網(wǎng)絡具有閾值和權(quán)重，但它們沒有排列成層，研究人員沒有指定任何訓練機制。McCullough和Pitts所展示的是，神經(jīng)網(wǎng)絡原則上可以計算數(shù)字計算機可以執(zhí)行的任何功能，關注重點是人腦可以被認為是一種計算設備的概念。

康奈爾大學心理學家弗蘭克羅森布拉特于1957年展示了第一個可訓練的神經(jīng)網(wǎng)絡Perceptron。Perceptron的設計與現(xiàn)代神經(jīng)網(wǎng)絡的設計非常相似，只是它只有一層可調(diào)節(jié)重量和閾值，夾在輸入之間和輸出圖層。

而現(xiàn)代GPU使20世紀60年代的單層網(wǎng)絡和20世紀80年代的2到3層網(wǎng)絡成為當今的10層，15層甚至50層網(wǎng)絡。這也是“深度學習”中的“深層”所指的意思——網(wǎng)絡層的深度。

神經(jīng)網(wǎng)絡后續(xù)展望

2010年后神經(jīng)網(wǎng)絡的復興 - 深度學習革命 – 首先來自計算機游戲行業(yè)。視頻游戲的復雜圖像和快節(jié)奏需要能夠跟上的硬件，結(jié)果是圖形處理單元（GPU）快速發(fā)展，它在單個芯片上包含數(shù)千個相對簡單的處理核心。不久人們就意識到GPU的架構(gòu)與神經(jīng)網(wǎng)絡的架構(gòu)非常相似。

同時，為了更高效的研究和利用神經(jīng)網(wǎng)絡，更多硬件方案涌現(xiàn)了出來， Intel收購Altera，谷歌自研TPU，業(yè)界還在尋找更高效的方法，也在側(cè)面印證神經(jīng)網(wǎng)絡的火爆程度。

現(xiàn)在，神經(jīng)網(wǎng)絡更是計算機領域和神經(jīng)科學領域的寶貴工具。用于調(diào)整權(quán)重和閾值的特定網(wǎng)絡布局或規(guī)則已經(jīng)再現(xiàn)了人類神經(jīng)解剖學和認知學里觀察到的特征，表明它幫助獲取了關于大腦如何處理信息的機制。

但是，神經(jīng)網(wǎng)絡有些令人不滿意的不足：足夠的訓練會改變神經(jīng)網(wǎng)絡的設置，使其可以對數(shù)據(jù)進行分類，但其中的過程過于復雜，查看單個連接的權(quán)重無法解釋其原理；物體識別器看重的圖像特征是什么，以及它是如何將它們拼湊成汽車，房屋和咖啡杯的獨特視覺特征的也尚不明確；類似這些問題都導致神經(jīng)網(wǎng)絡作用的機制具有一定的不透明性和不可解釋性。

在這些問題得到解決后，神經(jīng)網(wǎng)絡的作用機制將進一步可控。同時，神經(jīng)網(wǎng)絡作為神經(jīng)科學和計算科學領域的工具，將在人工智能大時代，得到更好的發(fā)展。