過(guò)去四年來(lái)許多領(lǐng)域的技術(shù)都取得了跨越性的發(fā)展。其中，最引人矚目的是智能手機(jī)的語(yǔ)音識(shí)別功能比以往有了顯著提升。當(dāng)我們用聲音命令手機(jī)給另一半打電話(huà)時(shí)，我們能夠與他們?nèi)〉寐?lián)系，手機(jī)沒(méi)有再將電話(huà)錯(cuò)撥給陌生人或已經(jīng)不在一起的那個(gè)人。

實(shí)際上，我們現(xiàn)在越來(lái)越多地通過(guò)對(duì)話(huà)與計(jì)算機(jī)互動(dòng)，無(wú)論是亞馬遜的 Alexa、蘋(píng)果的 Siri、微軟的 Cortana，還是谷歌許多產(chǎn)品中的語(yǔ)音反饋功能。中國(guó)搜索巨頭百度表示，使用語(yǔ)音界面的用戶(hù)在過(guò)去 18 個(gè)月翻了三倍。

機(jī)器翻譯和其他語(yǔ)言處理也有了長(zhǎng)足的發(fā)展，谷歌、Facebook、微軟和百度每個(gè)月都有新功能發(fā)布。谷歌翻譯現(xiàn)在能提供 32 種語(yǔ)言對(duì)的語(yǔ)音翻譯（輸入是語(yǔ)音輸出的也是語(yǔ)音），提供包括宿務(wù)語(yǔ)、伊博語(yǔ)、祖魯語(yǔ)在內(nèi)的共 103 種語(yǔ)言的文字翻譯。谷歌郵箱應(yīng)用有 3 種現(xiàn)成的自動(dòng)回復(fù)。

接著要說(shuō)的當(dāng)時(shí)圖像識(shí)別方面的進(jìn)展。還是上面那 4 家公司，都有產(chǎn)品供你搜索或自動(dòng)組織沒(méi)有明確標(biāo)簽的照片。你可以要求系統(tǒng)顯示所有帶有狗的照片，或者有雪的，甚至抽象些比如含有擁抱場(chǎng)景的。這些公司都有研發(fā)中的產(chǎn)品，可以自動(dòng)生成一句話(huà)那么長(zhǎng)的圖說(shuō)。

深度學(xué)習(xí)推動(dòng)計(jì)算產(chǎn)業(yè)逼近新的拐點(diǎn)

試想，要搜集含有狗的照片，應(yīng)用程序必須識(shí)別出從吉娃娃到德國(guó)牧羊犬這么多種類(lèi)的狗，還不能因?yàn)樾」飞舷骂嵉够蜃筮呌疫叡谎┍混F遮住了一塊就被騙過(guò)。同時(shí)還要排除狼和貓。只靠像素。這究竟是怎么做到的？

圖像識(shí)別技術(shù)的發(fā)展影響之深，已經(jīng)遠(yuǎn)不止在你手機(jī)上很炫酷的社交應(yīng)用。醫(yī)療初創(chuàng)公司聲稱(chēng)，他們馬上就能用計(jì)算機(jī)分辨 X 光片、MRI 和 CT 掃描圖片，而且比放射學(xué)家讀得更準(zhǔn)更快，上至診斷預(yù)防癌癥，下至加速發(fā)現(xiàn)治病救命的新藥。更好的圖像識(shí)別技術(shù)對(duì)于機(jī)器人、無(wú)人機(jī)以及自動(dòng)駕駛汽車(chē)而言也是至關(guān)重要的。自動(dòng)駕駛汽車(chē)在今年 6 月登上了本刊的封面報(bào)道。福特、特斯拉、Uber、百度和谷歌的母公司 Alphabet，都在公路上測(cè)試自動(dòng)駕駛的原型樣車(chē)。

但大多人沒(méi)有意識(shí)到的是，所有這些突破實(shí)際上都是一樣的。它們都受益于人工智能技術(shù)當(dāng)中的深度學(xué)習(xí)，或者用大部分研究人員愛(ài)用的詞形容——深度神經(jīng)網(wǎng)絡(luò)。

關(guān)于神經(jīng)網(wǎng)絡(luò)最不可思議的事情是，沒(méi)有人曾經(jīng)編程讓計(jì)算機(jī)去執(zhí)行這些任務(wù)。實(shí)際上，沒(méi)有人能夠做到這一點(diǎn)。程序員不再編程，而是提供給計(jì)算機(jī)一個(gè)學(xué)習(xí)算法，然后用海量的數(shù)據(jù)去訓(xùn)練它，這一過(guò)程會(huì)使計(jì)算機(jī)自己學(xué)會(huì)如何分辨需要分辨的物體、單詞或句子。

一句話(huà)，這樣的計(jì)算機(jī)可以自己教自己。用圖像處理器巨頭英偉達(dá) CEO 黃仁勛的話(huà)說(shuō)，“本質(zhì)上說(shuō)就是讓軟件寫(xiě)軟件”。英偉達(dá)在大約 5 年前便看準(zhǔn)深度學(xué)習(xí)，對(duì)這項(xiàng)技術(shù)做了大力投資。

神經(jīng)網(wǎng)絡(luò)也并非新興技術(shù)。其概念可以回溯到上世紀(jì) 50 年代，而神經(jīng)網(wǎng)絡(luò)很多重要的算法突破都發(fā)生在 20 世紀(jì) 80 到 90 年代。讓情況有所不同的是，如今的科學(xué)家終于將強(qiáng)大的計(jì)算力和海量的數(shù)據(jù)握在手中——從圖像、視頻、音頻到文本，互聯(lián)網(wǎng)上到處都是數(shù)據(jù)——而且人們發(fā)現(xiàn)，數(shù)據(jù)是讓神經(jīng)網(wǎng)絡(luò)運(yùn)行良好的關(guān)鍵?！斑@是深度學(xué)習(xí)的寒武紀(jì)大爆發(fā)，”投資公司 Andereesen Horowitz 的合伙人 Frank Chen 說(shuō)。

這一劇變引發(fā)之下，AI 創(chuàng)業(yè)公司數(shù)量暴漲，根據(jù)調(diào)研公司 CB Insights，AI 投資額在過(guò)去一季度超過(guò)了 10 億美元。2016 年第二季度有 121 輪融資，而 2011 年同期只發(fā)生了 21 筆。投資額從 2011 年第二季度到 2016 年第二季度超過(guò) 75 億美元，其中有 60 多億美元都是在 2014 年后產(chǎn)生的。（今年 9 月，5 家 AI 巨頭——亞馬遜、Facebook、谷歌、IBM 和微軟——成立了一個(gè)非盈利組織，旨在促進(jìn)公眾理解 AI 技術(shù)并就倫理、操作規(guī)范展開(kāi)調(diào)查。）

2012 年時(shí)，谷歌有兩個(gè)深度學(xué)習(xí)項(xiàng)目?，F(xiàn)在這個(gè)數(shù)字超過(guò)了 1000。根據(jù)一位谷歌發(fā)言人，現(xiàn)在谷歌所有主要產(chǎn)品分區(qū)中，從搜索、安卓、Gmail、翻譯、地圖、YouTube 到無(wú)人車(chē)，都有深度學(xué)習(xí)的影子。IBM 旗下的 Watson 贏(yíng)得 Jeopardy 時(shí)雖用了人工智能，但沒(méi)用到深度學(xué)習(xí)。但現(xiàn)如今，Watson CTO Rob High 表示，Watson 提供的 30 多種服務(wù)都因?yàn)樯疃葘W(xué)習(xí)而得到增強(qiáng)。

5 年前根本沒(méi)有聽(tīng)說(shuō)過(guò)深度學(xué)習(xí)的投資人，如今對(duì)于初創(chuàng)公司沒(méi)有深度學(xué)習(xí)技術(shù)感到無(wú)比焦慮?！拔覀兩硖庍@樣一個(gè)時(shí)代，”Chen 認(rèn)為：“將來(lái)每個(gè)人都必須能夠編寫(xiě)復(fù)雜的應(yīng)用程序?！焙芸烊藗兙蜁?huì)說(shuō)，“你們自然語(yǔ)處理的版本在哪里？”“我該怎么跟你的 App 對(duì)話(huà)？因?yàn)槲覒械么蜃??！?/p>

這些公司已經(jīng)將深度學(xué)習(xí)整合進(jìn)了每天的工作日程。微軟研究院的 Peter Lee 說(shuō)：“我們的銷(xiāo)售團(tuán)隊(duì)使用神經(jīng)網(wǎng)絡(luò)與買(mǎi)房取得聯(lián)系。”

硬件市場(chǎng)同樣感受到了震動(dòng)。摩爾定律帶來(lái)芯片升級(jí)換代，更重要的是英偉達(dá)生產(chǎn)的圖像處理器在進(jìn)行深度學(xué)習(xí)計(jì)算時(shí)要比傳統(tǒng) CPU 快上 20 到 50 倍。過(guò)去的 8 月份，英偉達(dá)公布第 3 季度財(cái)報(bào)，數(shù)據(jù)中心這部分的銷(xiāo)售額是去年同期的兩倍多，達(dá)到了 1.15 億美元。英偉達(dá)的 CTO 告訴投資人，大部分的增長(zhǎng)來(lái)自深度學(xué)習(xí)。在 83 分鐘的投資人會(huì)議里，深度學(xué)習(xí)被提到了 81 次。

芯片巨頭英特爾當(dāng)然沒(méi)有什么都不做。在過(guò)去的兩個(gè)月里，英特爾收購(gòu)了 Nervana Systems（超過(guò) 4 億美元）和 Movidius（金額未公開(kāi)），兩家針對(duì)深度學(xué)習(xí)做技術(shù)的公司。

至于谷歌，則在 5 月份公布它在過(guò)去一年多的時(shí)間里，偷偷使用自己的定制芯片 TPU 加速深度學(xué)習(xí)。

企業(yè)或許真的到了又一個(gè)轉(zhuǎn)折點(diǎn)。百度首席科學(xué)家吳恩達(dá)說(shuō)：“很多 S&P 500 CEO 都想著自己要是早些開(kāi)始思考互聯(lián)網(wǎng)戰(zhàn)略就好了。再過(guò) 5 年，很多 S&P CEO 會(huì)想著自己要是早些思考 AI 戰(zhàn)略就好了?！?/p>

在吳恩達(dá)看來(lái)，擁有深度學(xué)習(xí)的 AI 比互聯(lián)網(wǎng)還強(qiáng)大。他說(shuō)：“AI 是新的電力，就像 100 年前電力引發(fā)產(chǎn)業(yè)革命一樣，AI 也會(huì)改變?cè)S許多多的行業(yè)。”

從感知機(jī)到 AlphaGo，你知道的和不知道的深度學(xué)習(xí)

你可以將深度學(xué)習(xí)看做一個(gè)子集里包含著一個(gè)子集?！叭斯ぶ悄堋焙w很廣，傳統(tǒng)的邏輯推理和符號(hào)系統(tǒng)也在其中，這門(mén)學(xué)科的目的是讓計(jì)算機(jī)和機(jī)器人以一種至少表面看來(lái)很像思考的方式解決問(wèn)題。其中，有一個(gè)叫做機(jī)器學(xué)習(xí)的領(lǐng)域，里面有很多重要的數(shù)學(xué)技巧，計(jì)算機(jī)可以以此優(yōu)化性能。最后，在機(jī)器學(xué)習(xí)領(lǐng)域里，還有一個(gè)子領(lǐng)域叫深度學(xué)習(xí)。

百度的吳恩達(dá)說(shuō)，你可以把深度學(xué)習(xí)看為“從 A 到 B 的映射”?！澳憧梢暂斎胍欢我纛l然后輸出錄音，那就是語(yǔ)音識(shí)別。”吳恩達(dá)說(shuō)，只要你有數(shù)據(jù)訓(xùn)練軟件，可能性就是無(wú)限?！澳憧梢暂斎腚娮余]件，輸出可以是：這是不是垃圾郵件？”輸入貸款申請(qǐng)，輸出可以是顧客歸還這筆款項(xiàng)的可能。輸入一組用車(chē)的用戶(hù)數(shù)據(jù)，輸出就可以是接下來(lái)將汽車(chē)派往哪里。

從這個(gè)觀(guān)點(diǎn)來(lái)說(shuō)，深度學(xué)習(xí)將改變幾乎整個(gè)產(chǎn)業(yè)?！凹热挥?jì)算機(jī)視覺(jué)真的起作用，會(huì)發(fā)生一些根本性的變革?！惫雀璐竽X計(jì)劃的主管 Jeff Dean說(shuō)，他又不安地變換了一下說(shuō)法：“既然計(jì)算機(jī)已經(jīng)睜開(kāi)了它們的眼睛?！?/p>

 

這是否意味著現(xiàn)在該是要為“奇點(diǎn)”——超級(jí)智能機(jī)器開(kāi)始不需人類(lèi)參與地自行優(yōu)化，引發(fā)超級(jí)可怕的結(jié)果的一個(gè)假定時(shí)刻——做好準(zhǔn)備的時(shí)候？

 

還不是。神經(jīng)網(wǎng)絡(luò)在識(shí)別模式方面表現(xiàn)良好——有時(shí)甚至和人類(lèi)一樣好或超過(guò)人類(lèi)。但它們沒(méi)有理性。

深度學(xué)習(xí)歷史關(guān)鍵點(diǎn)：1958年康奈爾心理學(xué)家羅森布拉特推出感知機(jī)，1969年明斯基出書(shū)質(zhì)疑神經(jīng)網(wǎng)絡(luò)，1986年Hinton等人發(fā)明訓(xùn)練多重神經(jīng)網(wǎng)絡(luò)糾錯(cuò)的方法。

最初的革命火花開(kāi)始于 2009 年。那年夏天微軟的 Lee 邀請(qǐng)了神經(jīng)網(wǎng)絡(luò)先驅(qū)，多倫多大學(xué)的Geoffrey Hinton 來(lái)參觀(guān)。欽佩于 Hinton 的研究，Lee 的團(tuán)隊(duì)用神經(jīng)網(wǎng)絡(luò)做了語(yǔ)言識(shí)別方面的實(shí)驗(yàn)。Lee說(shuō)：“我們對(duì)結(jié)果非常震驚，我們得到了比原型高 30% 的準(zhǔn)確率。”

 

2011 年，微軟推出了應(yīng)用深度學(xué)習(xí)技術(shù)的商用語(yǔ)言識(shí)別產(chǎn)品。谷歌在 2012 年 8 月跟著推出同類(lèi)產(chǎn)品。

 

但真正的轉(zhuǎn)折點(diǎn)出現(xiàn)在 2012 年 10 月。在意大利佛羅倫薩的一個(gè)工作室，斯坦福人工智能實(shí)驗(yàn)室的負(fù)責(zé)人，同時(shí)也是著名的年度 ImageNet 計(jì)算機(jī)視覺(jué)大賽創(chuàng)始人李飛飛，公布 Hinton的 兩個(gè)學(xué)生做了一個(gè)識(shí)別物體軟件，準(zhǔn)確率是當(dāng)時(shí)最好的同類(lèi)產(chǎn)品的兩倍?！斑@個(gè)成果非常驚人，”Hinton 說(shuō)：“它說(shuō)服了曾經(jīng)的許多懷疑論者?！保ㄔ谌ツ甑拇筚愔?，新的深度學(xué)習(xí)產(chǎn)品已經(jīng)超越了人類(lèi)的表現(xiàn)。）

深度學(xué)習(xí)歷史關(guān)鍵點(diǎn)：1989年LeCun用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別手寫(xiě)體，1991年遞歸神經(jīng)網(wǎng)絡(luò)發(fā)明，1987年IBM深藍(lán)戰(zhàn)勝卡斯帕羅夫。

圖像識(shí)別方面的成就像一把發(fā)令槍?zhuān)瑔?dòng)了一場(chǎng)人才爭(zhēng)奪賽。Google 得到了 Hinton 和他那兩位贏(yíng)了大賽的學(xué)生，F(xiàn)acebook 和法國(guó)深度學(xué)習(xí)天才 Yann LeCun 簽約，LeCun 曾在 20 世紀(jì) 80 年代和 90 年代開(kāi)創(chuàng)了深度學(xué)習(xí)算法并贏(yíng)得 ImageNet 大賽。百度則得到了斯坦福 AI 實(shí)驗(yàn)室的前負(fù)責(zé)人吳恩達(dá)，他曾在 2010 年幫助推出并領(lǐng)帶專(zhuān)注深度學(xué)習(xí)的谷歌大腦項(xiàng)目。

 

人才爭(zhēng)奪熱潮自此愈演愈烈。今天，微軟的Lee說(shuō)，“這個(gè)領(lǐng)域的人才戰(zhàn)相當(dāng)血腥，一流的人才就像NFL足球運(yùn)動(dòng)員?！?/p>

今年 68 歲的 Geoffrey Hinton 第一次聽(tīng)說(shuō)神經(jīng)網(wǎng)絡(luò)是在1972年，當(dāng)時(shí)他正在愛(ài)丁堡大學(xué)開(kāi)始寫(xiě)自己的碩士畢業(yè)論文，主題是人工智能。由于本科期間在劍橋大學(xué)主修實(shí)驗(yàn)心理學(xué)，Hinton對(duì)神經(jīng)網(wǎng)絡(luò)充滿(mǎn)熱情，神經(jīng)網(wǎng)絡(luò)由軟件構(gòu)建，從人類(lèi)大腦中神經(jīng)元網(wǎng)絡(luò)的運(yùn)作方式獲得啟發(fā)。當(dāng)時(shí)，神經(jīng)網(wǎng)絡(luò)并不受歡迎?！懊恳粋€(gè)人都認(rèn)為他們瘋了”，他說(shuō)。但是Hinton選擇迎難而上。

深度學(xué)習(xí)歷史關(guān)鍵點(diǎn)：2007年李飛飛創(chuàng)立ImageNet；2011年微軟將神經(jīng)網(wǎng)絡(luò)引入語(yǔ)音識(shí)別；同樣2011年IBM Watson贏(yíng)得Jeopardy冠軍。

神經(jīng)網(wǎng)絡(luò)為計(jì)算機(jī)的學(xué)習(xí)提供了一種孩子式的學(xué)習(xí)方式，從經(jīng)驗(yàn)，而不是從人類(lèi)的編程設(shè)定中進(jìn)行學(xué)習(xí)?！爱?dāng)時(shí)，大多數(shù)的AI 都是從邏輯推理中獲得啟發(fā)”，他回憶說(shuō)，“但是邏輯推理是人類(lèi)在人類(lèi)長(zhǎng)大的時(shí)候才具備的能力，2-3歲的孩子并不會(huì)做邏輯推理。所以，我認(rèn)為，對(duì)于智能來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)是比邏輯好得多的范式”。（邏輯從某種程度來(lái)說(shuō)，是Hinton 家族的傳家寶。他的家族中誕生了多位杰出的科學(xué)家，他是19世紀(jì)著名數(shù)學(xué)家George Boole的玄孫，Boolean 搜索、邏輯和線(xiàn)性代數(shù)都是以這位數(shù)學(xué)家的名字命名的）。

20世紀(jì)50年代至60年代，神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)科學(xué)家中變得流行起來(lái)。1958年，Cornell 研究中心的心理學(xué)家 Frank Rosenblatt在一個(gè)海軍支持的項(xiàng)目中，開(kāi)發(fā)了一個(gè)神經(jīng)網(wǎng)絡(luò)原型，當(dāng)時(shí)他稱(chēng)為感知機(jī)（Perceptron）。模型使用的是一個(gè)穿孔卡片計(jì)算機(jī)，占滿(mǎn)了整個(gè)房間。在經(jīng)過(guò)50次嘗試之后，計(jì)算機(jī)學(xué)會(huì)了分辨左邊標(biāo)記幾號(hào)和右邊標(biāo)記記號(hào)的圖片。針對(duì)這一事件，《紐約時(shí)報(bào)》的報(bào)道文章寫(xiě)到，“今天，（美國(guó)）海軍發(fā)布了一個(gè)電子計(jì)算機(jī)原型，被認(rèn)為可以行走、說(shuō)話(huà)、看、寫(xiě)、自我重生，并具有自我存在的意識(shí)”。

感知機(jī)的軟件只有一層類(lèi)似神經(jīng)元的節(jié)點(diǎn)，后被證明是有局限的。但是，研究者相信，隨著神經(jīng)網(wǎng)絡(luò)層數(shù)變多，或者變深，它可以做的事情會(huì)更多。

Hinton 解釋了這一創(chuàng)意的基本原理。假設(shè)一個(gè)神經(jīng)網(wǎng)絡(luò)在理解一批照片，其中一些照片上有鳥(niǎo)?！八?，輸入層會(huì)進(jìn)來(lái)像素，進(jìn)而，整個(gè)單元的第一層會(huì)探測(cè)到邊緣。暗的一邊，亮的在另一邊”。下一層的神經(jīng)元，通過(guò)分析第一層得到的數(shù)據(jù)，將學(xué)會(huì)探測(cè)“比如邊角之類(lèi)的，兩條邊組成一個(gè)角”，他說(shuō)。這些神經(jīng)元中，有一個(gè)可能會(huì)對(duì)鳥(niǎo)的輪廓構(gòu)成的角產(chǎn)生強(qiáng)烈的反應(yīng)。

下一層，可能會(huì)發(fā)現(xiàn)更多復(fù)雜的配置，比如，一個(gè)圓圈中排列的許多個(gè)角”，這一層中的神經(jīng)元可能會(huì)對(duì)鳥(niǎo)的頭部作出反應(yīng)。在一個(gè)更深的層，一個(gè)神經(jīng)元可能會(huì)探測(cè)到頭部圓圈中反復(fù)出現(xiàn)的嘴部輪廓?！斑@構(gòu)成了一個(gè)很好的線(xiàn)索，可以判斷出這可能是鳥(niǎo)的頭部”，Hinton說(shuō)。每一個(gè)更深層次的神經(jīng)元都會(huì)對(duì)更加復(fù)雜和抽象的概念作出反應(yīng)，直至最后有一層對(duì)我們概念中的“鳥(niǎo)”作出匹配反應(yīng)。

深度學(xué)習(xí)歷史關(guān)鍵點(diǎn)：2012年谷歌大腦識(shí)別貓臉（6月），8月谷歌將神經(jīng)網(wǎng)絡(luò)引入語(yǔ)音識(shí)別，10月Hinton的學(xué)生在ImageNet競(jìng)賽奪冠，成績(jī)大幅提升；2013年5月谷歌用神經(jīng)網(wǎng)絡(luò)改善照片搜索功能。

但是，要進(jìn)行學(xué)習(xí)，一個(gè)深度神經(jīng)網(wǎng)絡(luò)需要做的不僅僅是在各層神經(jīng)網(wǎng)絡(luò)中傳遞信息。它還需要一個(gè)方法來(lái)驗(yàn)證是否獲得了爭(zhēng)取的結(jié)果，如果沒(méi)有，就把信息反饋回淺層的神經(jīng)網(wǎng)絡(luò)，調(diào)整活動(dòng)，改進(jìn)結(jié)果。這才是學(xué)習(xí)發(fā)生的地方。

20世紀(jì)80年代早期，Hinton在這一難題上持續(xù)鉆研。法國(guó)的一位研究者Yann LeCun 也在默默耕耘，當(dāng)時(shí)他剛在巴黎開(kāi)始自己的研究生生涯。LeCun被Hinton發(fā)表于1983年的一篇論文震驚到了，這是一篇談多層神經(jīng)網(wǎng)絡(luò)的文章。這些術(shù)語(yǔ)在當(dāng)時(shí)都不是正規(guī)的，LeCun回憶說(shuō)，在當(dāng)時(shí)要發(fā)表一篇提及“神經(jīng)元”或者“神經(jīng)網(wǎng)絡(luò)”的論文，簡(jiǎn)直比登天還難。所以，他以一種隱晦 方法寫(xiě)成了這篇論文，以通過(guò)同行評(píng)議。但是我認(rèn)為這篇論文是超級(jí)有趣的。

兩位學(xué)者兩年之后見(jiàn)面，一拍即合。

1986年，Hinton和兩位同事寫(xiě)了一篇非常有影響力的論文，為error-correction難題提供了一個(gè)算法解決方案。LeCun說(shuō)：“他的這篇論文奠定了第二波神經(jīng)網(wǎng)絡(luò)發(fā)展的基礎(chǔ)”。重新點(diǎn)燃了研究領(lǐng)域的興趣。

在 Hinton 那讀完博士后后，LeCun 在1988年進(jìn)入AT&T 貝爾實(shí)驗(yàn)室，在接下來(lái)的10年中，他做了很多基礎(chǔ)性的工作，有一些在今天大部分的圖像識(shí)別任務(wù)中都還在使用。1990年，貝爾實(shí)驗(yàn)室資助的NCR項(xiàng)目把一個(gè)神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的設(shè)備進(jìn)行商業(yè)化，后被銀行廣泛采用，可以讀取支票上的手寫(xiě)字跡。LeCun說(shuō)。同時(shí)，兩位德國(guó)研究者 Sepp Hochreiter 和Jürgen Schmidhuber獨(dú)立地開(kāi)發(fā)了一種算法，奠定了今天自然語(yǔ)言處理應(yīng)用的基礎(chǔ)。雖然有這些進(jìn)步，但是到20世紀(jì)90年代中期，神經(jīng)網(wǎng)絡(luò)再次陷入低潮。主要原因是受到當(dāng)時(shí)計(jì)算能力的限制。這一情形持續(xù)了差不多10年，直到研究者發(fā)現(xiàn)GPU的加速后，才再次崛起，此時(shí)的計(jì)算能力已經(jīng)提高了3到4個(gè)維度。

深度學(xué)習(xí)歷史關(guān)鍵點(diǎn)：2014年谷歌收購(gòu)DeepMind；2015年12月微軟ResNet圖像識(shí)別準(zhǔn)確率超越人類(lèi)；2016年3月AlphaGo戰(zhàn)勝李世石。

但是，還有一個(gè)大學(xué)依然缺乏：數(shù)據(jù)。雖然互聯(lián)網(wǎng)帶來(lái)了大量數(shù)據(jù)，但是，絕大部分?jǐn)?shù)據(jù)，尤其是圖像數(shù)據(jù)，依然是沒(méi)有標(biāo)簽的，但這又是訓(xùn)練神經(jīng)網(wǎng)絡(luò)不可或缺的。這時(shí)候，斯坦福的教授李飛飛進(jìn)入了這一領(lǐng)域?！拔覀兊念A(yù)期是，大數(shù)據(jù)會(huì)改變機(jī)器學(xué)習(xí)的運(yùn)作方式”，她在接受采訪(fǎng)時(shí)談到，“數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)”。

2007年，她發(fā)布了ImageNet，打算組建一個(gè)免費(fèi)數(shù)據(jù)庫(kù)，包含了超過(guò)1400萬(wàn)標(biāo)簽圖像。2009年，這一數(shù)據(jù)庫(kù)公開(kāi)，下一年，她組織了一個(gè)年度的競(jìng)賽，來(lái)激勵(lì)并發(fā)表計(jì)算機(jī)視覺(jué)上的重要突破。

2012年10月，Hinton 的兩個(gè)學(xué)生拿下 ImageNet冠軍，深度學(xué)習(xí)的到來(lái)變得明晰了。

但是，當(dāng)時(shí)大眾已經(jīng)聽(tīng)說(shuō)了深度學(xué)習(xí)，雖然是通過(guò)其他的事件。2012年6月，谷歌大腦團(tuán)隊(duì)發(fā)布了“貓?jiān)囼?yàn)”項(xiàng)目，在社交網(wǎng)絡(luò)上獲得廣泛傳播。這一項(xiàng)目實(shí)際上探索的是一個(gè)深度學(xué)習(xí)中一個(gè)還未解決但非常重要的領(lǐng)域——無(wú)監(jiān)督學(xué)習(xí)。當(dāng)下，幾乎所有的商業(yè)深度學(xué)習(xí)產(chǎn)品使用的都是“監(jiān)督學(xué)習(xí)”，也就是說(shuō)，神經(jīng)網(wǎng)絡(luò)要經(jīng)過(guò)標(biāo)簽數(shù)據(jù)的訓(xùn)練、在“無(wú)監(jiān)督學(xué)習(xí)”的條件下，神經(jīng)網(wǎng)絡(luò)獲得的是無(wú)標(biāo)簽數(shù)據(jù)，只能簡(jiǎn)單地參考遞歸模型。研究者會(huì)很喜歡看到有一天能掌握無(wú)監(jiān)督學(xué)習(xí)，讓機(jī)器能自我學(xué)習(xí)，就像嬰兒一般。

深度學(xué)習(xí)四巨頭：產(chǎn)品、人才和戰(zhàn)績(jī)

谷歌在 2011年推出專(zhuān)注深度學(xué)習(xí)的谷歌大腦計(jì)劃（Google Brain Project），在2012年中期發(fā)布基于神經(jīng)網(wǎng)絡(luò)的聲音識(shí)別產(chǎn)品，2013年3月得到了神經(jīng)網(wǎng)絡(luò)先驅(qū)Geoffrey Hinton的加入。谷歌現(xiàn)在有超過(guò)1000個(gè)深度學(xué)習(xí)項(xiàng)目，研究的領(lǐng)域相當(dāng)寬泛，包括Android，Gmail，照片、地圖、翻譯、YouTube和無(wú)人車(chē)。2014年谷歌收購(gòu)DeepMind，今年3月DeepMind的加強(qiáng)深度學(xué)習(xí)項(xiàng)目AlphaGo打敗了世界圍棋冠軍李世石，這對(duì)人工智能來(lái)說(shuō)是標(biāo)志性的事件。

 

微軟在 2011年推出商業(yè)化的語(yǔ)音識(shí)別產(chǎn)品，包括Bing語(yǔ)音搜索和X-Box語(yǔ)音處理。微軟現(xiàn)在在搜索排序、照片搜索、翻譯系統(tǒng)等方面廣泛利用神經(jīng)網(wǎng)絡(luò)?！叭绾无D(zhuǎn)化這些滲透性的影響非常不易。”Lee說(shuō)。微軟去年贏(yíng)得了圖像識(shí)別大賽，九月它在語(yǔ)言識(shí)別的錯(cuò)誤率上取得了突破性的進(jìn)展：錯(cuò)誤率降到6.3%。

 

Facebook在2013年12月聘請(qǐng)了法國(guó)神經(jīng)網(wǎng)絡(luò)創(chuàng)新者Yann LeCun作為它的新AI實(shí)驗(yàn)室的帶頭人。Facebook平均每天使用神經(jīng)網(wǎng)絡(luò)翻譯來(lái)自超過(guò)40種語(yǔ)言國(guó)家的20億用戶(hù)的帖子，這些翻譯的內(nèi)容每天被8000萬(wàn)用戶(hù)閱讀。（Facebook的用戶(hù)中有近一半不是英語(yǔ)用戶(hù)。）Facebook也在照片搜索和照片排列中使用神經(jīng)網(wǎng)絡(luò)，而且它正在開(kāi)發(fā)一個(gè)功能，能對(duì)無(wú)標(biāo)簽的照片生成語(yǔ)音標(biāo)簽以幫助視障人士。

 

百度在2014年4月聘請(qǐng)了谷歌腦計(jì)劃的前負(fù)責(zé)人吳恩達(dá)作為它的AI實(shí)驗(yàn)室的領(lǐng)頭人。百度作為中國(guó)領(lǐng)先的搜索和網(wǎng)絡(luò)服務(wù)企業(yè)，把神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)音識(shí)別、翻譯、圖片搜索以及無(wú)人駕駛等項(xiàng)目中。對(duì)中國(guó)來(lái)說(shuō)，語(yǔ)音識(shí)別是非常關(guān)鍵的領(lǐng)域，因?yàn)槭謾C(jī)輸入中文相當(dāng)困難。百度說(shuō)，過(guò)去18個(gè)月里使用語(yǔ)音接口的用戶(hù)數(shù)量增長(zhǎng)了三倍。

深度學(xué)習(xí)和蓬勃發(fā)展的醫(yī)療領(lǐng)域

并不讓人意外，大部分深度學(xué)習(xí)應(yīng)用的商業(yè)部署都出自谷歌、微軟、Facebook、百度、亞馬遜等公司——他們擁有深度學(xué)習(xí)計(jì)算所需要的大數(shù)據(jù)。很多企業(yè)都在開(kāi)發(fā)更加實(shí)用、更多功能的“聊天機(jī)器人”，作為自動(dòng)客戶(hù)服務(wù)代表。

IBM 和微軟這樣的公司也在幫助商業(yè)客戶(hù)采納深度學(xué)習(xí)驅(qū)動(dòng)的應(yīng)用，比如語(yǔ)音識(shí)別交互和翻譯服務(wù)。同時(shí)，像亞馬遜的云服務(wù)提供了便宜的 GPU 驅(qū)動(dòng)深度學(xué)習(xí)計(jì)算服務(wù)，讓其他公司開(kāi)發(fā)自己的深度學(xué)習(xí)軟件成為可能。大量的開(kāi)源軟件，比如 Caffe、谷歌的 TensorFlow 和亞馬遜的 DSSTNE，共同促進(jìn)了創(chuàng)新的進(jìn)程，同時(shí)也創(chuàng)造了一種開(kāi)源共享的文化，進(jìn)而有許多研究者在一個(gè)數(shù)據(jù)集上獲得成果以后會(huì)立刻發(fā)布出來(lái)，不需要再等待漫長(zhǎng)的同行評(píng)議。

對(duì)深度學(xué)習(xí)的應(yīng)用，許多最令人興奮的嘗試發(fā)生在醫(yī)療領(lǐng)域。我們已經(jīng)知道神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上可以做得很好。領(lǐng)導(dǎo) Andreessen Horowitz 生物投資部門(mén)的觀(guān)察者、斯坦福教授Vijay Pande 說(shuō)，“醫(yī)生的工作中，有很大一部分就是圖像識(shí)別，不管我們說(shuō)的是放射科、皮膚科、眼科或者別的什么科”。

初創(chuàng)公司 Enlitic 使用深度學(xué)習(xí)來(lái)分享 CT 和 MRI 掃描結(jié)果。公司 CEO Igor Barani 此前曾是加利福尼亞大學(xué)的放射腫瘤學(xué)的教授，他說(shuō)，Enlitics 的算法在探測(cè)和分類(lèi)肺部腫瘤的惡化上超過(guò)了 四位腫瘤學(xué)專(zhuān)家。（該研究還沒(méi)有通過(guò)同行評(píng)議，也沒(méi)有獲得美國(guó)食品藥品管理局（FDA）的認(rèn)可。

默克公司（Merck）正在嘗試使用深度學(xué)習(xí)來(lái)加速藥品的發(fā)現(xiàn)，在舊金山的一家初創(chuàng)企業(yè) Atomwise 也在做同樣的事。神經(jīng)網(wǎng)絡(luò)通過(guò)觀(guān)看3D圖像（圖像中上萬(wàn)個(gè)分子可能會(huì)被用作藥材），預(yù)測(cè)這些分子在抵抗病原體上的適用性。這些公司正在使用神經(jīng)網(wǎng)絡(luò)，嘗試提高人類(lèi)已經(jīng)在做的事情。但是，也有一起公司在嘗試做一些人類(lèi)無(wú)法完成的是，27 歲的計(jì)算機(jī)生物學(xué)博士 Gabriel Otte 創(chuàng)辦了 Freenome，其目標(biāo)是從樣本血中診斷癌癥。使用深度學(xué)習(xí)，他讓計(jì)算機(jī)找到脫細(xì)胞DNA和一些癌癥的關(guān)聯(lián)性?！拔覀儼l(fā)現(xiàn)了一些新穎的特征，這是還沒(méi)被癌癥生物學(xué)家發(fā)現(xiàn)的。”

Andreessen Horowitz 在考慮對(duì) Freenome 進(jìn)行投資時(shí)，Pande 給OTTE 設(shè)置了5個(gè)盲樣，其有兩個(gè)是正常的，另外三個(gè)是患癌的。Otte 五個(gè)檢測(cè)全正確了，然后獲得了投資。

一個(gè)放射科醫(yī)生一生可能會(huì)看上萬(wàn)張掃描圖像，但是，一臺(tái)計(jì)算機(jī)可能會(huì)看上千萬(wàn)張?！白層?jì)算機(jī)來(lái)解決圖像的問(wèn)題，這聽(tīng)起來(lái)并不瘋狂”，Pande說(shuō)，“因?yàn)樗麄兡芴幚淼臄?shù)據(jù)遠(yuǎn)比人類(lèi)多得多”。

計(jì)算機(jī)的潛力不僅在于更準(zhǔn)確、更快的分析，而是能帶來(lái)服務(wù)的民主化。隨著技術(shù)標(biāo)準(zhǔn)化，最終每一位患者都能受益。也許在以一種人們還沒(méi)有想到的方式，與其他的人工智能技術(shù)進(jìn)行融合，形成一個(gè)完整的工具箱，人們才會(huì)感受到深度學(xué)習(xí)最大的影響力才。例如，谷歌的 DeepMind 通過(guò)把深度學(xué)習(xí)與相關(guān)的技術(shù)——增強(qiáng)學(xué)習(xí)相結(jié)合，已經(jīng)取得了一些震撼的成功。結(jié)合這兩種技術(shù)，他們創(chuàng)造了AlphaGo，讓這一程序在今年3月份擊敗了圍棋世界冠軍，這被認(rèn)為是 AI 領(lǐng)域具有里程碑意義的事件。與 1997 年擊敗國(guó)際象棋冠軍的 IBM 深藍(lán)不一樣，AlphaGo 沒(méi)用使用決策樹(shù)進(jìn)行編程，也沒(méi)有使用如何評(píng)估棋盤(pán)位置的等式，沒(méi)有使用 if-then 規(guī)則?！癆lphaGo 學(xué)習(xí)下圍棋主要是從自我對(duì)弈和觀(guān)察其他專(zhuān)業(yè)棋手的對(duì)弈中進(jìn)行”，DeepMind 的 CEO Demis Hassabis 說(shuō)。

一個(gè)游戲可能看起來(lái)像是人工設(shè)置的環(huán)境。但是 Hassabis認(rèn)為，游戲的技術(shù)可以被用到現(xiàn)實(shí)世界的難題中。事實(shí)上，8月份的時(shí)候，谷歌報(bào)告說(shuō)，通過(guò)使用與 AlphaGo 類(lèi)似的方法，DeepMind 能夠?qū)⒐雀钄?shù)據(jù)中心的能源效率提升 15%。在數(shù)據(jù)中心，可能有 120 種變量在影響電力消耗，Hassabis 說(shuō)，“你可以換風(fēng)扇、開(kāi)窗戶(hù)、調(diào)整計(jì)算機(jī)系統(tǒng)等等，這些都是電力消耗的地方。從傳感器、溫度計(jì)之類(lèi)的地方，你可以獲取數(shù)據(jù)。這和圍棋棋盤(pán)類(lèi)似。通過(guò)試錯(cuò)，你可以知道正確的方向是哪里”。

“這很好，”他繼續(xù)說(shuō)，“每年，你可以省下上千萬(wàn)美金，并且對(duì)環(huán)保來(lái)說(shuō)也是好事。世界上的數(shù)據(jù)中心消耗了大量的能源。我們非常希望能大量地減少這些消耗，甚至是在國(guó)家電網(wǎng)的層面”。

聊天機(jī)器人是挺好。但這個(gè)，才是真正厲害的應(yīng)用。

人工智能概念股：埃斯頓、科大智能、漢王科技、江南化工、華東數(shù)控、和而泰、中科曙光、永創(chuàng)智能、北京君正、通富微電、永創(chuàng)智能、勁拓股份。