KDnuggets今年采訪了11位人工智能領(lǐng)域的專家，詢問了他們有關(guān)例如“2018年數(shù)據(jù)科學(xué)和分析領(lǐng)域的主要發(fā)展是什么?你預(yù)計(jì)2019年的主要趨勢(shì)是什么?”等問題，來回顧和展望人工智能(AI)及機(jī)器學(xué)習(xí)(ML)的發(fā)展。這些專家挑選出的關(guān)鍵主題包括深度學(xué)習(xí)的進(jìn)步、遷移學(xué)習(xí)、機(jī)器學(xué)習(xí)的局限性、自然語言處理領(lǐng)域的變化等等。以下為這11位專家的見解：
Anima Anandkuma (@AnimaAnandkumar)是英偉達(dá)(NVIDIA)機(jī)器學(xué)習(xí)研究主管，加州理工學(xué)院教授。
2018年機(jī)器學(xué)習(xí)和人工智能的主要進(jìn)展是什么?
“已經(jīng)取得深度學(xué)習(xí)的初步豐碩成果”
焦點(diǎn)開始從標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)轉(zhuǎn)向更具挑戰(zhàn)性的機(jī)器學(xué)習(xí)問題，如半監(jiān)督學(xué)習(xí)、領(lǐng)域適應(yīng)、主動(dòng)學(xué)習(xí)和生成模型。GAN(生成對(duì)抗網(wǎng)絡(luò))在嘗試像照片寫實(shí)主義(bigGANs)和視頻到視頻合成這樣難度較大的任務(wù)中仍然很受研究人員歡迎。開發(fā)了替代生成模型(如神經(jīng)繪制模型)，將生成和預(yù)測(cè)結(jié)合在一個(gè)網(wǎng)絡(luò)中，來促進(jìn)半監(jiān)督學(xué)習(xí)。研究人員將深度學(xué)習(xí)的應(yīng)用擴(kuò)展到地震預(yù)測(cè)、材料科學(xué)、蛋白質(zhì)工程、高能物理和控制系統(tǒng)等許多科學(xué)領(lǐng)域。在這些案例中，領(lǐng)域知識(shí)和約束與學(xué)習(xí)相結(jié)合。例如，為了提高無人機(jī)的自主著陸能力，通過學(xué)習(xí)地面效應(yīng)模型來校正基地控制器，保證學(xué)習(xí)的穩(wěn)定性，這在控制系統(tǒng)中是非常重要的。
預(yù)測(cè)：
“將模擬和現(xiàn)實(shí)連接起來的人工智能，將變得更安全，更具有實(shí)體意識(shí)”
我們將看到新的領(lǐng)域適應(yīng)技術(shù)的發(fā)展，無縫地將知識(shí)從模擬轉(zhuǎn)移到現(xiàn)實(shí)世界。使用模擬將幫助我們克服數(shù)據(jù)的稀缺，并在新的領(lǐng)域和問題中加速學(xué)習(xí)。將人工智能從模擬應(yīng)用到真實(shí)數(shù)據(jù)(Sim2real)將對(duì)機(jī)器人技術(shù)、自動(dòng)駕駛、醫(yī)學(xué)成像、地震預(yù)測(cè)等領(lǐng)域產(chǎn)生重大影響。在自動(dòng)駕駛等安全關(guān)鍵應(yīng)用中，模擬是考慮所有可能場(chǎng)景的一種很好的方式。
Andriy Burkov (@burkov)是Gartner的機(jī)器學(xué)習(xí)團(tuán)隊(duì)負(fù)責(zé)人。
以下是我作為一個(gè)實(shí)踐者的個(gè)人看法，而非Gartner基于研究的官方聲明。
2018年機(jī)器學(xué)習(xí)和人工智能的主要發(fā)展是什么?
TensorFlow在學(xué)術(shù)界輸給了PyTorch。有時(shí)候，谷歌的巨大影響力和影響范圍可能會(huì)將市場(chǎng)引向一個(gè)并不理想的方向，MapReduce(一種編程模型)就是這樣一個(gè)例子。
深度偽造(Deepfakes，它制造出的聲音與真人一模一樣)粉碎了最可靠的信息來源，打破了傳統(tǒng)觀念：眼見未必為實(shí)。自今年4月份以來，涉及美國前總統(tǒng)巴拉克·奧巴馬(BarackObama)的一段一分鐘長視頻已被觀看過480萬次。在這個(gè)視頻里，你可以看到奧巴馬在發(fā)表演講，演講內(nèi)容卻是其正在用語言攻擊他的繼任者唐納德·特朗普。但是只是一段經(jīng)過加工的視頻。令人詫異之處在于，當(dāng)奧巴馬在發(fā)表上述演講時(shí)，他的嘴巴會(huì)隨之而動(dòng)，表情、口型、聲音和奧巴馬一模一樣，讓人完全看不出任何破綻，就像是奧巴馬真人的發(fā)表演講一樣
強(qiáng)化學(xué)習(xí)以深度學(xué)習(xí)的形式卷土重來，實(shí)在是出人意料!
谷歌機(jī)器人能夠代你打電話訂餐，并且偽裝地與真人毫無二致，這是一個(gè)里程碑。然而，它提出了許多關(guān)于倫理和人工智能的問題。
個(gè)人助理和聊天機(jī)器人很久就會(huì)被發(fā)展到極致。它們表現(xiàn)的比以往任何時(shí)候都好，但與去年公眾對(duì)它們的期望還是存在差距。
你預(yù)計(jì)2019年的主要趨勢(shì)是什么?
1. 我預(yù)計(jì)公眾對(duì)機(jī)器學(xué)習(xí)的興趣會(huì)增加，至少一定會(huì)高于今年。但我預(yù)計(jì)機(jī)器學(xué)習(xí)可能會(huì)經(jīng)歷失敗(除了出現(xiàn)一些非常具體的和令人驚艷的用例，如圖像識(shí)別、機(jī)器翻譯、文本分類)。
2. 營銷自動(dòng)化:隨著成熟的生成式對(duì)抗網(wǎng)絡(luò)和變分自編碼器(variational autoencoder)的出現(xiàn)，人們可以生成數(shù)千張同一個(gè)人或同一名付費(fèi)用戶的照片，而這些照片之間的面部表情或情緒差異很小。根據(jù)消費(fèi)者對(duì)這些圖片的反應(yīng)，我們可以產(chǎn)生最佳的廣告活動(dòng)。
3. 移動(dòng)設(shè)備上的實(shí)時(shí)語音生成與真人無異。
4. 自動(dòng)駕駛出租車仍處于測(cè)試/PoC(驗(yàn)證性測(cè)試)階段。
Pedro Domingos (@pmddomingos)是華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程系教授。
經(jīng)過多年的大肆宣傳后，2018年將人工智能蒙上了一層陰影。聽聽媒體甚至一些研究人員的說法，你可能會(huì)認(rèn)為，劍橋分析公司(Cambridge Analytica)把幫助特朗普贏得了2016年的大選;機(jī)器學(xué)習(xí)算法帶有偏見和歧視;機(jī)器人將取代我們的工作，然后將掌控我們的生活。這也不只是說說而已：歐洲和加州已經(jīng)通過了嚴(yán)厲的隱私法，聯(lián)合國正在討論禁止智能武器，等等。公眾對(duì)人工智能的看法越來越黑暗，這既危險(xiǎn)又不公平。希望2019年是理智回歸的一年。
Ajit Jaokar (@AjitJaokar)是牛津大學(xué)物聯(lián)網(wǎng)數(shù)據(jù)科學(xué)課程的首席數(shù)據(jù)科學(xué)家和創(chuàng)始人。
2018年，出現(xiàn)了一大波新趨勢(shì)。自動(dòng)化機(jī)器學(xué)習(xí)是其中之一，強(qiáng)化學(xué)習(xí)是另一個(gè)。這兩種新趨勢(shì)將在2019年顯著擴(kuò)大。作為我在牛津大學(xué)(Oxford University)教學(xué)的一部分(物聯(lián)網(wǎng)數(shù)據(jù)科學(xué)課程)，我看到物聯(lián)網(wǎng)正日益融入自動(dòng)駕駛汽車、機(jī)器人和智能城市等大型生態(tài)系統(tǒng)。通過與Dobot的合作，我看到了一種新型機(jī)器人，即協(xié)作機(jī)器人(cobots)，這是2019年的一個(gè)關(guān)鍵趨勢(shì)。不像以前的流水線機(jī)器人，新的機(jī)器人具有自主能力，也能夠理解情感。最后，一個(gè)有爭(zhēng)議的觀點(diǎn)是:2019年，我們所知的數(shù)據(jù)科學(xué)家的角色將從研究轉(zhuǎn)向產(chǎn)品開發(fā)。我認(rèn)為人工智能與下一代數(shù)據(jù)產(chǎn)品的創(chuàng)造有著更緊密的聯(lián)系。數(shù)據(jù)科學(xué)家的角色將相應(yīng)地改變。
Nikita Johnson (@nikitaljohnson)是RE.WORK的創(chuàng)始人。
我們?cè)?018年看到的一項(xiàng)發(fā)展是，越來越多的開源工具正在降低進(jìn)入門檻，讓所有人都能更容易地開發(fā)人工智能，以確保組織間的協(xié)作得到加強(qiáng)。這些社區(qū)對(duì)于確保人工智能在社會(huì)和商業(yè)領(lǐng)域的傳播至關(guān)重要。
同樣，在2019年，我們將看到專注于“AI for Good”(AI造福人類)的公司數(shù)量增加，這是基于谷歌最近宣布的“AI for Social Good”項(xiàng)目，以及微軟的“AI for Good”計(jì)劃。隨著社會(huì)要求企業(yè)達(dá)到更高的社會(huì)目標(biāo)，這種向人工智能的積極影響的轉(zhuǎn)變正在獲得越來越多的關(guān)注。
Zachary Chase Lipton (@zacharylipton)是卡內(nèi)基梅隆大學(xué)機(jī)器學(xué)習(xí)的助理教授，也是“Approximately Correc”博客的創(chuàng)始人。
深度學(xué)習(xí)占據(jù)了關(guān)于機(jī)器學(xué)習(xí)和人工智能的大部分公共話語。也許我的這番話會(huì)惹惱一些人，但這里有一個(gè)關(guān)于2018年的合理解讀:最大的進(jìn)展是沒有任何進(jìn)展!當(dāng)然，這是一個(gè)過于簡(jiǎn)單的理解。在很大程度上，最大的發(fā)展是“調(diào)整”的性質(zhì)，而非突破性發(fā)展。今年最大的新聞是ELMO和BERT的情景化嵌入。從經(jīng)驗(yàn)來看，這些都是非常了不起的進(jìn)步。但至少從2015-16年以來，我們一直在對(duì)語言模型進(jìn)行預(yù)先培訓(xùn)，并對(duì)下游分類任務(wù)進(jìn)行微調(diào)。因此，或許更憤世嫉俗的說法是，今年并非新的“大創(chuàng)意”占主導(dǎo)地位的一年。
我們正急匆匆地進(jìn)入所有這些聲稱可以“解決”問題的實(shí)踐領(lǐng)域，但到目前為止，工具箱中唯一可靠的工具是監(jiān)督學(xué)習(xí)，而且我們僅憑模式匹配所能做的事情也有一些限制。監(jiān)督模型發(fā)現(xiàn)關(guān)聯(lián)，但它們不提供證據(jù)。他們不知道哪些信息是安全的，哪些信息是不可靠的。這些模型沒有告訴我們干預(yù)的效果。當(dāng)我們?cè)谌藱C(jī)交互系統(tǒng)中部署基于監(jiān)督學(xué)習(xí)的自動(dòng)化系統(tǒng)時(shí)，我們沒有預(yù)料到它們會(huì)扭曲激勵(lì)機(jī)制，從而改變環(huán)境，破壞它們所依賴的模式。明年我們會(huì)看到更多機(jī)器學(xué)習(xí)項(xiàng)目的案例被廢棄，或者正是因?yàn)檫@些限制而陷入困境，我們會(huì)發(fā)現(xiàn)研究人員將更多的關(guān)注與彌合代表性學(xué)習(xí)和因果推理之間差距相關(guān)的問題。
Matthew Mayo (@mattmayo13)是KDnuggets的編輯。
在我看來，2018年的機(jī)器學(xué)習(xí)似乎是精益求精的一年。例如，由于文本分類的通用語言模型微調(diào)(ULMFiT)和Bidirectional Encoder Representations from Transformers (BERT)等技術(shù)，遷移學(xué)習(xí)獲得了更廣泛的應(yīng)用和興趣，特別是在自然語言處理方面。這些并不是去年NLP的唯一進(jìn)步;另外值得注意的是Embeddings from Language Models，它對(duì)模型用于的每個(gè)任務(wù)都做了相當(dāng)大的改進(jìn)。例如，今年的其他突破似乎集中在對(duì)現(xiàn)有技術(shù)的改進(jìn)上，如BigGANs。此外，關(guān)于機(jī)器學(xué)習(xí)中包含和多樣性的非技術(shù)討論也成為主流。
我認(rèn)為到2019年，隨著強(qiáng)化學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的潛在應(yīng)用得到越來越多的認(rèn)識(shí)，研究的重點(diǎn)將從監(jiān)督學(xué)習(xí)轉(zhuǎn)向強(qiáng)化學(xué)習(xí)和半監(jiān)督學(xué)習(xí)等領(lǐng)域。例如，我們現(xiàn)在正處于圖像識(shí)別和生成已經(jīng)得到“解決”的階段，在此過程中所學(xué)到的知識(shí)可以幫助研究人員追求更復(fù)雜的機(jī)器學(xué)習(xí)應(yīng)用。
Brandon Rohrer (@_brohrer_)是Facebook的一名數(shù)據(jù)科學(xué)家。
2018年的一個(gè)重要趨勢(shì)是數(shù)據(jù)科學(xué)教育機(jī)會(huì)的增加和成熟。在線課程是原始的數(shù)據(jù)科學(xué)教育場(chǎng)所。它們?cè)诟鱾€(gè)層次繼續(xù)占據(jù)主導(dǎo)地位，每年都有學(xué)習(xí)的人數(shù)及主題內(nèi)容都會(huì)增加。
在學(xué)術(shù)界，新的數(shù)據(jù)科學(xué)碩士項(xiàng)目正以每年大約12個(gè)的速度騰飛。高等院校正在響應(yīng)公司和學(xué)生的請(qǐng)求，為數(shù)據(jù)相關(guān)領(lǐng)域提供專門的項(xiàng)目。(今年，18位行業(yè)合著者和我，以及11位學(xué)術(shù)貢獻(xiàn)者，創(chuàng)建了一個(gè)虛擬行業(yè)咨詢委員會(huì)，幫助支持這種爆炸式增長。)
2019年及以后，學(xué)術(shù)數(shù)據(jù)科學(xué)項(xiàng)目將成為一種更常見的方式，收集獲得第一個(gè)數(shù)據(jù)科學(xué)職位所需的基本技能。這是一件好事。接受認(rèn)證的機(jī)構(gòu)將填補(bǔ)長期以來的空白。到目前為止，數(shù)據(jù)科學(xué)資格在很大程度上是通過以前的工作經(jīng)驗(yàn)證明的。這就進(jìn)入了一條死胡同。新數(shù)據(jù)科學(xué)家不能展示他們的資質(zhì)，因?yàn)樗麄儚膩頉]有從事過數(shù)據(jù)科學(xué)工作，他們不能獲得數(shù)據(jù)科學(xué)工作，因?yàn)樗麄儾荒苷故舅麄兊馁Y質(zhì)。來自教育機(jī)構(gòu)的證書是打破這種循環(huán)的一種方法。
我預(yù)計(jì)，數(shù)據(jù)科學(xué)大學(xué)學(xué)位與在線培訓(xùn)課程之間的界線將日益模糊。在我看來，這是“數(shù)據(jù)科學(xué)民主化”最真實(shí)的形式。
Elena Sharova是ITV的高級(jí)數(shù)據(jù)科學(xué)家。
2018年機(jī)器學(xué)習(xí)和人工智能的主要發(fā)展是什么?
我認(rèn)為，在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域中，2018年將通過以下三個(gè)事件被銘記。
首先，歐盟全球數(shù)據(jù)保護(hù)條例(GDPR)的啟動(dòng)旨在提高個(gè)人數(shù)據(jù)使用的公平性和透明度。該條例使個(gè)人有權(quán)控制其個(gè)人資料，以及查閱個(gè)人資料的使用方法，但亦對(duì)法律的解釋造成混淆。到目前為止的最終結(jié)果是，許多公司數(shù)據(jù)處理做了一些表面的更改，忽略了重新設(shè)計(jì)用于數(shù)據(jù)存儲(chǔ)和處理的基礎(chǔ)設(shè)施的基本需求。
其次，劍橋分析丑聞給整個(gè)數(shù)據(jù)科學(xué)界蒙上了一層陰影。如果說之前的辯論主要是關(guān)于確保AI和ML產(chǎn)品的公平性，那么這次丑聞引發(fā)了更深層次的道德問題。對(duì)Facebook參與的最新調(diào)查意味著，這種影響是長久的。隨著數(shù)據(jù)科學(xué)領(lǐng)域的成熟，這樣的案例將在許多行業(yè)發(fā)生，而不僅僅是政治領(lǐng)域。一些案件將更加悲慘，比如亞利桑那州的優(yōu)步(Uber)自動(dòng)駕駛汽車致死案，它們將引發(fā)強(qiáng)烈的公眾反應(yīng)。技術(shù)就是力量，伴隨著力量而來的是責(zé)任。正如諾姆•喬姆斯基(Noam Chomsky)所言:“只有在民間故事、兒童故事和學(xué)術(shù)期刊上，權(quán)力才能被明智而恰當(dāng)?shù)赜脕硐麥缧皭骸?rdquo;現(xiàn)實(shí)世界教給我們的是完全不同的教訓(xùn)。
最后，從更積極的方面來說，亞馬遜自研服務(wù)器處理器芯片的最新開發(fā)意味著，我們可能離云計(jì)算的普遍訪問不再是一個(gè)成本問題的日子越來越近。
你預(yù)計(jì)2019年的主要趨勢(shì)是什么?
數(shù)據(jù)科學(xué)家的角色和職責(zé)不僅僅是建立能夠?qū)崿F(xiàn)準(zhǔn)確預(yù)測(cè)的模型。對(duì)于ML、AI和數(shù)據(jù)科學(xué)從業(yè)者來說，2019年的主要趨勢(shì)將是遵循既定軟件開發(fā)實(shí)踐的日益增長的責(zé)任，尤其是在測(cè)試和維護(hù)方面。數(shù)據(jù)科學(xué)的最終產(chǎn)品必須與公司技術(shù)棧的其余部分共存。有效運(yùn)行和維護(hù)專有軟件的要求將適用于我們構(gòu)建的模型和解決方案。這意味著最好的軟件開發(fā)實(shí)踐將支持我們需要遵循的機(jī)器學(xué)習(xí)規(guī)則。
Rachel Thomas(@math_rachel)是fast.ai的創(chuàng)始人，也是USF的助理教授。
2018年人工智能的兩個(gè)主要發(fā)展方向是:
1. 遷移學(xué)習(xí)在NLP中的成功應(yīng)用
2. 反烏托邦式濫用人工智能日益受到關(guān)注
遷移學(xué)習(xí)是將一個(gè)預(yù)先訓(xùn)練好的模型應(yīng)用到一個(gè)新的數(shù)據(jù)集上的實(shí)踐。遷移學(xué)習(xí)是計(jì)算機(jī)視覺突飛猛進(jìn)的關(guān)鍵因素，2018年，遷移學(xué)習(xí)成功地應(yīng)用到NLP工作中，包括來自fast.ai的ULMFiT和Sebastian Ruder，Allen Institute的ELMo，OpenAI轉(zhuǎn)換器和Google的Bert。正如《紐約時(shí)報(bào)》一篇文章所描述的那樣，這些進(jìn)步既令人興奮，也令人擔(dān)憂。NLP是神經(jīng)語言程序?qū)W(Neuro-Linguistic Programming)的英文縮寫。
Facebook在緬甸種族滅絕事件中的決定性作用、YouTube過多地推薦陰謀論(其中許多都宣揚(yáng)白人至上)、政府和執(zhí)法機(jī)構(gòu)使用人工智能進(jìn)行監(jiān)控等持續(xù)不斷的問題，終于在2018年開始獲得主流媒體更多的關(guān)注。雖然這些對(duì)人工智能的誤用令人膽戰(zhàn)心驚，但有越來越多的人開始意識(shí)到它們，并越來越多地予以反擊，這是件好事。
我預(yù)計(jì)這些趨勢(shì)將在2019年繼續(xù)下去，伴隨著NLP的快速發(fā)展，以及技術(shù)如何被用于監(jiān)視、煽動(dòng)暴力和危險(xiǎn)政治運(yùn)動(dòng)操縱方面的更多反烏托邦式發(fā)展。
Daniel Tunkelang (@dtunkelang)是一個(gè)專注于搜索、發(fā)現(xiàn)和ML/AI的獨(dú)立顧問。
2018年，自然語言處理和理解的嵌入詞的復(fù)雜性有了兩大進(jìn)步。
第一次是在三月。艾倫人工智能研究所(Allen Institute for AI)和華盛頓大學(xué)的研究人員發(fā)表了《Deep context- alized word representation》一書，并介紹了ELMo(Embeddings from Language Models)，這是一種開源的深度上下文單詞嵌入，改進(jìn)了word2vec或GloVe等上下文無關(guān)的嵌入。作者通過簡(jiǎn)單地替換ELMo預(yù)訓(xùn)練模型中的向量，證明了對(duì)現(xiàn)有NLP系統(tǒng)的改進(jìn)。
第二次是在11月。谷歌開源的BERT(Bidirectional Encoder Representations from Transformers)，一個(gè)雙向的，無監(jiān)督的語言表示，預(yù)先在維基百科上訓(xùn)練。他們?cè)诟鞣N各樣的NLP基準(zhǔn)測(cè)試中取得了顯著的改進(jìn)，甚至相對(duì)于ELMo而言也是如此。
從智能揚(yáng)聲器的迅速普及(到2018年底將達(dá)到1億人左右)到移動(dòng)電話上數(shù)字助理的普及，自然語言理解的進(jìn)步正迅速從實(shí)驗(yàn)室轉(zhuǎn)移到實(shí)踐領(lǐng)域。對(duì)于NLP的研究和實(shí)踐來說，這是一個(gè)激動(dòng)人心的時(shí)代。
但我們還有很長的路要走。
同樣是在今年，艾倫研究所的一項(xiàng)實(shí)驗(yàn)表明，最先進(jìn)的NLP仍然遠(yuǎn)遠(yuǎn)落后于人類的表現(xiàn)。
但希望我們能在2019年看到更多的NLP突破。計(jì)算機(jī)科學(xué)領(lǐng)域許多最優(yōu)秀的人才都在從事這方面的工作，業(yè)界也渴望應(yīng)用他們的成果。
【來源：前瞻網(wǎng)】
