在經(jīng)歷了幾十年起起伏伏的發(fā)展后,人工智能終于開(kāi)始為公司企業(yè)帶來(lái)實(shí)實(shí)在在的價(jià)值了。近日,麥肯錫發(fā)布了報(bào)告指出,新進(jìn)入人工智能領(lǐng)域的公司將學(xué)習(xí)到早期進(jìn)入這一領(lǐng)域的巨頭在投資以及創(chuàng)造價(jià)值上面的豐富經(jīng)驗(yàn)。新技術(shù)開(kāi)啟新應(yīng)用,但也會(huì)帶來(lái)新的風(fēng)險(xiǎn)。應(yīng)用高新技術(shù),必須注意新技術(shù)帶來(lái)的危險(xiǎn)。因此,最近OpenAI和DeepMind的研究人員希望利用一種能從人工反饋中學(xué)習(xí)的新算法,使人工智能更安全。
這兩家公司都是強(qiáng)化學(xué)習(xí)領(lǐng)域的專家。強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支,即在給定的環(huán)境下,如果人工智能系統(tǒng)做出正確行為,那么就給予獎(jiǎng)勵(lì)。目標(biāo)通過(guò)算法來(lái)制定,而人工智能系統(tǒng)通過(guò)編程去尋求獎(jiǎng)勵(lì),例如在游戲中贏得高分。
在教會(huì)機(jī)器玩游戲,或是通過(guò)模擬來(lái)駕駛無(wú)人車的場(chǎng)景下,強(qiáng)化學(xué)習(xí)非常成功。這種方法在探索人工智能系統(tǒng)的行為時(shí)非常強(qiáng)大,但如果編死的算法出現(xiàn)錯(cuò)誤,或是產(chǎn)生不必要的副作用,那么也可能非常危險(xiǎn)。
發(fā)表至arXiv的一篇論文描述了一種新方法,有助于預(yù)防此類問(wèn)題。首先,人工智能系統(tǒng)在環(huán)境中產(chǎn)生隨機(jī)行為,預(yù)期的獎(jiǎng)勵(lì)基于人工判斷,而這將被反饋至強(qiáng)化學(xué)習(xí)算法,以改變?nèi)斯ぶ悄芟到y(tǒng)的行為。
研究人員將這種技術(shù)應(yīng)用至一項(xiàng)訓(xùn)練任務(wù)。關(guān)于人工智能行為的兩段視頻被發(fā)給人工,而人工將判斷哪種行為干得更好。
通過(guò)這種方式,人工智能系統(tǒng)可以逐漸學(xué)會(huì)如何追逐獎(jiǎng)勵(lì),通過(guò)更好地解釋人工的評(píng)判來(lái)學(xué)會(huì)達(dá)成目標(biāo)。這樣的強(qiáng)化學(xué)習(xí)算法會(huì)調(diào)整自身的行為,并不斷尋求人工的認(rèn)同。
在這項(xiàng)任務(wù)中,人工評(píng)判者只花了不到1小時(shí)時(shí)間。然而對(duì)于更復(fù)雜的任務(wù),例如做飯或發(fā)送電子郵件,那么還需要更多的人工反饋。這樣做可能是不經(jīng)濟(jì)的。
論文的共同作者、OpenAI研究員達(dá)里奧.阿莫德伊(DarioAmodei)表示,減少對(duì)人工智能系統(tǒng)的監(jiān)督是未來(lái)可能專注的一個(gè)研究領(lǐng)域。
他表示:“從廣義上說(shuō),半監(jiān)督學(xué)習(xí)技術(shù)在這里可能會(huì)有幫助。另一種可能的選擇是提供信息密集的反饋形式,例如語(yǔ)言,或者讓人工指向屏幕的特定部分,以代表良好行為。信息更密集的反饋或許將幫助人工減少與算法溝通的時(shí)間。”
研究員在其他模擬機(jī)器人和Atari游戲中測(cè)試了他們的算法。結(jié)果表明,機(jī)器某些時(shí)候可能取得超人的成績(jī)。不過(guò),這在很大程度上依賴人工的評(píng)判能力。
OpenAI在博客中表示:“關(guān)于什么行為是正確的,我們算法的表現(xiàn)與人工評(píng)判者的直覺(jué)一樣好。但如果人工對(duì)于任務(wù)沒(méi)有很好的把握,那么可能就無(wú)法提供較多有幫助的反饋。”
阿莫德伊表示,目前的結(jié)果僅限于非常簡(jiǎn)單的環(huán)境。不過(guò),對(duì)于那些獎(jiǎng)勵(lì)難以量化的任務(wù),例如駕駛、組織活動(dòng)、寫作,以及提供技術(shù)支持,這可能會(huì)很有幫助。