算法相對論|復(fù)旦教授邱錫鵬:神經(jīng)網(wǎng)絡(luò)還遠(yuǎn)遠(yuǎn)談不上有意識

2022-05-15 08:53:44 來源:澎湃新聞

今天我們常常談及“AI賦能百業(yè)”,這其中隱含的對人工智能的信心并非尋常,且實際上非常新潮。

2012年,“深度學(xué)習(xí)之父” Geoffrey Hinton帶領(lǐng)的團隊一鳴驚人奪得ImageNET圖像識別大賽冠軍。深度學(xué)習(xí)表現(xiàn)出遠(yuǎn)超傳統(tǒng)方法的效果,由此開啟了工業(yè)界人工智能應(yīng)用研究的熱潮,至今不到十年。

翻看人工智能的發(fā)展史,人類對AI的想象似乎常在過度神化與無盡悲觀之間作擺錘運動。有如2016年AlphaGo戰(zhàn)勝人類圍棋世界冠軍的高光時刻,人類涌起對AI的無盡想象,也有各種“AI不靈”的落地困難,前景低迷。

以此觀察學(xué)術(shù)界近期的兩個熱議話題似乎也有所寫照:一個是OpenAI首席科學(xué)家Ilya Sutskever發(fā)推文表示大型神經(jīng)網(wǎng)絡(luò)可能有點意識了,一個是紐約大學(xué)名譽教授Gary Marcus發(fā)文《深度學(xué)習(xí)要碰壁了》。

一個是似乎看到了人工智能構(gòu)造人類智能的曙光,一個則覺得這套要不靈了。兩個都“有幸”得到了2018年圖靈獎得主Yann LeCun的嘲諷。

要討論這個話題,有一個非常簡單的基礎(chǔ)知識要了解。粗略地說,AI算法語境中的神經(jīng)網(wǎng)絡(luò)是對人類大腦運作方式的模仿,深度學(xué)習(xí)則是三層或更多層的神經(jīng)網(wǎng)絡(luò)。

所以在人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks)發(fā)展之初就有個樸素的想法:人腦有數(shù)十億個神經(jīng)元和數(shù)萬億個突觸,人工神經(jīng)網(wǎng)絡(luò)越接近這樣的復(fù)雜度就越可能實現(xiàn)人類智能。

復(fù)旦大學(xué)計算機科學(xué)技術(shù)學(xué)院教授邱錫鵬在接受澎湃新聞(www.thepaper.cn)采訪時也多次提到Hinton說過的“神經(jīng)網(wǎng)絡(luò)是目前唯一證明了可以產(chǎn)生智能的模型?!痹谇皴a鵬的理解中,這個智能不指向通用,而是指向類似人類的大腦。

人工神經(jīng)網(wǎng)絡(luò)的“大力出奇跡”思路確實有效,通常更多的神經(jīng)元產(chǎn)生更多的參數(shù),而更多的參數(shù)產(chǎn)生更好的結(jié)果。以GPT-3為例,GPT-3有1750億個參數(shù),是其前身GPT-2的100倍。

OpenAI的首席執(zhí)行官Sam Altman曾在線上會議(the AC10 online meetup)表示,之后的GPT-5或許能夠通過圖靈測試。OpenAI首席技術(shù)官Greg Brockman曾表示,誰擁有最大的計算機,誰就能獲得最大的好處。

對于這次Sutskever發(fā)推文表示大型神經(jīng)網(wǎng)絡(luò)可能有點意識了,邱錫鵬在接受澎湃新聞(www.thepaper.cn)采訪時,首先提及了OpenAI正在進行中的GPT-4以及GPT-3的上下文學(xué)習(xí)(In-context learning)算法。

“GPT-3的In-context learning是一個我覺得有變革性的范式。不再需要調(diào)參,給一些提示,就可以去做任務(wù)了。這個目前雖然說質(zhì)量并沒有調(diào)參的好,但也能達到一個不錯的效果。這個會讓大模型看起來更加智能,發(fā)展到一定程度它表現(xiàn)出某種行為,可能看起來像有自主意識一樣?!鼻皴a鵬表示。

調(diào)參極耗費人力和時間成本,尤其是GPT-3這樣的超大模型。Carbontracker估計,訓(xùn)練GPT-3一次所需的電量與丹麥126戶家庭每年使用的電量相同。而In-context learning可以讓一個未經(jīng)進一步調(diào)參的預(yù)訓(xùn)練大模型,通過給其恰當(dāng)?shù)膁emonstration(示例)學(xué)會完成目標(biāo)任務(wù)。

“以前的方式是基于模型參數(shù)調(diào)整的,比如說要識別貓,然后看模型能不能檢測到貓的位置。如果標(biāo)的不對,再通過誤差反過來去調(diào)整參數(shù),使得預(yù)測和正確位置對應(yīng)起來。上下文學(xué)習(xí)則是圈出來貓的位置,然后再給它一張另外的圖片,問它貓在哪里?它就能夠正確圈出來。這個任務(wù)它之前沒有見過,但是通過這樣的方式就學(xué)會了。”邱錫鵬講解道。

同時,邱錫鵬認(rèn)為,神經(jīng)網(wǎng)絡(luò)幾經(jīng)發(fā)展,與最初已有很大不同。粗略描述這個“變強”, 邱錫鵬講了兩點,“比如準(zhǔn)確率預(yù)測早期是80%的話,現(xiàn)在可以達到90%,另外則是對訓(xùn)練樣本數(shù)量的要求可能要更少,如果原來達到80%的準(zhǔn)確率需要標(biāo)1萬個樣本,那么現(xiàn)在可能100個就夠了。”

DALL.E(基于GPT-3開發(fā)的一種新型神經(jīng)網(wǎng)絡(luò))根據(jù)語言描述生成的牛油果形狀扶手椅

“目前還遠(yuǎn)遠(yuǎn)談不上意識”

即使在技術(shù)上對Sutskever的發(fā)言有一些猜想,邱錫鵬也直言,“我整體上還是覺得現(xiàn)在遠(yuǎn)遠(yuǎn)談不上意識。當(dāng)然,首先的問題是意識如何定義。”

比如說寵物狗跟人類的互動,屬不屬于有意識?

1964年,戈登·蓋洛普曾做過一個判斷猩猩是否有自我意識的實驗。戈登將黑猩猩麻醉,然后在它們的眉毛和耳朵上涂了紅點。按照戈登的猜想,如果黑猩猩看鏡子并發(fā)現(xiàn)紅點后觸摸的是鏡子中的紅點,那么便無法證明黑猩猩有“自我意識”。但如果它們觸摸的是自己臉上的紅點,那么黑猩猩就具有將自己與鏡子中的影像對應(yīng)起來的能力。

“在我看來非常本質(zhì)的問題是,能不能認(rèn)識到‘我’區(qū)別于世界上其他物體。如果用這個觀點來看,現(xiàn)在AI肯定沒有這個能力?!鼻皴a鵬表示。

邱錫鵬同時認(rèn)為,如果要智能體有這樣的自我意識,他應(yīng)該是放在真實的環(huán)境中以交互的方式學(xué)習(xí),而不是像現(xiàn)在的“喂數(shù)據(jù)”學(xué)習(xí)。

LeCun也在近期的Meta AI論壇上描述道,一個從未坐在方向盤后的少年可以在大約20小時內(nèi)學(xué)會駕駛,而當(dāng)今最好的自動駕駛系統(tǒng)需要數(shù)百萬或數(shù)十億條帶標(biāo)簽的訓(xùn)練數(shù)據(jù)和數(shù)百萬次強化在虛擬環(huán)境中進行學(xué)習(xí)試驗。即便如此,它們也達不到人類可靠駕駛汽車的能力。

所以構(gòu)建接近人類能力的人工智能需要什么?僅僅是更多數(shù)據(jù)和更大的人工智能模型嗎?

LeCun說道,“我常捫心自問,人類和動物使用了哪些我們無法在機器學(xué)習(xí)中復(fù)制的方法。人類和非人類動物學(xué)習(xí)大量關(guān)于世界如何運作的背景知識的方式,是觀察,以及用獨立于任務(wù)、無人監(jiān)督方式進行的少量互動??梢约俣?,這種積累的知識可能構(gòu)成了通常被稱為常識的基礎(chǔ)?!?/p>

LeCun認(rèn)為常識使人類能夠在不熟悉的情況中有效地預(yù)先計劃。如一名少年司機以前可能從未在雪地上駕駛,但他預(yù)知雪地會很滑、如果車開得太猛將會失控打滑?!俺WR性知識讓智能動物不僅可以預(yù)測未來事件的結(jié)果,還可以在時間或空間上填補缺失的信息”

在LeCun看來,機器學(xué)習(xí)缺失的就是人類和動物如何學(xué)習(xí)世界模型,學(xué)習(xí)世界如何運作的能力,“當(dāng)今人工智能最重要的挑戰(zhàn)之一是設(shè)計學(xué)習(xí)范式和架構(gòu),使機器能夠以自監(jiān)督的方式學(xué)習(xí)世界模型,然后用這些模型進行預(yù)測、推理和計劃?!?/p>我們需要擔(dān)心AI有自主意識嗎?

如果AI有自主意識,這是一件需要擔(dān)心的事情嗎?

邱錫鵬對澎湃新聞(www.thepaper.cn)表示,“自我意識以目前的途徑上很難達到,即使造出來的所謂的意識也不會是像人類那樣的意識?,F(xiàn)在的模型都聚焦在做一件事,比如下圍棋,可能下的比人好,但只會下圍棋,下象棋可能就要換一個模型。”

雖然邱錫鵬認(rèn)為目前離“有意識”還差的遠(yuǎn),但也有一個非常值得研究的問題:目前這種看起來和以前不一樣的模型能力,到底本質(zhì)上源自于什么?“這是個很難的問題,因為現(xiàn)在這種神經(jīng)網(wǎng)絡(luò)可以認(rèn)為它就是個黑盒,沒有什么可解釋性?!?/p>

另外,邱錫鵬認(rèn)為會不會產(chǎn)生什么危害和自主意識關(guān)系不大,比如如果AI模型的控制者的動機是壞的,那么即使AI模型沒有自我意識它也可以產(chǎn)生危害。也比如AI模型的過度決策,它通常不知道自己哪些不知道, “自動駕駛在道路行駛時,即使是不知道的情況也會做一個預(yù)測,很有置信度可能還很高?!北热缰奶厮估妱榆囋谧詣玉{駛時將白色大貨車當(dāng)成天空事件。

除開AI是否有自主意識的討論,就是對深度學(xué)習(xí)進入瓶頸的擔(dān)心,或者說是擴展限制(scaling limits),即接近收益遞減點。

2020年,還在OpenAI做研究員的Jared Kaplan和其合作者提出,語言神經(jīng)網(wǎng)絡(luò)模型有一套scaling laws,向神經(jīng)網(wǎng)絡(luò)輸入的數(shù)據(jù)越多,這些網(wǎng)絡(luò)的表現(xiàn)就越好。

Gary Marcus則認(rèn)為,關(guān)于scaling law的論點存在嚴(yán)重的漏洞。他在文章中寫道:首先,現(xiàn)有方法并沒有解決迫切需要解決的問題,即真正的理解。業(yè)內(nèi)人士早就知道,人工智能研究中最大的問題之一是我們用來評估人工智能系統(tǒng)的基準(zhǔn)測試。著名的圖靈測試旨在判斷機器是否真的擁有智能,結(jié)果,人類很容易被表現(xiàn)出偏執(zhí)或不合作的聊天機器人所玩弄。

Gary Marcus在文章中舉例,“比如,我輸入一段文字:你給自己倒了一杯蔓越莓汁,但隨后又心不在焉地倒了大約一茶匙葡萄汁進去。這個飲料看起來不錯。你試著聞了一下,但你患了重感冒,什么也聞不到。你很渴,所以……對此,GPT給出的續(xù)寫是:你喝了它,然后就死了?!?/p>

Gary Marcus認(rèn)為更重要的是,“scaling law并不是那種像重力一樣的自然定律,而是像摩爾定律一樣是由人觀察到的。后者在十年前已經(jīng)開始放緩?!彼岬?022年超過50多位谷歌研究者參與撰寫的論文《LaMDA: Language Models for Dialog Applications》,“論文中得出結(jié)論,將類似GPT-3的模型做得更大會使它們更流暢,但不再值得信賴?!?

關(guān)鍵詞: 神經(jīng)網(wǎng)絡(luò)

本網(wǎng)站由 財經(jīng)產(chǎn)業(yè)網(wǎng) 版權(quán)所有 粵ICP備18023326號-29
聯(lián)系我們:85 572 98@qq.com