大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？
Datawhale干貨
作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士
【資料圖】
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。
大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象在機器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時，由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發(fā)現(xiàn)，當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡(luò)在某個時間突然獲得了 100% 準確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓(xùn)練說不定真的能夠產(chǎn)生一些意想不到的效果。
還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學(xué)習(xí)的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。
甚至可能把人類的生產(chǎn)力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標簽：
搶先讀
- 地瓜梗怎么做如何做好吃?
- 下周解禁：限售股解禁市值大降至519億元
- 環(huán)球短訊！紓困中小企業(yè)仍需“幫把手”
- 紫水街道：扎實推進清廉機關(guān)建設(shè) 擦亮廉潔文化底色
- 重點聚焦!亞運會的運動員村什么樣？先睹為快→
- psp（wwe2010怎么從擂臺下面拿東西出來）
- 世界今日報丨迪士尼預(yù)購《慶余年》第二季海外獨家發(fā)行權(quán) 網(wǎng)文IP出海漸成規(guī)模
- 渴死的魚卷腹健身操 渴死的魚 熱點在線
- 兩江新區(qū)翠云社區(qū)衛(wèi)生服務(wù)中心獲國家部委通報表揚 世界通訊
- 世界即時：遼寧省本桓高速公路PPP項目獲得超百億銀團貸款
- 自然資源部淺層地?zé)崮苤攸c實驗室揭牌_全球短訊
- 夏養(yǎng)山西：不登王莽嶺，豈識太行山 全球球精選
- C視頻丨四川獻血太空艙2.0來了，首個智能采血系統(tǒng)“上崗”
- 焦點短訊！湖南銻礦上市公司（銻礦上市公司）
- 邢臺二本有哪些大學(xué)師范學(xué)院錄取分數(shù)線
- 2023新手如何選擇靠譜的互聯(lián)網(wǎng)項目？
- 焦點要聞：南京高溫津貼發(fā)放，看這里→
- 環(huán)球快資訊丨天津小學(xué)學(xué)位控制政策匯總（持續(xù)更新）
- 三星8552五件套（三星8552）
- 全球百事通！極兔入局末端之戰(zhàn)：離用戶還能有多近
- 一圖讀懂｜吃點辣的有三個超級好處
- “三棋”重回亞運賽場，柯潔、王天一、丁立人將在此齊聚，這座亞運場館有何“玄機”？-微速訊
- 世界即時：預(yù)警！岳陽市局地可能發(fā)生山洪災(zāi)害
- 大電池+超清影像 vivo Y35+陪你解鎖夏日新體驗 世界快資訊
- ez光執(zhí)事手感怎么樣_ez光執(zhí)事有特效 天天微資訊
- 淮陽泥泥狗（關(guān)于淮陽泥泥狗介紹）|天天播報
- 國際金價若站穩(wěn)1962美元，后市有望上摸1985美元
- 世界報道:粵鵬環(huán)保全資子公司江西粵鵬擬向銀行申請不超過800萬借款 公司為此次借款提供擔(dān)保
- 畢節(jié)：文化潤烏蒙 惠民沁心脾|天天熱頭條
- 沙 棘_每日速訊
- 美少女動作RPG《慟哭機巧》繁體中文版新截圖公布！
- 天天信息:乒球國手進社區(qū)與居民“過招”
- 今日熱搜：xantphos分子量 xantphos
- 一季度湖南民營經(jīng)濟增加值7776.81億元 同比增長3.9%|環(huán)球報資訊
- 每日熱聞!朱自清的代表作品推薦語 朱自清的代表作
- 姚明回應(yīng)郭艾倫落選男籃集結(jié)：主要是傷病+我們需要狀態(tài)最好球員
- 三只小豬的故事告訴我們什么道理（三只小豬的故事）
- 環(huán)球短訊！東海海睿銳意3個月定開年混合內(nèi)跌10.75%
- 小龍蝦產(chǎn)業(yè)高質(zhì)量發(fā)展大會在江蘇盱眙舉辦
- 個別站點雨量達100毫米以上，河南發(fā)布暴雨藍色預(yù)警 速遞
- 全球熱文：真假Ruler：虛假的Ruler還在帶貨 真實的Ruler苦心專研悠悠球
- 變相優(yōu)惠8,000元 特斯拉Model 3開啟“清庫”模式
- 寶安5家社康獲國家級通報表揚
- 創(chuàng)業(yè)板疫苗股票有哪些(創(chuàng)業(yè)板疫苗股票名單) 天天播報
- 馬鞍山鋼鐵股份(00323)將于7月14日派末期股息每股0.02195港元 每日熱文
- 女人上了年紀這樣穿衣真的很大方，多穿牛仔褲和裙子，減齡又大氣
- 武磊梅開二度，國足4-0勝緬甸！-天天視點
- 速看！2023年貴陽市各區(qū)（市、縣）義務(wù)教育招生入學(xué)、劃片方案公布
- 全球視訊！【三夏進行時】海報｜三晉夏收農(nóng)忙“豐”景
- 港元拆息連續(xù)三日全線上升 與樓按相關(guān)的一個月拆息逼近5%創(chuàng)近半年新高_每日消息
- 星紀魅族集團董事長沈子瑜、京東集團副總裁吳雙喜齊聚生日會 共慶京東魅族 20 周年 環(huán)球今日報
- 看見“村超”①丨貴州“村超”為啥這么火？一組老照片給出答案 今日快看
- 斑馬魚養(yǎng)殖方法和注意事項（為什么說斑馬魚是流氓魚） 世界熱文
- 全球熱資訊！本田新M-NV售14.98-15.98萬！動力更強 搭比亞迪電池
- 世界焦點！工控速遞：西門子宣布新加坡建廠，中控斬獲中東船務(wù)大單，三菱供應(yīng)全SiC功率半導(dǎo)體，禾川上市光電傳感器
- 名記：莫蘭特將第一次持槍事件歸咎為酗酒 并成功讓聯(lián)盟相信了他
- 蘋果iPhone為何只有27W充電？原因可能有三-今日訊
- 熱點！剛剛，特斯拉重磅官宣：6月底前購買這款現(xiàn)車享受8000元補貼
- 環(huán)球訊息：協(xié)議上簽的是招牌名字，不是營業(yè)執(zhí)照名字，這份協(xié)議有效嗎？
- 中考期間，高新區(qū)部分路段交通管制！
- 拍拍貸還不上可以協(xié)商嗎？還不上會上信用嗎？ 焦點觀察
- 云南啟動代表委員視察法院活動
- 全球新動態(tài)：天房發(fā)展擬為子公司天薊房地產(chǎn)3.4億元融資提供擔(dān)保
- 全球微速訊：熱到懷疑人生！今年“燒烤模式”來得早
- 魔獸肯瑞托聲望給什么（肯瑞托聲望怎么沖簡介介紹）
- 焦點關(guān)注：南亞易勝內(nèi)存條怎么樣_南亞易勝內(nèi)存怎么樣
- 線下門店反擊：場景營銷再發(fā)力 線上線下互動謀破局
- 美國6月密歇根短期通脹預(yù)期驟降至兩年多新低，消費者信心創(chuàng)四個月新高
- 非法集資20萬怎么判罰-全球報道
- 股民必看！狂犬病疫苗龍頭股有哪些？（2023/6/16）|全球熱頭條
- 世界百事通！2023端午天津古文化街活動詳情
- 三星商城618優(yōu)惠大放送，三星電視全明星產(chǎn)品等你挑選
- 小雞寶寶考考你一般來說，涂完保濕面膜，還需要涂保濕面霜嗎|全球即時
- 《牛津高階英漢雙解詞典》（第10版）發(fā)布_當(dāng)前資訊
- 碧桂園文商旅簽約濮陽南樂大樂城 將打造為碧樂匯|天天快資訊
- 2023年高溫費發(fā)放標準是多少?2023年寧夏高溫補貼標準及發(fā)放時間 天天速訊
- 寧德時代等在珠海成立新基建公司 最資訊
- 科創(chuàng)板在線辦公公司排名(2023上市公司市值榜)_環(huán)球關(guān)注
- 超智能足球潛龍最強絕招（超智能足球潛龍圖片）|當(dāng)前熱訊
- 體驗35萬最值得買的家用SUV 蔚來全新ES6只有一個缺點？
- 【全球新視野】大連海邊哪里好玩的地（大連海邊哪里好）
- 可可價格狂飆至7年來新高，巧克力價格又要漲了_全球快資訊
- 上海高校中藥學(xué)“創(chuàng)新班”首次招生 設(shè)計科學(xué)、機制靈活培養(yǎng)拔尖人才 世界焦點-全球聚焦
- 【速看料】傳世復(fù)古官方 仿官方傳世私服
- 每日信息：?51家用人單位扎堆“招兵買馬”！青島啟動百日千萬招聘專項行動
- 當(dāng)前播報:如何申請支付寶收款碼-如何申請支付寶收款碼支持花唄
- 金融機構(gòu)遇到網(wǎng)絡(luò)輿情如何應(yīng)對？來看看中原網(wǎng)提供的應(yīng)對策略 世界微頭條
- 全球最資訊丨從618營銷套路，看途虎終局
- 沿著高速看鄉(xiāng)村產(chǎn)業(yè)：廣東清遠特色產(chǎn)業(yè)發(fā)展正酣-全球即時看
- 【全球快播報】微信怎么批量刪除聊天記錄 微信批量刪除聊天記錄方法 微信上如何批量刪除聊天記錄
- 【世界說】研究發(fā)現(xiàn)：美國印第安寄宿學(xué)校兒童長大后承受著更嚴重的健康問題 患癌風(fēng)險高四倍_環(huán)球時訊
- 有一種選擇叫放棄(對于有一種選擇叫放棄簡單介紹) 速讀
- 環(huán)球視點！瘋狂猜圖答案大全圖片（瘋狂猜圖國家答案）
- 環(huán)球視訊！以三國的蜀國為例，細談為何在四川建國的政權(quán)都沒有太大作為
- 當(dāng)前焦點!影視投資平臺代理（影視投資平臺）
- 加維：不在乎皇馬想簽誰就簽誰 我們會戰(zhàn)斗到最后_當(dāng)前快看
- 徽縣：搶抓農(nóng)時確?！跋募Z”豐收 快播報
- 代發(fā)工資的好處和壞處 銀行代發(fā)工資的好處
- 動感地帶里面的“家庭計劃”是什么（怎么辦理）
- 【世界說】研究發(fā)現(xiàn)：美國印第安寄宿學(xué)校兒童長大后承受著更嚴重的健康問題 患癌風(fēng)險高四倍