大語言模型中的涌現現象是不是偽科學？
Datawhale干貨
作者：平凡@知乎，諾桑比亞大學，在讀博士
(資料圖片僅供參考)
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現現象。
大規模神經網絡下的涌現現象在機器學習中使用大規模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規模神經網絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf
2.https://arxiv.org/pdf/2301.05217.pdf
標簽：
搶先讀
- 獅子男往往都是有一些直接 也是比較高傲的？ 世界今日訊
- 聚焦樓宇小微企業招工引才難，馬家堡街道炎夏里辦起招聘會 焦點滾動
- 全球觀察：女單16強產生！國乒21歲小將爆冷淘汰世界冠軍，今天展開8強戰！
- 全國首批！張江REIT擴募上市 微資訊
- 新股中簽不交錢會被限制申購?新股中簽被凍結款如何解凍？
- 【全球熱聞】強觀察｜這些返回艙里的“神器”為航天員保駕護航
- AMD 發布 openSIL 項目，開源 CPU 硅初始化代碼，支持 Coreboot
- 世界今亮點！精準護甲，守護腺康| 6月17-6月18武漢甲康醫院特邀北京301醫院呂肖鋒教授聯合會診
- TüV萊茵與正泰綠色能源板塊在德舉行合作簽約儀式
- 每日快播：長城汽車申請GPT相關商標
- 美國疾控中心：槍支暴力推波助瀾 青少年謀殺率飆升
- 每日熱訊!2023浙江溫州什么時候入梅？（今年溫州何時出梅）
- 【新華500】新華500指數（989001）16日漲0.96%_每日報道
- MIT開發的含鹽水凝膠可以從空氣中吸水 即使在沙漠條件下也能吸水
- 每日熱訊!巨蟹一般都不喜歡去麻煩別人 非常的獨立自主？
- 每日觀察!【安全生產月】水上平安交通 安全伴我成長|南京海事局走進南京外國語學校仙林分校燕子磯校區
- 電影《茶啊二中》發布預告 師生互換還能這么玩？
- 天天資訊：首創證券“首富杯”第二屆私募實盤大賽年度頒獎典禮 暨非凡IR+啟動儀式成功舉辦
- 南湖省是現在哪個省份（南湖省是現在哪個省份東安市）
- 事關高校畢業生檔案轉遞接收工作！兩部門印發這一通知
- 世界動態:除了常回家看看，老人還需要怎樣的陪伴？
- 天天訊息：智翔金泰新股發行結果出爐 414萬股遭棄購
- 五部門：加強鄉村基礎設施建設支持|全球速看
- 全球視訊！交易員看衰全球經濟和需求端 原油易跌難漲
- 金華時光整形醫院醫生技術實力、口碑點評一覽！
- 動態焦點:為什么會駝背(為什么14歲女孩會駝背,而且駝背駝的很厲害,怎么辦?)
- 解剖屎山，尋覓黃金之第二彈
- 環球滾動:中海19.92億元獲廣州荔灣紫蘭苑地塊 曾為廣信資產包項目
- 845主板最大支持什么CPU？英特爾845主板支持多大內存？
- 每日看點!奇瑞七座suv車怎么樣?二手五菱皮卡的保險是多少?
- 菲律賓發生6.2級地震，首都大馬尼拉地區震感強烈 世界熱資訊
- 全球球精選！嫦娥五號月球樣品入駐法國自然歷史博物館
- 奇瑞QQ308怎么樣?奇瑞QQ3和QQ308有何區別?
- 孫麗雁:辦案時她總有一個個疑問 天天視點
- 極氪汽車推出“極氪訂閱” 改變新能源時代出行方式 熱訊
- 對忙于工作的獅子來說 八卦沒有任何意義？
- 背兩百萬的包，嘲笑買九塊九的普通人，她又惹眾怒了！
- 我國經濟運行保持恢復態勢 重點在六方面發力
- 市場監管總局出新規 鼓勵相關經營主體重塑信用
- 全球今熱點：四川700個省重點項目提前實現項目投資進度過半
- 華創證券北京某營業部一經紀人收警示函 返傭吸引開戶
- 每日看點！我國首艘！成功交付
- 每日聚焦：不懼“烤驗”，堅守崗位 消防員訓練不放松
- MT4 vs. MT5：了解兩者的差異與優勢
- 環球熱資訊！民泰銀行柯橋支行：“蔬”通“配送”路，“鮮”至客戶心
- GAN卷土重來：10億參數的GigaGAN效果堪比擴散模型 全球報資訊
- 環球快播：廣州市黃埔區編制使用《市場監督管理所作業指南》
- 中山：端午期間 這兩條公交臨時延伸至兒童公園 全球熱訊
- 全球消息！亞運會的運動員村什么樣？先睹為快
- 預警！長沙小雨、中雨、暴雨輪番上陣！
- 遂寧市第一人民醫院皮膚美容科特色項目/優勢儀器/口碑同步查詢！ 世界熱訊
- 馬上評｜向商業拍攝說不，故宮不是直播帶貨“背景板”
- @長沙人 中考、端午假期遇上強降水，請提前防范！ 消息
- 每日速讀!喜羊羊的第一部電影，一晃12年，老粉絲準備生孩子了
- 創益通（300991）：該股換手率大于8%（06-16）-環球關注
- 最新資訊：Sauce非理性Extra旋風杯，感受極致的快樂，從旋轉開始
- 全球觀點：蘋果a11和驍龍870哪個好 A13屬于高端芯片嗎？
- 野村：予百濟神州(06160)“買入”評級 目標價186.87港元-世界觀焦點
- AI板塊大漲
- 今日142只個股突破半年線-快資訊
- 電科數字（600850）6月16日主力資金凈賣出329.36萬元
- 生意社：近期碳酸鋰價格小幅上探 短期或震蕩運行 每日聚焦
- 臺灣黃埔同學及其親屬組團赴廣州參訪
- 吉利沃爾沃新款suv汽車價格多少?沃爾沃最小的純電車怎么樣?_世界熱資訊
- 中國民航局：5月份國內客運規模比2019年同期增長2.6% 環球速看料
- 換裝11.4英寸中控屏幕 全新發現運動版首發
- “青香蘭州 音為有你” 蘭州理工大學舉辦蘭州市高校校園歌手大賽校內選拔賽_當前焦點
- 革命開始！佳能推首款VR相機、蔡司與Vision Pro合作，傳統相機廠商紛紛轉戰XR 快播報
- 海底撈回應8塊錢生菜僅2片 海底撈沒碰過的菜可以退嗎？
- 烏茲別克斯坦足協官方：國奧隊今晚18:30與中國國奧隊熱身|世界視訊
- 快看點丨魔獸世界黑鐵酒吧傳送器如何獲得？黑鐵酒吧達到方法
- 現在的國足教練中，誰的執教水平比較高？
- 快消息！廣東酒店管理職業技術學院藝術類專業有哪些？
- 手機桌面多了一頁空白怎么刪掉 桌面小工具怎么添加？
- 摩羯對于婚姻并不是特別的感興趣 有工作就行了？-全球今日報
- 看點：未成年人陪玩該不該管？該如何管？
- 世界熱消息：天天快播：前京東集團副總裁成立生成式AI公司HiDream.ai_全球觀天下_天天熱點
- 2023年注會《經濟法》第4章高頻考點15：借款合同|環球今日報
- 美國/加拿大電池管理系統(BMS)國家標準發布|全球視點
- 1-5月中國汽車類零售總額同比小幅增長
- 環球快資訊丨重慶武隆區交通局二級調研員陳華涉嫌嚴重違紀違法接受審查調查
- 環球熱頭條丨部隊可以帶手表嗎 新兵需要帶手表看時間嗎？
- 江蘇金租（600901）6月16日主力資金凈賣出1203.44萬元
- 當天秤失戀的時候 絕對不會去找別人進行開導？ 當前短訊
- 展現n型TOPCon全新可能 元太光伏亮相Intersolar Europe2023
- 摩羯會把更多的時間和精力花費在自己的世界上面？-天天快播
- 近期旅游客車側翻事故多發 公安部交管局提示注意安全行車
- 正式入汛！經開區多措并舉打好防汛“主動戰”！|天天滾動
- 新手學做面包 新手學做面包 手法
- 全球微資訊！葡萄的好處與壞處有哪些
- 資訊推薦:2023山西皇城相府端午節門票多少錢？哪里買？
- 當前訊息：上汽榮威首款中高級純電轎車“榮威 D7”官宣年內上市，續航可達 610km
- 霞飛路中學（鄭州八中管城校區）開展防溺水主題教育課_世界時快訊
- 流行性腮腺炎有哪些癥狀？如何預防流行性腮腺炎感染？-環球微資訊
- 中毅達B（900906）6月16日主力資金凈賣出9.52萬元
- 世界熱頭條丨徐匯區小學轉學政策2023(條件+材料+流程)
- 岑鞏：易地扶貧搬遷小區美如畫
- 經濟修復仍緩，降息只是起點——5月經濟數據解讀
- 全球觀點：宏發股份（600885）6月16日主力資金凈買入1079.82萬元
- 漢王友基攜創新成果亮相第九屆上交會