中國科學院院士何積豐：應對大模型的安全問題，需設好“緊箍咒”
(資料圖片)
封面新聞記者 孟梅 張越熙
模型的通用能力讓其能夠應用到人類生產生活的各個場景中，可謂“無孔不入”。AI的發展因此帶來了新的安全隱私問題，如何解決這一隱患，9月7日開幕的2023?INCLUSION·外灘大會上，中國科學院院士何積豐開出了他的“藥方”：利用對齊技術為大模型戴上緊箍咒。
何積豐院士認為，大模型的安全問題主要是在未經同意的情況下，收集、使用和泄露個人信息。隱私問題既可能發生在訓練過程，也可能發生在使用過程中，而大模型的生成能力則讓“隱私泄露”的方式變得多樣化，造成隱私保護更加困難。
“為了應對這些問題，我們需要大模型對齊技術。”何積豐說，“對齊（alignment）”是指系統的目標和人類價值觀一致，使其符合設計者的利益和預期，不會產生意外的有害后果。“如果把人工智能看作西游記里的孫悟空，‘對齊’就是唐僧的緊箍咒。有了緊箍咒，就可以保證技術不會任意使用能力胡作非為。”
不過，對齊技術同樣面臨挑戰。首先，對齊的基礎，人類的價值觀是多元且動態變化的，需要保證大模型為人服務、與人為善；其次，大模型的有用性與無害性之間目標也不完全一致。如何對錯誤進行有效糾正，設好大模型的“緊箍咒”也是挑戰。
因此，對齊技術已經成為了一項令人眼花繚亂的跨學科研究，不僅考驗技術，也審視文化。
何積豐介紹，反饋強化學習是實現對齊的技術途徑，目前有兩種方式，一種方式是通過人工反饋給模型不同的獎勵信號，引導模型的高質量輸出；另一種方式，事先給大模型提供明確的原則，系統自動訓練模型對所有生成的輸出結果提供初始排序。“這意味著，不僅智能系統需要向人類價值觀對齊，人類的訓練方法也要向價值觀對齊。”何積豐說。
標簽：
搶先讀
- 淅川縣法院：暢通執行高速路 異地互聯共提升
- 環球簡訊:唐河縣蒼臺鎮：以“人人持證”促進勞動力技能持續提升
- 金秋入企 送法“護果” ——新野法院五星法庭開展“送法進企業”活動
- 協鑫集團總裁朱鈺峰：新型儲能強，則新型電力系統強
- 泌陽縣組織黨員干部赴市廉政文化教育中心開展警示教育活動
- 為愛挽袖 為生命加油 信陽市腫瘤醫院組織開展無償獻血活動 環球微頭條
- 鍛鋼鐵意志 育愛國情懷——駐馬店市第一高級中學分校開展新生軍訓工作|天天微速訊
- 南陽：十年堅持終成正果 喜中大樂透二等獎 全球今亮點
- 駐馬店市驛城區水屯鎮：村民養羊遭遇困惑 畜牧專家上門“會診”
- 全球球精選！駐馬店市驛城區橡林街道開展“五經普”流動攤販、夜市攤點清查工作
- 中國科學院院士何積豐：應對大模型的安全問題，需設好“緊箍咒”
- ?固始公安：千里追緝 竊賊終落網
- 托起百姓幸福夢！2022年中央集中彩票公益金使用情況發布！
- 52噸肯尼亞野生鳀魚干運抵岳陽城陵磯|全球微資訊
- 首屆非洲氣候峰會通過《內羅畢宣言》_世界微頭條
- 當前熱訊：新力量為中國電影高質量發展提供新動能
- 全球治理再迎“亞洲時間” 世界期待“亞洲增長”
- 環球觀熱點：90后老師和她的10后學生們：相信相信的力量
- 關于進一步加強礦山安全生產工作的意見
- 李強出席第26次東盟與中日韓領導人會議-天天快資訊
- 華為HarmonyOS 4即將在2023年HDC上正式發布
- 出境游熱度攀升 多國熱盼中國游客 環球看點
- 天天亮點！員工休年假一定影響企業效益嗎
- 環球視點！谷歌推出限量版 Pixel Fold 折疊屏手機套裝“Hip Hop 50”版本
- 殘疾退役軍人買優惠票乘車遭拒？軍人的血汗不容辜負！
- 華為推送HarmonyOS 3.0.0.300系統更新，帶來全新功能與優化
- LG推出新款Signature OLED電視M3：支持無線傳輸4K 120Hz視頻和音頻信號_世界新資訊
- 《博德之門 3》——20年后再次引領RPG潮流
- 環球熱推薦：工信部：2023年新能源汽車銷量力爭達900萬輛左右
- 《寂靜嶺 2：重制版》—— 經典恐怖游戲的重生
- 中央氣象臺發布暴雨黃色預警 報道
- 算力賦能千行百業轉型升級
- 《寂靜嶺 2：重制版》—— 經典恐怖游戲的重生 世界聚看點
- 十個重點行業穩增長舉措陸續出臺 合力穩住工業運行
- 當前快看：助力“健康中國”戰略 專家共話生命健康產業跨境合作
- 世界熱門:性別是雄還是雌？生活環境如何？——科研人員揭秘全球首只白色大熊貓最新研究成果
- 消息！白酒企業亮相服貿會：以酒為媒講好中國故事
- 全球視訊！數字化、智能化加速覆蓋“中國制造”更多關鍵領域
- 初創科企爭當太空“清道夫”|科技創新世界潮_精彩看點
- 天天短訊！2023世界制造業大會將于9月20日在合肥開幕
- 2022年全國營收約2.22萬億元?生態環保產業成綠色經濟重要力量-全球即時
- 杭州亞運會火炬傳遞8日開啟?整個過程2000余名火炬手參加
- 視焦點訊！10個重點行業穩增長舉措陸續出臺 合力助推工業經濟提質增效
- 天天即時：公安部：成功打掉緬北電詐窩點11個，幕后“金主”落網！
- 小商品城出海打出“組合拳”
- 【新要聞】《博德之門3》發布時間調整：PC版提前，PS5版稍晚
- 斯巴魯推出新款FORESTER森林人，搭載2.5L水平對置發動機
- 熱推薦：ST金圓董事長任期未滿提前辭職 公司方面稱“轉型方向不會變”
- 白酒聯名產品火出圈 食品消費行業跨界營銷蔚然成風 全球播報
- 【天天播資訊】證監會：加強對期貨高頻交易等新型交易行為的監管
- 環球微動態丨存款再降息 銀行股估值獲強支撐
- 焦點熱議:8月份電商物流指數為111.1點 連續8個月回升
- 索尼推出ECM-M1數字音頻麥克風：小巧緊湊，8種收音模式的高效錄音解決方案
- 全球通訊！“認房不認貸”、降低首套房首付比例和貸款利率 房地產政策適時調整優化
- 北交所暢通轉板機制 潛在標的公司或超20家_環球今日訊
- 存款再降息 銀行股估值獲強支撐 天天快訊
- ?西平縣二郎二鋪小學聯合西平縣人民法院開展“送法進校園”活動-全球視訊
- 南陽宛城法院司法拍賣：強制交付有保障，協同執行顯成效
- 每日關注!?西平縣專探鄉召開工會E卡普及推廣推進會
- 智能網聯新能源汽車展現新亮點 “中國方案”助力更安全更智慧_天天即時
- ? 西平縣專探鄉組織機關干部觀看電影《一九四二》-天天信息
- “開學第一課 ”——內鄉法院開展送法進校園活動|熱點
- 2023世界制造業大會參展企業數量、展覽面積均創歷屆之最|世界微速訊
- ?支部書記講黨課 凝心聚力強黨性——西平縣柏城王司莊小學召開專題黨課 環球訊息
- 西平縣交通運輸綜合行政執法大隊組織召開交通運輸執法領域突出問題專項整治工作推進會
- 環球熱消息：培根鑄魂賦新能 學思踐悟啟新程——民主路第二小學召開新學期教師培訓會
- 連續15年 南陽中院發布行政審判白皮書 助力法治政府建設 天天資訊
- ?西平縣應急管理局集中學習《未成年人保護法》
- 天天精選！?西平縣重渠鄉舉行2023年“愛我中華 強我國防”國防教育知識競賽
- ?西平縣專探中心校開展“關注明天、普法先行、送法進校園”活動
- ?利鑫集團 惠宏建材高管團隊走進御都集團參觀交流 世界熱門
- 社旗交警大隊:交通安全宣傳進校園 上好“開學第一課” 快報
- 頭條：?潢川縣召開2023年選調生見面會
- 【報資訊】?管住有限空間 守住無限安全——西平縣應急管理局召開有限空間事故警示教育會
- 每日消息!OPPO K11：一款搭載高端影像旗艦同款索尼 IMX890 的碾壓級硬件
- 社旗縣召開助力見義勇為“99公益日”活動動員大會-世界頭條
- ?西平縣宋集鎮積極開展學習貫徹黨的二十大精神線上學習測試活動_當前快看
- ?商城縣婦聯開展“開學第一課 送法進校園”普法宣傳活動_環球今頭條
- 全球今亮點！唐河縣張店鎮開展“學習先進找差距，找到差距怎么辦”專題活動
- 當前快播：商城縣公共資源交易中心：筑牢廉政風險防線打造陽光交易環境
- ?息縣縣委常委、副縣長李晉升到龍湖街道辦事處講黨課
- “朋友圈”持續擴大 服貿會釋放中國經濟哪些積極信號？
- 鼎通科技回應“股價暴跌、上市不到3年第三次向市場募資”等質疑
- 哈弗梟龍系列購車驚喜輪番上陣，299元搶至高12000元禮券
- 敲黑板 | 存量首套住房貸款利率調整，您關心的問題在這里→
- 中秋、十一連放8天，準備好和哈弗二代大狗PHEV一起野出去了嗎？
- 從根植底層技術到打造機器人生態，追覓科技憑什么秀翻IFA 2023
- 《全球發展報告二〇二三》正式發布 推動構建全球發展共同體 快看點
- 多地“上線”秋游產品 主題豐富線路多
- 養老金融成2023年服貿會一大亮點 銀行保險基金證券等領域專家齊聚熱議
- “三人行必有一老” 個人養老金蓄能 天天要聞
- 新品扎堆 車市“金九銀十”備受期待
- 最新：成本比特斯拉低15%？機構稱2030年中國車企將占歐洲市場兩成份額
- 快看點丨提振制造業投資 結構性工具有看點
- 世界訊息：Redmi智能電視A50 2024款震撼上市，首發價1349元
- RTX 4060顯卡：性能優越，直接競爭產品不容小覷 世界看點
- 不調了！成品油調價年內第三次擱淺 全球熱點
- 中歐基金許文星低位發聲：穿越周期迷霧 積極布局未來
- 聯想晨星G2 light：輕量化AR眼鏡的新篇章_環球今亮點
- 環球觀焦點：?全國勞模走進西平縣職教中心開展勞模進校園活動