中國科學院院士何積豐：應對大模型的安全問題，需設好“緊箍咒”
(資料圖片)
封面新聞記者 孟梅 張越熙
模型的通用能力讓其能夠應用到人類生產(chǎn)生活的各個場景中，可謂“無孔不入”。AI的發(fā)展因此帶來了新的安全隱私問題，如何解決這一隱患，9月7日開幕的2023?INCLUSION·外灘大會上，中國科學院院士何積豐開出了他的“藥方”：利用對齊技術(shù)為大模型戴上緊箍咒。
何積豐院士認為，大模型的安全問題主要是在未經(jīng)同意的情況下，收集、使用和泄露個人信息。隱私問題既可能發(fā)生在訓練過程，也可能發(fā)生在使用過程中，而大模型的生成能力則讓“隱私泄露”的方式變得多樣化，造成隱私保護更加困難。
“為了應對這些問題，我們需要大模型對齊技術(shù)?！焙畏e豐說，“對齊（alignment）”是指系統(tǒng)的目標和人類價值觀一致，使其符合設計者的利益和預期，不會產(chǎn)生意外的有害后果?！叭绻讶斯ぶ悄芸醋魑饔斡浝锏膶O悟空，‘對齊’就是唐僧的緊箍咒。有了緊箍咒，就可以保證技術(shù)不會任意使用能力胡作非為。”
不過，對齊技術(shù)同樣面臨挑戰(zhàn)。首先，對齊的基礎，人類的價值觀是多元且動態(tài)變化的，需要保證大模型為人服務、與人為善；其次，大模型的有用性與無害性之間目標也不完全一致。如何對錯誤進行有效糾正，設好大模型的“緊箍咒”也是挑戰(zhàn)。
因此，對齊技術(shù)已經(jīng)成為了一項令人眼花繚亂的跨學科研究，不僅考驗技術(shù)，也審視文化。
何積豐介紹，反饋強化學習是實現(xiàn)對齊的技術(shù)途徑，目前有兩種方式，一種方式是通過人工反饋給模型不同的獎勵信號，引導模型的高質(zhì)量輸出；另一種方式，事先給大模型提供明確的原則，系統(tǒng)自動訓練模型對所有生成的輸出結(jié)果提供初始排序?！斑@意味著，不僅智能系統(tǒng)需要向人類價值觀對齊，人類的訓練方法也要向價值觀對齊?！焙畏e豐說。
標簽：
搶先讀
- 淅川縣法院：暢通執(zhí)行高速路 異地互聯(lián)共提升
- 環(huán)球簡訊:唐河縣蒼臺鎮(zhèn)：以“人人持證”促進勞動力技能持續(xù)提升
- 金秋入企 送法“護果” ——新野法院五星法庭開展“送法進企業(yè)”活動
- 協(xié)鑫集團總裁朱鈺峰：新型儲能強，則新型電力系統(tǒng)強
- 泌陽縣組織黨員干部赴市廉政文化教育中心開展警示教育活動
- 為愛挽袖 為生命加油 信陽市腫瘤醫(yī)院組織開展無償獻血活動 環(huán)球微頭條
- 鍛鋼鐵意志 育愛國情懷——駐馬店市第一高級中學分校開展新生軍訓工作|天天微速訊
- 南陽：十年堅持終成正果 喜中大樂透二等獎 全球今亮點
- 駐馬店市驛城區(qū)水屯鎮(zhèn)：村民養(yǎng)羊遭遇困惑 畜牧專家上門“會診”
- 全球球精選！駐馬店市驛城區(qū)橡林街道開展“五經(jīng)普”流動攤販、夜市攤點清查工作
- 中國科學院院士何積豐：應對大模型的安全問題，需設好“緊箍咒”
- ?固始公安：千里追緝 竊賊終落網(wǎng)
- 托起百姓幸福夢！2022年中央集中彩票公益金使用情況發(fā)布！
- 52噸肯尼亞野生鳀魚干運抵岳陽城陵磯|全球微資訊
- 首屆非洲氣候峰會通過《內(nèi)羅畢宣言》_世界微頭條
- 當前熱訊：新力量為中國電影高質(zhì)量發(fā)展提供新動能
- 全球治理再迎“亞洲時間” 世界期待“亞洲增長”
- 環(huán)球觀熱點：90后老師和她的10后學生們：相信相信的力量
- 關于進一步加強礦山安全生產(chǎn)工作的意見
- 李強出席第26次東盟與中日韓領導人會議-天天快資訊
- 華為HarmonyOS 4即將在2023年HDC上正式發(fā)布
- 出境游熱度攀升 多國熱盼中國游客 環(huán)球看點
- 天天亮點！員工休年假一定影響企業(yè)效益嗎
- 環(huán)球視點！谷歌推出限量版 Pixel Fold 折疊屏手機套裝“Hip Hop 50”版本
- 殘疾退役軍人買優(yōu)惠票乘車遭拒？軍人的血汗不容辜負！
- 華為推送HarmonyOS 3.0.0.300系統(tǒng)更新，帶來全新功能與優(yōu)化
- LG推出新款Signature OLED電視M3：支持無線傳輸4K 120Hz視頻和音頻信號_世界新資訊
- 《博德之門 3》——20年后再次引領RPG潮流
- 環(huán)球熱推薦：工信部：2023年新能源汽車銷量力爭達900萬輛左右
- 《寂靜嶺 2：重制版》—— 經(jīng)典恐怖游戲的重生
- 中央氣象臺發(fā)布暴雨黃色預警 報道
- 算力賦能千行百業(yè)轉(zhuǎn)型升級
- 《寂靜嶺 2：重制版》—— 經(jīng)典恐怖游戲的重生 世界聚看點
- 十個重點行業(yè)穩(wěn)增長舉措陸續(xù)出臺 合力穩(wěn)住工業(yè)運行
- 當前快看：助力“健康中國”戰(zhàn)略 專家共話生命健康產(chǎn)業(yè)跨境合作
- 世界熱門:性別是雄還是雌？生活環(huán)境如何？——科研人員揭秘全球首只白色大熊貓最新研究成果
- 消息！白酒企業(yè)亮相服貿(mào)會：以酒為媒講好中國故事
- 全球視訊！數(shù)字化、智能化加速覆蓋“中國制造”更多關鍵領域
- 初創(chuàng)科企爭當太空“清道夫”|科技創(chuàng)新世界潮_精彩看點
- 天天短訊！2023世界制造業(yè)大會將于9月20日在合肥開幕
- 2022年全國營收約2.22萬億元?生態(tài)環(huán)保產(chǎn)業(yè)成綠色經(jīng)濟重要力量-全球即時
- 杭州亞運會火炬?zhèn)鬟f8日開啟?整個過程2000余名火炬手參加
- 視焦點訊！10個重點行業(yè)穩(wěn)增長舉措陸續(xù)出臺 合力助推工業(yè)經(jīng)濟提質(zhì)增效
- 天天即時：公安部：成功打掉緬北電詐窩點11個，幕后“金主”落網(wǎng)！
- 小商品城出海打出“組合拳”
- 【新要聞】《博德之門3》發(fā)布時間調(diào)整：PC版提前，PS5版稍晚
- 斯巴魯推出新款FORESTER森林人，搭載2.5L水平對置發(fā)動機
- 熱推薦：ST金圓董事長任期未滿提前辭職 公司方面稱“轉(zhuǎn)型方向不會變”
- 白酒聯(lián)名產(chǎn)品火出圈 食品消費行業(yè)跨界營銷蔚然成風 全球播報
- 【天天播資訊】證監(jiān)會：加強對期貨高頻交易等新型交易行為的監(jiān)管
- 環(huán)球微動態(tài)丨存款再降息 銀行股估值獲強支撐
- 焦點熱議:8月份電商物流指數(shù)為111.1點 連續(xù)8個月回升
- 索尼推出ECM-M1數(shù)字音頻麥克風：小巧緊湊，8種收音模式的高效錄音解決方案
- 全球通訊！“認房不認貸”、降低首套房首付比例和貸款利率 房地產(chǎn)政策適時調(diào)整優(yōu)化
- 北交所暢通轉(zhuǎn)板機制 潛在標的公司或超20家_環(huán)球今日訊
- 存款再降息 銀行股估值獲強支撐 天天快訊
- ?西平縣二郎二鋪小學聯(lián)合西平縣人民法院開展“送法進校園”活動-全球視訊
- 南陽宛城法院司法拍賣：強制交付有保障，協(xié)同執(zhí)行顯成效
- 每日關注!?西平縣專探鄉(xiāng)召開工會E卡普及推廣推進會
- 智能網(wǎng)聯(lián)新能源汽車展現(xiàn)新亮點 “中國方案”助力更安全更智慧_天天即時
- ? 西平縣專探鄉(xiāng)組織機關干部觀看電影《一九四二》-天天信息
- “開學第一課 ”——內(nèi)鄉(xiāng)法院開展送法進校園活動|熱點
- 2023世界制造業(yè)大會參展企業(yè)數(shù)量、展覽面積均創(chuàng)歷屆之最|世界微速訊
- ?支部書記講黨課 凝心聚力強黨性——西平縣柏城王司莊小學召開專題黨課 環(huán)球訊息
- 西平縣交通運輸綜合行政執(zhí)法大隊組織召開交通運輸執(zhí)法領域突出問題專項整治工作推進會
- 環(huán)球熱消息：培根鑄魂賦新能 學思踐悟啟新程——民主路第二小學召開新學期教師培訓會
- 連續(xù)15年 南陽中院發(fā)布行政審判白皮書 助力法治政府建設 天天資訊
- ?西平縣應急管理局集中學習《未成年人保護法》
- 天天精選！?西平縣重渠鄉(xiāng)舉行2023年“愛我中華 強我國防”國防教育知識競賽
- ?西平縣專探中心校開展“關注明天、普法先行、送法進校園”活動
- ?利鑫集團 惠宏建材高管團隊走進御都集團參觀交流 世界熱門
- 社旗交警大隊:交通安全宣傳進校園 上好“開學第一課” 快報
- 頭條：?潢川縣召開2023年選調(diào)生見面會
- 【報資訊】?管住有限空間 守住無限安全——西平縣應急管理局召開有限空間事故警示教育會
- 每日消息!OPPO K11：一款搭載高端影像旗艦同款索尼 IMX890 的碾壓級硬件
- 社旗縣召開助力見義勇為“99公益日”活動動員大會-世界頭條
- ?西平縣宋集鎮(zhèn)積極開展學習貫徹黨的二十大精神線上學習測試活動_當前快看
- ?商城縣婦聯(lián)開展“開學第一課 送法進校園”普法宣傳活動_環(huán)球今頭條
- 全球今亮點！唐河縣張店鎮(zhèn)開展“學習先進找差距，找到差距怎么辦”專題活動
- 當前快播：商城縣公共資源交易中心：筑牢廉政風險防線打造陽光交易環(huán)境
- ?息縣縣委常委、副縣長李晉升到龍湖街道辦事處講黨課
- “朋友圈”持續(xù)擴大 服貿(mào)會釋放中國經(jīng)濟哪些積極信號？
- 鼎通科技回應“股價暴跌、上市不到3年第三次向市場募資”等質(zhì)疑
- 哈弗梟龍系列購車驚喜輪番上陣，299元搶至高12000元禮券
- 敲黑板 | 存量首套住房貸款利率調(diào)整，您關心的問題在這里→
- 中秋、十一連放8天，準備好和哈弗二代大狗PHEV一起野出去了嗎？
- 從根植底層技術(shù)到打造機器人生態(tài)，追覓科技憑什么秀翻IFA 2023
- 《全球發(fā)展報告二〇二三》正式發(fā)布 推動構(gòu)建全球發(fā)展共同體 快看點
- 多地“上線”秋游產(chǎn)品 主題豐富線路多
- 養(yǎng)老金融成2023年服貿(mào)會一大亮點 銀行保險基金證券等領域?qū)＜引R聚熱議
- “三人行必有一老” 個人養(yǎng)老金蓄能 天天要聞
- 新品扎堆 車市“金九銀十”備受期待
- 最新：成本比特斯拉低15%？機構(gòu)稱2030年中國車企將占歐洲市場兩成份額
- 快看點丨提振制造業(yè)投資 結(jié)構(gòu)性工具有看點
- 世界訊息：Redmi智能電視A50 2024款震撼上市，首發(fā)價1349元
- RTX 4060顯卡：性能優(yōu)越，直接競爭產(chǎn)品不容小覷 世界看點
- 不調(diào)了！成品油調(diào)價年內(nèi)第三次擱淺 全球熱點
- 中歐基金許文星低位發(fā)聲：穿越周期迷霧 積極布局未來
- 聯(lián)想晨星G2 light：輕量化AR眼鏡的新篇章_環(huán)球今亮點
- 環(huán)球觀焦點：?全國勞模走進西平縣職教中心開展勞模進校園活動