全鏈條中國造，思考起來更像人！紫東太初全模態大模型發布
(資料圖片)
不光能讀懂文字、圖像，還能理解音頻、視頻，甚至3D模型、傳感信號，思考起來更像“真人”。6月16日，在“人工智能框架生態峰會2023”上，中國科學院自動化研究所所長徐波發布了“紫東太初”全模態大模型。作為升級后的2.0版本，它不僅實現能力提升，還做到全鏈條“中國造”，打造出全棧國產化的通用人工智能底座。
何謂全模態大模型？“人的學習受到現實世界中視覺、聽覺、觸覺、嗅覺等各種信號的綜合影響，這些信號每一類都是一種模態，人類的學習過程是全模態的。但目前最常見的大語言模型仍以文字、圖片為主要模態，對音頻、視頻等信息的識別能力不足。”中科院自動化所紫東太初大模型研究中心常務副主任王金橋介紹，在“紫東太初”誕生之初，科研團隊就提出要像養育嬰兒一樣，為它營造全模態的學習環境。
早在2021年7月，全球首個千億參數的多模態大模型“紫東太初”1.0就已發布，實現圖像、文本、語音三類數據的相互生成。而歷經近2年的迭代，“紫東太初”2.0的能力再升級，除了讀懂圖文外，它還能“看懂”來自現實世界的影像數據、力觸覺、工業傳感信號等物聯數據，可以像“人”一樣綜合運用多種信號進行思考。
給出一張救護車圖片、一段森林救火的視頻和一段警笛音頻，“紫東太初”能識別并講述出一段完整的救援過程；而將一張圖書館的照片和汽車鳴笛聲音頻同時輸入，它則快速發現了其中的矛盾，認為這段音頻不太可能出現在圖書館場景之中。
在同樣的參數量級中，多模態大模型的能力會強于純粹的語言大模型，這意味著“紫東太初”可以用更少的訓練數據實現更優的效果?！捌鋵嵾@也很好理解，多種信息的綜合輸入，能夠降低認知成本，但這對科研的挑戰更大?！蓖踅饦蛘f，得益于團隊在多模態數據領域的多年積累，科研人員以語義為橋梁，將音頻、視頻、物聯數據等模態聯系起來，“在這條研發路徑上，我們走在了世界前列?！?/p>
“從算法到硬件、算力，‘紫東太初’都是‘中國造’?！蓖踅饦虮硎?，大模型算法為中科院自動化所自研，以昇騰AI硬件及昇思MindSpore AI框架為基礎，算力則由武漢人工智能計算中心提供支持，“在國產軟硬件的支撐下，我們的大模型一樣能跑得很好、很快。”
大模型所掌握的數據種類越多，與真實世界的交互能力就越強，在不遠的將來，多模態大模型將普惠千行百業。目前，“紫東太初”大模型已在法律咨詢、交通出行、醫療健康等領域開始引領性示范。例如，通過部署“紫東太初”，中科院自動化所自研的微創柔性手術機器人MicroNeuro擁有了融合觸覺與視覺的跨模態分析能力，它已完成國際首例深位顱內活檢手術，并有望隨著大模型升級擁有對神經外科手術場景的自主理解。
“紫東太初”還開放了服務平臺，支持各行業根據各自需求“組裝”模塊，再輸入少量的行業樣本數據，就能產出自主可控的行業相關大模型。徐波表示，未來3至5年，包括“紫東太初”在內的我國大模型技術，將在促進數字經濟發展方面發揮重要作用，進一步釋放、提升各行業的勞動生產率。
流程編輯：U022
標簽：
搶先讀
- 天天微動態丨“最牛”賽道又漲瘋了！光模塊高歌猛進 光庫科技20CM漲停
- 科技滲透到農業生產各環節 夯實豐產基礎 新動態
- 央行、外匯局：提升資本項目跨境資金結算業務數字化水平
- 【“粵”升灣區闊 潮涌看中國】跨越伶仃洋 一橋連三地：這座世界最長跨海大橋為大灣區帶來新機遇
- 央行等五部門：依法合規加大對新市民等群體保障性租賃住房建設融資支持力度|焦點要聞
- 湘電股份：子公司擬與鞍鋼股份、員工持股共同重建鞍鋼科技
- 商水：小土豆拓寬致富路
- 上期所發布氧化鋁期貨合約上市掛牌基準價 環球最資訊
- 新動態：林蓉到任江西景德鎮市委常委、組織部部長
- 第一部AI監管法案要來了？歐洲議會通過《人工智能法案》草案
- 西漢的最后一個皇帝漢平帝劉衎，怎么也無法反抗王莽給他的宿命 天天快報
- 全球微資訊！兩名女游客反抗性侵，在“睡美人城堡”被推下深谷一死一傷，美籍嫌疑男子被捕
- 環球最資訊丨用戶側儲能商業化加速，2023 年工商業儲能或迎增長元年！
- 大宏立股價站上5日均線，陽包陰能否一掃頹勢？看12次回測數據n 環球今頭條
- 科思科技： 公司4月底2.68億未交付訂單在歷史財報中未列收_環球微資訊
- 世界觀察：鄧小平的第二任妻子金維映，李鐵映的母親，在蘇聯養病時不幸遇難
- 天天快消息！央行等五部門：加強鄉村基礎設施建設支持
- 【當前獨家】匯正財經98000服務費靠譜嗎？就看這一點
- 西部超導： 沒有應披露而未披露事項，公司將嚴格按照有關法律法規的要求及時履行信息披露義務-當前快看
- 上海華瑞銀行：取消發行“23上海華瑞銀行CD467”|當前要聞
- 天天速讀：遼寧銀保監局：優先在重點幫扶縣開展三大糧食作物完全成本保險和收入保險
- 新消息丨首屆地理標志產品廣貨手信節舉辦 推介21個地市好貨
- 環球速讀：讓青少年陽光“沖浪”！上海公安網安部門推出四項舉措
- 天天亮點！陜西一大學生被控強奸罪一審重審改判三年，被告人表示將繼續上訴
- 電機防爆等級國家標準 天天觀速訊
- 被注射抑生長劑，皮膚潰爛無人管，這5位童星，真的被父母害慘了
- 世界熱門:“第三支箭”首單落地 招商蛇口重組項目注冊生效
- 北京警方通報“球迷沖場擁抱梅西”：邸某某，18歲，已行拘-天天亮點
- 科技感十足的林肯新航海家
- “具身智能”時代開啟，優必選人形機器人現身香港
- 每日消息!海印股份：控股股東及其一致行動人擬減持不超2%公司股份
- 每日熱議!凡人微光｜爸爸的散文詩
- 偷偷藏不住段嘉許桑稚年齡間隔幾歲第一次吻戲哪章
- 行色匆匆的近義詞（行色匆匆的情景） 天天播報
- 安育民 全球今熱點
- 環球聚焦：徐子珊回歸素人后好瀟灑，穿抹胸勒出贅肉，胖了一圈反而更好看了
- 華夏幸福：未能如期償還債務合計279.38億元 每日視訊
- 焦點關注：四大主題秀場引領消費新潮流 2023全球首發節啟動
- “周子瑜”越穿尺度越大，穿白色斜肩上衣配牛仔短裙，越看越驚艷_環球觀速訊
- 快資訊：上海市銀行同業公會：發揮LPR對貸款利率的引導作用 合理確定利率定價水平
- 【世界時快訊】鐵路上海站端午小長假預計發送旅客209萬人次，6月22日將迎來客流最高峰
- 廣州發展：子公司擬約5.19億元投建上塘村100MW復合光伏發電項目-全球熱點評
- 1500萬元購車消費補貼來襲！蓮都區和麗水經開區啟動新一輪“車補”
- 又爆炸了！老板電器，被重營銷玩法反噬！-全球熱資訊
- 克服低溫靜謐行駛 深藍S7這套增程系統藏巧于拙
- 全球觀焦點：重磅 | 2022年全球銷售額Top 200藥物排行榜
- 2023二七區小升初報名點
- “創·在上?！比斯ぶ悄墚a業TOP Day對接營啟動
- 莫頓亨特稱為孤膽英雄_莫頓亨特
- 焦點速看：英媒 中國煤礦企業帶貨直播，30噸起
- 場景化造車首落地，極狐阿爾法S/T 森林版上市
- 環球實時：魅友京粉狂喜！魅族20年周年生日會，高層聯合直播送大禮
- 坦克500 Hi4-T月底上市，坦克400 Hi4-T華南亮相 看熱訊
- 用假發遮住額頭就是少男？37歲唐曾演大學生，滿臉褶子太辣目 天天熱訊
- 悠游三水｜一天打卡不重樣 記者體驗游生態園-環球熱文
- 【互動H5】萬物萌動！四川的“可愛頂配”們登場啦
- 成人口罩（動漫18歲以上）-全球百事通
- 天天快看點丨DC的藍甲蟲的由來
- 焦點報道:優利德：6月14日至6月15日甘宗秀、李志海減持公司股份合計1.35萬股
- 【“粵”升灣區闊 潮涌看中國】跨越伶仃洋 一橋連三地：這座世界最長跨海大橋為大灣區帶來新機遇-新動態
- 全球快資訊丨重磅！西安地鐵四期初步推薦方案曝光：5條線路，173.8公里！
- ?？谖迥陙砝塾嬐瓿晒潭ㄙY產投資6124億元?
- 小米汽車硬件利潤率不超1%？此路可通，但注定艱難 天天微速訊
- 外交部回應布林肯訪華：中方將闡明對中美關系的立場和關切 堅決維護自身利益_每日頭條
- 北京“試管造娃”納入醫保之后 全球微速訊
- #藍色光標成立幻境技術公司# 經營范圍含互聯網直播服務 當前要聞
- 山西援外醫療隊啟程赴喀麥隆、多哥執行任務
- 香港“過江龍”貨運碼頭夜訓 珠水競渡爭霸國際
- 市場情緒改善明顯，“牛市旗手”布局時機到了？鵬揚基金財富管理ETF正在發行
- 微頭條丨(國際觀察)通脹持續高位運行 歐洲央行或將繼續加息
- 13579什么意思內涵生說24680什么意思_男說24816女說13579是什么意思簡介介紹
- 【天天播資訊】視頻號的四個階層，分別都怎么賺錢？
- 【獨家焦點】好難過，她竟然犧牲了
- [路演]冠農股份：棉籽蛋白項目預計第四季度投產 天番食品2.5萬噸番茄丁汁項目已達產
- 新浪微創投退股謙尋旗下私募基金 當前關注
- 宜興埠鎮二街開展基層自治組織法治教育培訓課
- 360云盤收費-訊息
- 武漢福泰珠寶周五（6月16日）黃金價格報555元/克
- 上海機場：浦東國際機場5月旅客吞吐量同比增長6778%|全球快播報
- A股房企掙扎退市，高管已經很淡定：退了也好，關起門來悄悄地干
- 最新快訊!中秋禮品送什么好_中秋禮品推薦
- 秦牧智庫專家任曉玲積極開展獸醫培訓 全球要聞
- 天天簡訊:咖啡機起家，新銳咖啡品牌小咖獲近5億元融資
- 滴滴租車在全國300個城市上線服務 全球今日報
- 港警拘6名比亞迪刑毀案疑犯 無證據顯示針對內地品牌
- 體驗35萬最值得買的家用SUV 蔚來全新ES6只有一個缺點？
- 吉林省暨長春市“安全宣傳咨詢日”活動啟動|環球訊息
- 世界熱資訊！讓青少年陽光“沖浪”！上海公安網安部門推出四項舉措
- 【世界新要聞】一圖讀懂 | 市場監管總局通報今年粽子專項抽檢情況
- 聯想ISG全球AI基礎設施年收入達20億美元，未來3年將投資10億美元促進企業AI部署
- 杭州聯合銀行網上銀行_杭州聯合銀行豐收e網下載-世界觀天下
- 那年夏天，我們一起追過的女孩
- 1903年，有錢家娃娃皮鞋都擦得锃亮，窮人家孩子有雙草鞋就算奢侈 全球短訊
- 十幾萬的純電SUV，比亞迪元PLUS銷量上漲，性價比確實不錯
- 1996年，一名靚麗女毒販被公開審判的場景，鏡頭下茫然的望向遠方
- 上海市網信辦、市市場監管局共同啟動“亮劍浦江·消費領域個人信息權益保護專項執法行動” 世界頭條
- 今日熱門!董懋中_關于董懋中的簡介
- “兒媳反腐”江蘇女子實名舉報男友父子，卻被判3年！
- 商業模式分享：即拼七人拼團模式有哪些優勢？
- 2023粵港澳車展：魏牌兩款新車亮相 高山將在三季度上市