全鏈條中國造，思考起來更像人！紫東太初全模態大模型發布_今頭條
【資料圖】
不光能讀懂文字、圖像，還能理解音頻、視頻，甚至3D模型、傳感信號，思考起來更像“真人”。6月16日，在“人工智能框架生態峰會2023”上，中國科學院自動化研究所所長徐波發布了“紫東太初”全模態大模型。作為升級后的2.0版本，它不僅實現能力提升，還做到全鏈條“中國造”，打造出全棧國產化的通用人工智能底座。
何謂全模態大模型？“人的學習受到現實世界中視覺、聽覺、觸覺、嗅覺等各種信號的綜合影響，這些信號每一類都是一種模態，人類的學習過程是全模態的。但目前最常見的大語言模型仍以文字、圖片為主要模態，對音頻、視頻等信息的識別能力不足?！敝锌圃鹤詣踊蠔|太初大模型研究中心常務副主任王金橋介紹，在“紫東太初”誕生之初，科研團隊就提出要像養育嬰兒一樣，為它營造全模態的學習環境。
早在2021年7月，全球首個千億參數的多模態大模型“紫東太初”1.0就已發布，實現圖像、文本、語音三類數據的相互生成。而歷經近2年的迭代，“紫東太初”2.0的能力再升級，除了讀懂圖文外，它還能“看懂”來自現實世界的影像數據、力觸覺、工業傳感信號等物聯數據，可以像“人”一樣綜合運用多種信號進行思考。
給出一張救護車圖片、一段森林救火的視頻和一段警笛音頻，“紫東太初”能識別并講述出一段完整的救援過程；而將一張圖書館的照片和汽車鳴笛聲音頻同時輸入，它則快速發現了其中的矛盾，認為這段音頻不太可能出現在圖書館場景之中。
在同樣的參數量級中，多模態大模型的能力會強于純粹的語言大模型，這意味著“紫東太初”可以用更少的訓練數據實現更優的效果。“其實這也很好理解，多種信息的綜合輸入，能夠降低認知成本，但這對科研的挑戰更大?！蓖踅饦蛘f，得益于團隊在多模態數據領域的多年積累，科研人員以語義為橋梁，將音頻、視頻、物聯數據等模態聯系起來，“在這條研發路徑上，我們走在了世界前列。”
“從算法到硬件、算力，‘紫東太初’都是‘中國造’。”王金橋表示，大模型算法為中科院自動化所自研，以昇騰AI硬件及昇思MindSpore AI框架為基礎，算力則由武漢人工智能計算中心提供支持，“在國產軟硬件的支撐下，我們的大模型一樣能跑得很好、很快。”
大模型所掌握的數據種類越多，與真實世界的交互能力就越強，在不遠的將來，多模態大模型將普惠千行百業。目前，“紫東太初”大模型已在法律咨詢、交通出行、醫療健康等領域開始引領性示范。例如，通過部署“紫東太初”，中科院自動化所自研的微創柔性手術機器人MicroNeuro擁有了融合觸覺與視覺的跨模態分析能力，它已完成國際首例深位顱內活檢手術，并有望隨著大模型升級擁有對神經外科手術場景的自主理解。
“紫東太初”還開放了服務平臺，支持各行業根據各自需求“組裝”模塊，再輸入少量的行業樣本數據，就能產出自主可控的行業相關大模型。徐波表示，未來3至5年，包括“紫東太初”在內的我國大模型技術，將在促進數字經濟發展方面發揮重要作用，進一步釋放、提升各行業的勞動生產率。
流程編輯：U022
標簽：
搶先讀
- 沿著高速看鄉村產業：廣東清遠特色產業發展正酣-全球即時看
- 行色匆匆的近義詞（行色匆匆的情景）
- 每日聚焦：觀車 · 論勢 || 新能源汽車下鄉，切準市場脈搏更重要
- 滴滴升級司機收入保障 多種免傭獎勵穩定司機收入_觀點
- 美國一座島突現數百萬毛毛蟲 畫面曝光：蟲子掛滿枝頭 掉落時像下雨 當前看點
- 華為云數智賦能藥品全生命周期管理論壇舉辦
- 佛山舉辦高質量發展論壇 天天熱文
- 2022年生活服務業連鎖企業TOP100發布
- 咸安區“安全宣傳咨詢日”推動全社會“人人講安全、個個會應急”
- 高層要“停建”？有專業人士表示：這2類房子或要吃香了
- 天娛數科：第一大股東所持4.24%公司股份將被司法拍賣 世界今日報
- 焦點播報:護理學畢業生自我鑒定_護理學畢業生自我鑒定范文欣賞
- 世界要聞：偷偷藏不住段嘉許桑稚年齡間隔幾歲第一次吻戲哪章
- 一路走好！7天8位名人相繼去世，有4人未滿40歲，最年輕者僅21歲 全球滾動
- 科力特任命李金芝為公司財務負責人 2022年公司凈利1830.72萬 時訊
- 雞西向全國推介中俄合作產業前景 6個項目簽約額達47.45億元
- 全鏈條中國造，思考起來更像人！紫東太初全模態大模型發布_今頭條
- 經濟學家預計歐洲央行9月份加息的可能性上升-全球最資訊
- 歐盟機構：6月初全球平均氣溫創紀錄
- 當前熱訊：漫威多部影片宣布改檔 包括《美隊4》《復聯5》等
- 當前速讀：18家AI頭部企業、高校與科研機構聯合發布首個AI框架生態倡議
- 全球消息！甘肅G30連霍高速部分路段因大風沙塵臨時管制
- 13宗！774畝！今年市區第二批擬出讓地塊清單發布！
- ?？诩涌旖ㄔO海南自貿港核心區 外向型經濟發展顯成效_天天觀點
- 世界視訊！“環衛母親”發聲，拒絕資助，真實家境曝光，兩塊牌匾說明一切
- 漱玉平民（301017）：6月16日北向資金減持2.68萬股_天天觀熱點
- 便宜上千萬，杭州保姆縱火案房源成交
- 愛爾眼科：嘉實基金、國金證券等多家機構于6月15日調研我司
- 安豆5號
- 數碼寶貝皇家騎士團實力排名_數碼寶貝皇家騎士
- 科思科技： 公司4月底2.68億未交付訂單在歷史財報中未列收
- 交通運輸部：高標準高質量推進雄安新區交通建設 深入推進京津冀交通運輸一體化發展
- 全球簡訊:概念動態|華如科技新增“機器人概念”
- 天天熱推薦：中國官方發文：各金融機構要主動對接糧食生產主體擴大產能等融資需求
- 全球看點：廣州發展：子公司擬約5.19億元投建上塘村100MW復合光伏發電項目
- 環球資訊：大理旅行團被指宰客
- 天天日報丨歌曲風的季節是哪個電影的插曲 經典歌曲風的季節原唱是誰
- 【甘快看】太白第七屆插秧節開幕：黃土高原上演插秧大賽 全球熱文
- 環球播報:通脹持續高位運行 歐洲央行或將繼續加息
- 穩增長路徑：以基建拉動就業內需 天天速訊
- 濱江集團擬為子公司濱嵐公司提供不超過6100萬元擔保
- 焦點熱門:《遺跡的聲音》：把看不見、聽得著的口述故事變成電影
- 梅雨季來了！江蘇淮河以南地區明日入梅
- 今天過生日的動漫角色?。?月17日） 世界滾動
- 【環球聚看點】救人一躍 義舉暖心（點贊新時代）
- 魅力膠東：總投資50億元！膠東印象·袁家村項目進展迅猛
- 黃精開花后怎么養 如何養殖黃精-熱門
- 當前要聞：標致雪鐵龍整合，神龍汽車拼死一戰
- 秦洪 增量資金嘗試性建倉 低位股迎來反彈契機 短線有利
- 全球報道:銳騏6油耗 銳騏6油耗一公里多少錢
- 天天短訊！厄爾尼諾卷土重來，全球氣溫可能會創新高
- 硬核科技論｜別被洗腦 雙電機有時候并非你所想
- 當前訊息：制藥巨頭禮來CEO：AI可能顛覆整個行業
- 天天報道:莫忽視精致背后的真需求
- 黑人女孩亞克米：黑得徹底，關燈看不到人，卻美得令人難以忘懷-焦點
- 全球大學生體育文化公益廣告作品征集展示活動啟事 環球看點
- 焦點速遞！【“粵”升灣區闊 潮涌看中國】跨越伶仃洋 一橋連三地：這座世界最長跨海大橋為大灣區帶來新機遇
- 蜂蜜禁忌與什么一起吃 蜂蜜不能與什么一起吃
- 焦點速遞！天津小區突發爆炸致3死，社區：嫌犯和妻子分住發生爆炸的兩個小區
- 解碼文化自信的城市樣本|“文樞”煥新耀金陵——解碼古都南京的文化自信樣本
- 新疆夏糧收購開秤-環球最新
- 焦點關注：青島男孩存銀行1.1億，當天竟全被轉走？銀行：為你好幫你還債了
- 焦點！北京電影學院研究生學費一年多少_北京電影學院研究生學費
- 芯?？萍极@ISO 26262功能安全管理體系ASIL D認證 為國產車規芯片保駕護航 當前觀察
- 佛山市高質量發展論壇暨2023年第一期“佛商論壇”舉行
- 五部門：探索完善農村產權確權頒證、抵押登記、流轉交易、評估處置機制
- 打通快遞進村“最后一公里” 天天速訊
- 世界資訊：ET5 Touring引人矚目 可蔚來還是更需要一款“Model Y”
- 環球頭條：天齊鋰業董事長蔣衛平：鋰價永遠回不到每噸3萬、4萬
- 售價144.89萬起 新款X5 M/X6 M雷霆版上市
- 年三十祝福（年三十祝福語）
- 上海市銀行同業公會發布自律公約，強調不應以利率為單一手段爭攬客戶|環球滾動
- yy分組簡單設計可復制_cfyy頻道分組設計
- 孕婦吃什么水果補鐵補血通便?_今日快看
- 雙節將至 酒店、旅游逆勢狂歡！電站鍋爐管龍頭20cm漲停 光熱發電再受關注-即時看
- 男子假冒警察與女子相戀結婚，詐騙數十人近600萬元被公訴|世界短訊
- 國足大連集訓氛圍輕松 國腳艾克森期待大勝
- 11月句子語錄_十一月的簡短句子
- 成都這家景區，全員免費！|觀點
- 2014年是什么年天干地支_2014年是什么年-天天簡訊
- 【播資訊】關于猴痘，這些知識請了解！
- 濕銀耳保質期多久?
- 知名女星承認出軌！將無限期暫停演出
- 紅色利劍全部演員表角色介紹_紅色利劍的演員簡介介紹
- 世界頭條：夏枯草的作用與功效能治療咽炎_夏枯草的作用與功效
- 環球微頭條丨屋頂平臺漏水最好的補漏方法_維修方法
- 熱門看點：今日腔腸動物的主要特征筆記_腔腸動物的主要特征有哪些
- 天天精選！谷歌推出多項功能：識別皮膚病、模擬試穿衣服
- 曹薊光：5G全連接工廠賦能企業數字化轉型_快播報
- 魔幻！那個抱了梅西的球迷，穿的鞋登上淘寶熱銷榜首！網友：一雙好鞋，掌控全場……_環球今熱點
- 向佐自曝拍戲情緒太飽滿誤傷“古典舞女神”唐詩逸，發文道歉獲女方回應：受傷難免，記得下次見面吃我一拳！
- “五五購物節”火熱進行中，活動豐富、優惠多多|環球時快訊
- 2021牛年新年祝福短句圖片大全_2021牛年新年祝福短句圖片 世界看熱訊
- 家常羊排燉蘿卜、強健身體、暖身散寒，凜冬季節必吃的一道美食
- 算大賬因素在盤面越發明顯 天天觀熱點
- 紅沙土適合種什么 紅沙土適合種哪些植物
- 意大利新一代潛艇建造提速
- A股首單房企重組項目注冊生效 招商蛇口收購南油、前海實業獲批
- 佳緣科技（301117）：6月16日北向資金增持7.34萬股|天天熱資訊
- 【手慢無】全新13代酷睿強芯 華為MateBook X Pro商務本9999元搶購