全鏈條中國造，思考起來更像人！紫東太初全模態大模型發布
(資料圖片僅供參考)
不光能讀懂文字、圖像，還能理解音頻、視頻，甚至3D模型、傳感信號，思考起來更像“真人”。6月16日，在“人工智能框架生態峰會2023”上，中國科學院自動化研究所所長徐波發布了“紫東太初”全模態大模型。作為升級后的2.0版本，它不僅實現能力提升，還做到全鏈條“中國造”，打造出全棧國產化的通用人工智能底座。
何謂全模態大模型？“人的學習受到現實世界中視覺、聽覺、觸覺、嗅覺等各種信號的綜合影響，這些信號每一類都是一種模態，人類的學習過程是全模態的。但目前最常見的大語言模型仍以文字、圖片為主要模態，對音頻、視頻等信息的識別能力不足。”中科院自動化所紫東太初大模型研究中心常務副主任王金橋介紹，在“紫東太初”誕生之初，科研團隊就提出要像養育嬰兒一樣，為它營造全模態的學習環境。
早在2021年7月，全球首個千億參數的多模態大模型“紫東太初”1.0就已發布，實現圖像、文本、語音三類數據的相互生成。而歷經近2年的迭代，“紫東太初”2.0的能力再升級，除了讀懂圖文外，它還能“看懂”來自現實世界的影像數據、力觸覺、工業傳感信號等物聯數據，可以像“人”一樣綜合運用多種信號進行思考。
給出一張救護車圖片、一段森林救火的視頻和一段警笛音頻，“紫東太初”能識別并講述出一段完整的救援過程；而將一張圖書館的照片和汽車鳴笛聲音頻同時輸入，它則快速發現了其中的矛盾，認為這段音頻不太可能出現在圖書館場景之中。
在同樣的參數量級中，多模態大模型的能力會強于純粹的語言大模型，這意味著“紫東太初”可以用更少的訓練數據實現更優的效果。“其實這也很好理解，多種信息的綜合輸入，能夠降低認知成本，但這對科研的挑戰更大。”王金橋說，得益于團隊在多模態數據領域的多年積累，科研人員以語義為橋梁，將音頻、視頻、物聯數據等模態聯系起來，“在這條研發路徑上，我們走在了世界前列。”
“從算法到硬件、算力，‘紫東太初’都是‘中國造’。”王金橋表示，大模型算法為中科院自動化所自研，以昇騰AI硬件及昇思MindSpore AI框架為基礎，算力則由武漢人工智能計算中心提供支持，“在國產軟硬件的支撐下，我們的大模型一樣能跑得很好、很快。”
大模型所掌握的數據種類越多，與真實世界的交互能力就越強，在不遠的將來，多模態大模型將普惠千行百業。目前，“紫東太初”大模型已在法律咨詢、交通出行、醫療健康等領域開始引領性示范。例如，通過部署“紫東太初”，中科院自動化所自研的微創柔性手術機器人MicroNeuro擁有了融合觸覺與視覺的跨模態分析能力，它已完成國際首例深位顱內活檢手術，并有望隨著大模型升級擁有對神經外科手術場景的自主理解。
“紫東太初”還開放了服務平臺，支持各行業根據各自需求“組裝”模塊，再輸入少量的行業樣本數據，就能產出自主可控的行業相關大模型。徐波表示，未來3至5年，包括“紫東太初”在內的我國大模型技術，將在促進數字經濟發展方面發揮重要作用，進一步釋放、提升各行業的勞動生產率。
流程編輯：U022
標簽：
搶先讀
- 江蘇消保委：部分考研考公培訓機構存在誘導貸款付費問題 全球快看點
- 資訊：重磅！西安地鐵四期初步推薦方案曝光：5條線路，173.8公里！
- 凌晨一點喝酒什么時候能開車? 當前報道
- 環球熱點評！突破40℃！多地發布高溫預警
- 喝酒后，早上頭疼怎么辦? 世界快資訊
- 2023安全創客匯復賽重慶站落幕 網絡安全創新創業企業20強名單出爐
- 24小時內！全球主要央行“分道揚鑣”：中國“降”、歐洲“加”、美國“鷹停”、日本“鴿停”
- 世界訊息：泰州姜堰：創建“無詐企業” 警企聯動聚“合力”
- 中央商場（600280）6月16日主力資金凈賣出609.39萬元|世界快播報
- 環球滾動:中國駐符拉迪沃斯托克總領館提醒中國公民妥善保管個人證件
- 快播：12歲女娃過生送好多錢
- 世界簡訊:今日開啟！鄭州中原區發放400萬消費券
- 天天信息:日產采用了去年的ZProto并將其變成了新的日產Z
- 世界快報:美銀策略師Hartnett：美國股市大漲之后會大跌
- 天天通訊！市三防會商：未來7天廣州市仍處龍舟水降水盛期
- 【全球時快訊】武磊梅開二度國足4:0戰勝緬甸，取得預期中的積分和士氣雙豐收
- A股收評：滬指震蕩反彈漲0.63% 北向資金凈買入超百億-每日消息
- 【世界速看料】美總統參選人稱意識到或將被中情局槍殺：正采取措施加以預防
- 光棍-今日精選
- 開“病”車+超速超載，路途車輛側翻致一死兩傷
- 2023城區中考期間這些路段實施交通管制！
- 美總統參選人稱意識到或將被中情局槍殺：正采取措施加以預防
- 重點聚焦!3313種產品參展，廣西名特優農產品組團亮相廣州
- 動態焦點:杭州的這些外國友人太厲害 包出的粽子個個有模有樣
- 名家散文短篇200字余秋雨_名家散文短篇 熱點評
- 天天快播：下半年，喜鵲報喜，咸魚翻身，事業大展宏圖，生活無憂的3星座
- 快看點丨外交部發言人：中方樂見外資企業深耕中國市場，共享發展機遇
- “檢察院＋稅務＋司法”聯席會議暨檢稅司合作框架協議簽約順利召開
- 世界資訊：山東一女子因坐月子枯燥，接連破譯美國頂級密碼，國家獎勵711萬
- 海通證券(06837)將于7月28日派末期股息每10股2.3048港元
- 烏軍“豹2”坦克折戟戰場，受傷的還有德國軍工 全球通訊
- 51歲趙文卓再現鐵漢柔情，摟妻子曬玫瑰花照紀念結婚17周年，女方回應8個字秀恩愛
- 華燕房盟控股股東上海華燕投資控股（集團）有限公司已被列為失信被執行人|環球精選
- 恒生指數主連夜盤收跌0.69%，報19988.00點。恒生科技指數主連夜盤收跌1.39%，報4200.00點。-當前通訊
- 今日熱搜：59歲大媽整容成“少女”，嫁給27歲小鮮肉，現在他們過得如何？
- qqpcmgr文件夾是干嘛的（qqpcmgr docpro是什么文件）-世界速看料
- 全球報道:西部礦業擬7.9億元關聯交易 被兩問標的高溢價合理性
- 賽鴿天堂網視頻_賽鴿天堂網
- 西延高鐵馬坊隧道及北村隧道相繼貫通_今日要聞
- 環球資訊：冰箱放廚房還是餐廳？聰明人都懂，放客廳與電視墻組合，功能翻倍
- 中海19.92億元獲廣州荔灣紫蘭苑地塊 曾為廣信資產包項目
- 【世界報資訊】其他收益填在匯算清繳哪里_其他收益
- 西昌學院通報“食堂食物有異物”：組建工作專班調查核實
- 新疆人大代表聯絡站：民眾解憂“萬事屋”_環球熱推薦
- 農業巨頭先正達過會，將登陸上交所主板募資650億元 環球通訊
- 環球百事通！11歲閨蜜生日送什么
- 便宜上千萬，杭州保姆縱火案房源成交-每日速遞
- 《遺跡的聲音》：把看不見、聽得著的口述故事變成電影
- 尿酸低原因造成的_尿酸低原因
- 樓道雜物被居委清理 訴至法院索賠 法院：不支持
- 觀天下！養老變”坑老”，老年人該如何防范非法集資陷阱？
- 前5月中國財政收入同比增長14.9%-天天速讀
- 市三防會商：未來7天廣州市仍處龍舟水降水盛期|天天快看點
- 瀕危礁棲魚類蘇眉魚全人工繁育技術取得重大突破 每日快播
- “海巡09090”正式列編！珠江口水域再添執法利器 焦點熱文
- 天天觀點：秦洪 增量資金嘗試性建倉 低位股迎來反彈契機 短線有利
- 焦點速讀：阿里P9下崗再就業
- 中國首臺（套）大孔徑磁共振功能創新應用成果發布_今日報
- 讓青少年陽光“沖浪”！上海公安網安部門推出四項舉措→|世界播資訊
- 當前熱訊：聯想創新開放日：自主邊緣集群技術，讓無人化農業變成現實
- 劉可雯個人圖片_劉可雯
- 美團開展夏季騎手關懷活動 先期投入7億元高溫關懷金 世界新動態
- 天天看點：“倡節儉 揚新風 過端午”主題活動走進渝中區
- 糖尿病主食吃什么好一點_糖尿病主食吃什么好 全球要聞
- 環球熱門:一周為民辦事丨長沙縣：井蓋松動引噪音，部門及時更換
- 霹靂布袋戲的順序有哪些_霹靂布袋戲的順序|全球熱點評
- 斬魂刀斬月_斬魂刀-全球快資訊
- 暴雨紅色預警信號的標準3小時雨量_暴雨紅色預警|每日信息
- 科一題庫下載txt_科一題庫 環球百事通
- 80套夏季私服大合集，平價耐穿還不悶熱，素人穿上高級感滿滿-全球最新
- 半島城市帆船拉力賽進入倒計時，半島記者將跟船感受帆船文化_當前訊息
- 誰是最厲害的技能人才？第二屆浙江技能大賽將在浙江永康舉行_環球快看
- ac310直升機座艙_AC310直升機
- 【新視野】專家：風電場改造升級和退役有序開展將打開增量市場空間
- 全鏈條中國造，思考起來更像人！紫東太初全模態大模型發布
- 俄羅斯經濟學家：美國借債“成癮”將危及全球經濟復蘇
- 環球簡訊:剛剛，杭州首次公開！被驚艷了！
- 創業板指6月16日漲1.44%
- 王鶴棣又有新劇要官宣，搭檔熱度女演員，可是題材卻讓粉絲捏冷汗|環球快報
- 美法院將在一個月內對Terraform Labs駁回SEC訴訟作出裁決 世界要聞
- 夯實知識產權行政執法人才基礎，保護創新高質量發展|全球熱資訊
- 產業 | 首設網絡出版館，第29屆北京國際圖博會聚焦網文國際化發展
- 【環球快播報】廣州大學城攻略路線_廣州大學城攻略
- 南財研選快訊丨中信證券：預計本月5年期LPR下調幅度或超10bp
- 詹姆斯人人喊打？操控輿論+逼斯波退役+馬龍暗諷 韋斯特：人們妒忌他 環球微動態
- 原軾新材主動撤回創業板IPO申請 業績成長性及獨立性遭監管問詢
- 阿根廷中國行，于大寶與“老友”迪馬利亞合影“當時我和他被稱為四大新星，但最后我沒踢出來”_全球看熱訊
- 每日消息!2023央行書法藝術草書金銀紀念幣價格是多少
- 機構的陣地，白酒的天下，消費類ETF面面觀
- 這是一波大行情還是大誘空？
- 會打扮的50+女性老得慢一點，學會這些穿搭，氣質大方又時髦_全球快消息
- 今日訊！昆明機場到昆明高鐵站多久_昆明機場到昆明高鐵站
- 618淘金客沖進直播間搶空金飾，不到兩小時賣出近3000萬，主播：沒庫存了
- 天喜堂天喜丸的功效_天喜堂天喜丸的功效與副作用
- 【全球新要聞】陜西一大學生被控強奸罪一審重審改判三年，被告人表示將繼續上訴
- 每日快報!南通：西班牙籍教練加布里·加西亞出任球隊主帥
- 【地評線】彩云網評：推動新能源與鄉村“熱戀”
- 為什么臉上總是冒痘痘？5個原因解析，調理不難！
- 當前看點!緣起緣落緣終滅 花開花落花歸塵_緣起緣滅緣終盡 花開花落花歸塵是什么意思
- 每日速遞：國足對陣緬甸首發出爐，武磊艾克森搭檔鋒線，泰山隊兩人出場