亞洲資本網(wǎng) > 資訊 > 焦點(diǎn) > 正文
上海人工智能實(shí)驗(yàn)室發(fā)布多模態(tài)語(yǔ)料
2023-08-16 13:06:20來(lái)源: 人民日?qǐng)?bào)


(資料圖)

人民日?qǐng)?bào)上海8月15日電 (記者沈文敏)近日,上海人工智能實(shí)驗(yàn)室宣布聯(lián)合語(yǔ)料數(shù)據(jù)聯(lián)盟成員單位,共同開(kāi)源發(fā)布“書生·萬(wàn)卷”1.0多模態(tài)預(yù)訓(xùn)練語(yǔ)料。

“書生·萬(wàn)卷”1.0集合了語(yǔ)料數(shù)據(jù)聯(lián)盟成員豐富的內(nèi)容積累與上海人工智能實(shí)驗(yàn)室的數(shù)據(jù)處理能力等優(yōu)勢(shì),將為學(xué)術(shù)界及產(chǎn)業(yè)界提供高質(zhì)量大模型多模態(tài)預(yù)訓(xùn)練語(yǔ)料。本次開(kāi)源的數(shù)據(jù)總量超過(guò)2TB,具備多元融合、精細(xì)處理、價(jià)值對(duì)齊、易用高效等四大特征。

本次開(kāi)源的“書生·萬(wàn)卷”1.0包含文本、圖文、視頻三部分?jǐn)?shù)據(jù)集。其中文本數(shù)據(jù)來(lái)自網(wǎng)頁(yè)、百科、書籍、專利、教材、考題等,數(shù)據(jù)總量超過(guò)5億個(gè)文檔,數(shù)據(jù)大小超過(guò)1TB,覆蓋科技、文學(xué)、媒體、教育、法律等多個(gè)領(lǐng)域;圖文數(shù)據(jù)主要來(lái)自公開(kāi)網(wǎng)頁(yè),經(jīng)處理后形成圖文交錯(cuò)文檔,總量超過(guò)2200萬(wàn)個(gè),數(shù)據(jù)大小超過(guò)140GB(不含圖片),覆蓋新聞事件、人物、自然景觀、社會(huì)生活等多個(gè)領(lǐng)域;視頻數(shù)據(jù)主要來(lái)自中央廣播電視總臺(tái)和上海文廣集團(tuán),包含新聞、影視等多種類型的節(jié)目影像,總計(jì)視頻文件數(shù)超過(guò)1000個(gè),數(shù)據(jù)大小超過(guò)900GB,內(nèi)容覆蓋軍事、文藝、體育、自然、知識(shí)、影像藝術(shù)等方面。

關(guān)鍵詞:

專題新聞
  • 新時(shí)代中國(guó)調(diào)研行·長(zhǎng)江篇|長(zhǎng)江源頭的“護(hù)魚”行動(dòng)
  • 鋼鐵業(yè)迎挑戰(zhàn)顯韌性
  • 丁次烤肉(丁次死了嗎)
  • 英雄聯(lián)盟游戲環(huán)境出現(xiàn)異常怎么辦(英雄聯(lián)盟游戲環(huán)境異常 請(qǐng)重啟機(jī)器后再試)
  • 在波蘭賣智能小家電,他4個(gè)月跑出近兩百萬(wàn)GMV
  • 隨著地球變暖,科學(xué)家對(duì)南極洲極端事件感到“震驚”
最近更新

京ICP備2021034106號(hào)-51

Copyright © 2011-2020  亞洲資本網(wǎng)   All Rights Reserved. 聯(lián)系網(wǎng)站:55 16 53 8 @qq.com