色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

大模型參數(shù)達百萬億級別,AI商業(yè)化進程加速!

Carol Li ? 來源:電子發(fā)燒友網 ? 作者:李彎彎 ? 2023-02-26 00:44 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網報道(文/李彎彎)大模型,又稱為預訓練模型、基礎模型等,大模型通常是在大規(guī)模無標注數(shù)據(jù)上進行訓練,學習出一種特征和規(guī)則。近期火爆的ChatGPT,便是基于GPT大模型的一個自然語言處理工具。

從參數(shù)規(guī)模上看,AI大模型先后經歷了預訓練模型、大規(guī)模預訓練模型、超大規(guī)模預訓練模型三個階段,參數(shù)量實現(xiàn)了從億級到百萬億級的突破。從模態(tài)支持上看,AI大模型從支持圖片、圖像、文本、語音單一模態(tài)下的單一任務,逐漸發(fā)展為支持多種模態(tài)下的多種任務。

AI大模型的發(fā)展歷程

AI大模型的發(fā)展,還要從2017年Vaswani等提出Transformer架構說起,Transformer架構的提出奠定了當前大模型領域主流的算法架構基礎。

2018年,谷歌提出了大規(guī)模預訓練語言模型BERT,該模型是基于Transformer的雙向深層預訓練模型,其參數(shù)首次超過3億規(guī)模;同年,OpenAI提出了生成式預訓練Transformer模型GPT,大大地推動了自然語言處理領域的發(fā)展。此后,基于BERT的改進模型、ELNet、RoBERTa、T5等大量新式預訓練語言模型不斷涌現(xiàn),預訓練技術在自然語言處理領域蓬勃發(fā)展。

2019年,OpenAI繼續(xù)推出15億參數(shù)的GPT-2,能夠生成連貫的文本段落,做到初步的閱讀理解、機器翻譯等。緊接著,英偉達推出了83億參數(shù)的Megatron-LM,谷歌推出了110億參數(shù)的T5,微軟推出了170億參數(shù)的圖靈Turing-NLG。

2020年,OpenAI推出了超大規(guī)模語言訓練模型GPT-3,參數(shù)達到1750億,在兩年左右的時間實現(xiàn)了模型規(guī)模從億級到上千億級的突破,并能夠實現(xiàn)作詩、聊天、生成代碼等功能。此后,微軟和英偉達在2020年10月聯(lián)手發(fā)布了5300億參數(shù)的MegatronTuring自然語言生成模型(MT-NLG)。

2021年1月,谷歌推出的Switch Transformer模型以高達1.6萬億的參數(shù)量成為史上首個萬億級語言模型;到2022年一大批大模型涌現(xiàn),比如Stability AI發(fā)布的文字到圖像的創(chuàng)新模型Diffusion,以及OpenAI推出的ChatGPT。

在國內,大模型研究發(fā)展迅速。2021年,商湯發(fā)布了書生(INTERN)大模型,擁有100億的參數(shù)量;2021年4月,華為云聯(lián)合循環(huán)智能發(fā)布盤古NLP超大規(guī)模預訓練語言模型,參數(shù)規(guī)模達1000億,聯(lián)合北京大學發(fā)布盤古α超大規(guī)模預訓練模型,參數(shù)規(guī)模達2000億。

同年4月,阿里達摩院發(fā)布270億參數(shù)的中文預訓練語言模型PLUG,聯(lián)合清華大學發(fā)布參數(shù)規(guī)模達到 1000億的中文多模態(tài)預訓練模型M6;7月,百度推出ERNIE 3.0知識增強大模型,參數(shù)規(guī)模達到百億;10月,浪潮信息發(fā)布約2500億的超大規(guī)模預訓練模型“源 1.0”;12月,百度推出ERNIE 3.0 Titan模型,參數(shù)規(guī)模達2600億。

2022 年,基于清華大學、阿里達摩院等研究成果以及超算基礎實現(xiàn)的“腦級人工智能模型”八卦爐(BAGUALU)完成建立,其模型參數(shù)規(guī)模突破了174萬億個。可以看到,目前大模型參數(shù)規(guī)模最高已經達到百萬億級別。

大模型研究的重要意義

當前人工智能正處在可以用到好用的落地階段,但目前仍處于商業(yè)落地早期,主要面臨著場景需求碎片化、人力研發(fā)和應用計算成本高、長尾場景數(shù)據(jù)較少導致模型訓練精度不夠、模型算法從實驗室場景到真實場景效果差距大等行業(yè)痛點。

大模型具備大規(guī)模和預訓練的特點,一方面有良好的通用性、泛化性,能夠解決傳統(tǒng)AI應用中門檻高、部署難的問題,另一方面可以作為技術底座,支撐智能化產品及應用落地。

過去很多年,雖然各大科技公司不斷推出較大規(guī)模的模型,然而直到去年生成式AI逐漸走向商業(yè)化,以及去年底今年初OpenAI推出的ChatGPT爆火,AI大模型才真正迎來發(fā)展的轉折點。美國國家工程院外籍院士、北京智源人工智能研究院理事張宏江此前表示,ChatGPT和AIGC,技術爆火背后,代表著人工智能(AI)大模型進入一個新的技術范式,也是第三波AI浪潮經過十幾年發(fā)展之后一個非常重要的拐點。

張宏江認為,它其實代表著從以前各自研發(fā)專用小模型到研發(fā)超大規(guī)模通用智能模型的一個范式轉變。這個轉變的重要意義在于:通過這種比較先進的算法架構,盡可能多的數(shù)據(jù),匯集大量算力,集約化的訓練達模式,從而供大量用戶使用。

大模型的發(fā)展很可能會改變信息產業(yè)的格局,改變以前作坊式AI開發(fā)模式,把AI應用帶入基于互聯(lián)網、云計算的大規(guī)模智能云階段。

小結

雖然過去十幾年人工智能技術發(fā)展迅速,然而在近幾年卻遇到了一些技術瓶頸和商業(yè)化難題。而大模型的發(fā)展和普及,尤其是通過大模型+微調的新技術開發(fā)范式,人工智能將能夠更好的在各種場景中實現(xiàn)應用,當然大模型的訓練和推理對算力等也提出了很高的要求,因此大模型的研究最終能夠如何推進人工智能產業(yè)的發(fā)展,還需要產業(yè)鏈各環(huán)節(jié)的共同努力。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    88

    文章

    34890

    瀏覽量

    277713
  • ChatGPT
    +關注

    關注

    29

    文章

    1589

    瀏覽量

    8994
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    比肩HBM,SOCAMM內存模組即將商業(yè)化

    參數(shù)規(guī)模數(shù)百億甚至萬億級別,帶來巨大內存需求,但HBM內存價格高昂,只應用在高端算力卡上。SOCAMM則有望應用于AI服務器、高性能計算、
    的頭像 發(fā)表于 05-17 01:15 ?2734次閱讀

    經緯恒潤和白犀牛達成戰(zhàn)略合作,加速自動駕駛商業(yè)化進程

    近日,經緯恒潤與全球領先的L4級別自動駕駛公司白犀牛達成戰(zhàn)略合作。雙方將圍繞車規(guī)級智能硬件研發(fā)、高可靠性無人車產品開發(fā)展開深度合作,共同推動末端物流無人車的規(guī)模商業(yè)落地。此次合作,雙方將充分發(fā)揮
    的頭像 發(fā)表于 05-14 17:03 ?560次閱讀
    經緯恒潤和白犀牛達成戰(zhàn)略合作,<b class='flag-5'>加速</b>自動駕駛<b class='flag-5'>商業(yè)化</b><b class='flag-5'>進程</b>

    Gupshup加速企業(yè)AI應用進程

    Gupshup-Gupshup推出預構建、行業(yè)訓練有素的多模態(tài)AI代理,加速企業(yè)AI應用進程 印度尼西亞雅加達2025年2月14日?/美通社/ -- 全球領先的對話式
    的頭像 發(fā)表于 02-14 16:04 ?282次閱讀

    DeepSeek大模型受行業(yè)熱捧,加速AI應用迭代

    趨勢反映出DeepSeek大模型AI領域的強大影響力。通過接入DeepSeek,這些機構能夠獲取更先進的AI技術支持,從而提升其產品的智能水平和競爭力。 機構表示,隨著
    的頭像 發(fā)表于 02-14 14:14 ?551次閱讀

    DeepSeek大模型攜手廣和通,加速AI普惠進程

    近期,國產大模型DeepSeek憑借其開放性、低訓練成本以及端側部署的顯著優(yōu)勢,迅速嶄露頭角,成為增速最為迅猛的AI應用之一。這一突破性進展,為AI技術的普惠應用開辟了新路徑。 值得
    的頭像 發(fā)表于 02-11 14:47 ?1009次閱讀

    政策與技術并行,共推Robotaxi商業(yè)化進程

    級別自動駕駛的發(fā)展離不開政策與技術的雙重驅動。政府對“車路云一體”建設的支持推動了基礎設施的完善,同時高級別自動駕駛的監(jiān)管體系逐步完善,為自動駕駛商業(yè)化
    的頭像 發(fā)表于 01-20 10:30 ?544次閱讀
    政策與技術并行,共推Robotaxi<b class='flag-5'>商業(yè)化</b><b class='flag-5'>進程</b>?

    AI模型與傳統(tǒng)機器學習的區(qū)別

    多個神經網絡層組成,每個層都包含大量的神經元和權重參數(shù)。 傳統(tǒng)機器學習 :模型規(guī)模相對較小,參數(shù)數(shù)量通常只有幾千到幾百萬個,模型結構相對簡單
    的頭像 發(fā)表于 10-23 15:01 ?2515次閱讀

    AI模型商業(yè)應用案例分析

    AI模型商業(yè)應用中已經展現(xiàn)出了巨大的潛力和價值,以下是一些具體的案例分析: 一、京東云·言犀在零售與服務領域的應用 京東云·言犀是京東集團依托全棧自研的人工智能技術推出的智能服務平臺。該平臺通過
    的頭像 發(fā)表于 10-23 15:01 ?2774次閱讀

    英偉Blackwell可支持10萬億參數(shù)模型AI訓練,實時大語言模型推理

    、NVLink交換機、Spectrum以太網交換機和Quantum InfiniBand交換機。 ? 英偉稱,Blackwell擁有6項革命性技術,可支持多達10萬億參數(shù)模型進行
    的頭像 發(fā)表于 09-04 09:10 ?3667次閱讀

    英偉震撼發(fā)布:全新AI模型參數(shù)規(guī)模躍升至80億量級

    8月23日,英偉宣布,其全新AI模型面世,該模型參數(shù)規(guī)模高達80億,具有精度高、計算效益大等優(yōu)勢,適用于GPU
    的頭像 發(fā)表于 08-23 16:08 ?1076次閱讀

    小鵬匯天獲1.5億美元B1輪融資,加速飛行汽車商業(yè)化進程

    小鵬匯天近日宣布成功完成1.5億美元的B1輪融資,并同步啟動B2輪融資計劃,標志著公司在飛行汽車領域的研發(fā)與商業(yè)化進程邁入新階段。此次融資不僅為小鵬匯天提供了堅實的資金保障,更將助力其加速推進飛行汽車的研發(fā)、規(guī)模量產及市場布局。
    的頭像 發(fā)表于 08-06 10:59 ?1301次閱讀

    蘿卜快跑爆火的背后,美格智能如何助力無人車商業(yè)化

    無人車商業(yè)化進程已經邁入加速賽,美格智能將繼續(xù)堅持研發(fā)投入,與產業(yè)伙伴共同構建面向智能汽車產業(yè)的新質生產力,助力無人車商業(yè)化加速發(fā)展!
    的頭像 發(fā)表于 07-16 16:39 ?770次閱讀

    蘿卜快跑爆火的背后,美格智能如何助力無人車商業(yè)化

    無人車商業(yè)化進程已經邁入加速賽,美格智能將繼續(xù)堅持研發(fā)投入,與產業(yè)伙伴共同構建面向智能汽車產業(yè)的新質生產力,助力無人車商業(yè)化加速發(fā)展!
    的頭像 發(fā)表于 07-16 16:37 ?1604次閱讀
    蘿卜快跑爆火的背后,美格智能如何助力無人車<b class='flag-5'>商業(yè)化</b>?

    ai模型ai框架的關系是什么

    AI模型AI框架是人工智能領域中兩個重要的概念,它們之間的關系密切且復雜。 AI模型的定義和特點
    的頭像 發(fā)表于 07-16 10:07 ?8.4w次閱讀

    如祺出行香港成功上市,加速自動駕駛商業(yè)化進程

    近日,廣汽集團旗下智慧出行平臺如祺出行在香港聯(lián)合交易所(聯(lián)交所)隆重舉行上市儀式,標志著其正式踏入資本市場的新征程,股票代碼定為09680.HK。這一里程碑事件不僅彰顯了如祺出行在出行服務領域的深厚積累與強勁實力,更為其未來在自動駕駛技術商業(yè)化道路上的加速奔跑注入了強大動
    的頭像 發(fā)表于 07-11 16:13 ?888次閱讀
    主站蜘蛛池模板: 久久www免费人成高清 | 国产AV一区二区三区传媒 | 一个人的免费完整在线观看HD | 男女交性视频无遮挡全过程 | 国内精品久久久久久久试看 | 国产亚洲精品成人a在线 | 日日操天天操夜夜操 | 国产AV精品一区二区三区漫画 | 正在播放一区二区 | 国产精品成人在线播放 | 亚洲精品久久无码AV片银杏 | 国产成人免费全部网站 | 国产无线乱码一区二三区 | 老师好爽你下面水好多视频 | 色婷婷综合久久久中文字幕 | 激情办公室 | 亚洲伊人精品综合在合线 | 国产成久久免费精品AV片天堂 | 国产深夜福利视频在线 | 竹菊影视一区二区三区 | 欧美成人中文字幕在线视频 | 约艺术院校96年清纯白嫩 | 亚洲AV精品无码国产一区 | 人人射人人爱 | 动漫女主被扒开双腿羞辱 | 一级无毛片 | 亚洲AV无码一区二区色情蜜芽 | 2020无码最新国产在线观看 | 人人做人人干 | 美国色情三级欧美三级纸匠情挑 | va亚洲va天堂va视频在线 | 久久伊人男人的天堂网站 | 达达兔午夜一级毛片 | 《乳色吐息》无删减版在线观看 | 秋秋影视午夜福利高清 | 夜色福利院在线看 | 国产精品久久自在自2021 | 色迷迷导航 | 99热这里只有精品6 99热这里只有精品 99热这里只有的精品 | 国产精品久久久久久久久LI无码 | 色综合伊人色综合网站中国 |

    電子發(fā)燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品