色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

自然語言處理范式正在變遷

jf_78858299 ? 來源: 李rumor ? 作者:車萬翔 ? 2023-02-22 11:17 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

最近幾天被OpenAI推出的ChatGPT[1]刷屏了,其影響已經不僅局限于自然語言處理(NLP)圈,就連投資圈也開始蠢蠢欲動了,短短幾天ChatGPT的用戶數就超過了一百萬。通過眾多網友以及我個人對其測試的結果看,ChatGPT的效果可以用驚艷來形容,具體結果我在此就不贅述了。不同于GPT-3剛推出時人們的反應,對ChatGPT大家發出更多的是贊嘆之詞。聊天、問答、寫作、編程等等,樣樣精通。因此也有人驚呼,“通用人工智能(AGI)即將到來”、“Google等傳統搜索引擎即將被取代”,所以也對傳說中即將發布的GPT-4更加期待。

從技術角度講,ChatGPT還是基于大規模預訓練語言模型(GPT-3.5)強大的語言理解和生成的能力,并通過在人工標注和反饋的大規模數據上進行學習,從而讓預訓練語言模型能夠更好地理解人類的問題并給出更好的回復。這一點上和OpenAI于今年3月份推出的InstructGPT[2]是一致的,即通過引入人工標注和反饋,解決了自然語言生成結果不易評價的問題,從而就可以像玩兒游戲一樣,利用強化學習技術,通過嘗試生成不同的結果并對結果進行評分,然后鼓勵評分高的策略、懲罰評分低的策略,最終獲得更好的模型。

不過說實話,我當時并不看好這一技術路線,因為這仍然需要大量的人工勞動,本質上還是一種“人工”智能。不過ChatGPT通過持續投入大量的人力,把這條路走通了,從而更進一步驗證了那句話,“有多少人工,就有多少智能”。

不過,需要注意的是,ChatGPT以及一系列超大規模預訓練語言模型的成功將為自然語言處理帶來 新的范式變遷 ,即從以BERT為代表的 預訓練+精調 (Fine-tuning)范式,轉換為以GPT-3為代表的 預訓練+提示 (Prompting)的范式[3]。所謂提示,指的是通過構造自然語言提示符(Prompt),將下游任務轉化為預訓練階段的語言模型任務。例如,若想識別句子“我喜歡這部電影?!钡那楦袃A向性,可以在其后拼接提示符“它很 ”。如果預訓練模型預測空格處為“精彩”,則句子大概率為褒義。這樣做的好處是無需精調整個預訓練模型,就可以調動模型內部的知識,完成“任意”的自然語言處理任務。當然,在ChatGPT出現之前,這種范式轉變的趨勢并不明顯,主要有兩個原因:

第一,GPT-3級別的大模型基本都掌握在大公司手里,因此學術界在進行預訓練+提示的研究時基本都使用規模相對比較小的預訓練模型。由于規模規模不夠大,因此預訓練+提示的效果并不比預訓練+精調的效果好。而只有當模型的規模足夠大后,才會涌現(Emerge)出“智能”[4]。最終,導致之前很多在小規模模型上得出的結論,在大規模模型下都未必適用了。

第二,如果僅利用預訓練+提示的方法,由于預訓練的語言模型任務和下游任務之間差異較大,導致這種方法除了擅長續寫文本這種預訓練任務外,對其他任務完成得并不好。因此,為了應對更多的任務,需要在下游任務上繼續預訓練(也可以叫預精調),而且現在的趨勢是在眾多的下游任務上預精調大模型,以應對多種、甚至未曾見過的新任務[5]。所以更準確地說,預訓練+預精調+提示將成為自然語言處理的新范式。

不同于傳統預訓練+精調范式,預訓練+預精調+提示范式將過去一個自然語言處理模型擅長處理一個具體任務的方式,轉換為了用一個模型處理多個任務,甚至未曾見過的通用任務的方式。所以從這個角度來講,通用人工智能也許真的即將到來了。這似乎也和我幾年前的預測相吻合,我當時曾預測,“結合自然語言處理歷次范式變遷的規律(圖1),2018年預訓練+精調的范式出現之后5年,即2023年自然語言處理也許將迎來新的范式變遷”。

圖片

那么,接下來如何進一步提升預訓練+預精調+提示新范式的能力,并在實際應用中將其落地呢?

首先,顯式地利用人工標注和反饋仍然費時費力,我們應該設法更自然地獲取并利用人類的反饋。也就是在實際應用場景中,獲取真實用戶的自然反饋,如其回復的語句、所做的行為等,并利用這些反饋信息提升系統的性能,我們將這種方式稱為 交互式自然語言處理 。不過用戶的交互式反饋相對稀疏,并且有些用戶會做出惡意的反饋,如何克服稀疏性以及避免惡意性反饋都將是亟待解決的問題。

其次,目前該范式生成的自然語言文本具有非常好的流暢性,但是經常會出現事實性錯誤,也就是會一本正經地胡說八道。當然,使用上面的交互式自然語言處理方法可以一定程度上解決此類問題,不過對于用戶都不知道答案的問題,他們是無法對結果進行反饋的。此時又回到了可解釋性差,這一深度學習模型的老問題上。如果能夠像寫論文時插入參考文獻一樣,在生成的結果中插入相關信息的出處,則會大大提高結果的可解釋性。

最后,該范式依賴超大規模預訓練語言模型,然而這些模型目前只掌握在少數的大公司手中,即便有個別開源的大模型,由于其過于龐大,小型公司或研究組也無法下載并使用它們。所以,在線調用是目前使用這些模型最主要的模式。在該模式下,如何針對不同用戶面對的不同任務,使用用戶私有的數據對模型進行進一步預精調,并且不對公有的大模型造成影響,成為該范式實際應用落地所迫切需要解決的問題。此外,為了提高系統的運行速度,如何通過在線的大模型獲得離線的小模型,并且讓離線小模型保持大模型在某些任務上的能力,也成為模型能實際應用的一種解決方案。

未來已來,讓我們共同期待!

注:有幸在車老師的朋友圈學習到了他對于最近ChatGPT的一些見解,征得老師同意后分享給大家,轉載請注明作者。

參考文獻:

[1] https://chat.openai.com/

[2] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe. Training language models to follow instructions with human feedback. https://arxiv.org/abs/2203.02155

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • nlp
    nlp
    +關注

    關注

    1

    文章

    490

    瀏覽量

    22630
  • OpenAI
    +關注

    關注

    9

    文章

    1210

    瀏覽量

    8944
  • ChatGPT
    +關注

    關注

    29

    文章

    1590

    瀏覽量

    9121
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    python自然語言

    最近,python自然語言是越來越火了,那么什么是自然語言自然語言(Natural Language )廣納了眾多技術,對自然或人類語言
    發表于 05-02 13:50

    自然語言處理怎么最快入門?

    `本文整理自知乎上的一個問答,分享給正在學習自然語言處理的朋友們!一、自然語言處理是什么?
    發表于 11-28 10:02

    【推薦體驗】騰訊云自然語言處理

    `相信大家對NLP自然語言處理的技術都不陌生,它是計算機科學領域和AI領域中的一個分支,它與計算機和人類之間使用自然語言進行交互密切相關,而NLP的最終目標是使計算機能夠像人類一樣理解語言
    發表于 10-09 15:28

    自然語言處理的分詞方法

    自然語言處理——75 自動分詞基本算法
    發表于 03-19 11:46

    自然語言處理語言模型

    自然語言處理——53 語言模型(數據平滑)
    發表于 04-16 11:11

    自然語言處理的詞性標注方法

    自然語言處理——78 詞性標注方法
    發表于 04-21 11:38

    自然語言處理筆記

    自然語言處理筆記9-哈工大 關毅
    發表于 06-04 16:34

    自然語言處理——總結、習題

    自然語言處理——79 總結、習題
    發表于 06-19 11:22

    什么是自然語言處理

    會識別出我們正確說的話。 我們使用免費服務將在線遇到的外語短語翻譯成英語, 有時它們可以為我們提供準確的翻譯。 盡管自然語言處理取得了長足的進步,但仍有很大的改進空間。[理...
    發表于 07-23 10:22

    什么是自然語言處理

    什么是自然語言處理自然語言處理任務有哪些?自然語言處理的方法是什么?
    發表于 09-08 06:51

    什么是自然語言處理_自然語言處理常用方法舉例說明

    自然語言處理是計算機科學領域與人工智能領域中的一個重要方向。它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。自然語言處理
    發表于 12-28 16:56 ?1.8w次閱讀
    什么是<b class='flag-5'>自然語言</b><b class='flag-5'>處理</b>_<b class='flag-5'>自然語言</b><b class='flag-5'>處理</b>常用方法舉例說明

    自然語言處理怎么最快入門_自然語言處理知識了解

    自然語言處理就是實現人機間自然語言通信,實現自然語言理解和自然語言生成是十分困難的,造成困難的根本原因是
    發表于 12-28 17:10 ?5415次閱讀

    自然語言處理的概念和應用 自然語言處理屬于人工智能嗎

      自然語言處理(Natural Language Processing)是一種人工智能技術,它是研究自然語言與計算機之間的交互和通信的一門學科。自然語言
    發表于 08-23 17:31 ?2203次閱讀

    自然語言處理和人工智能的概念及發展史 自然語言處理和人工智能的區別

    自然語言處理(Natural Language Processing, NLP)的定義是通過電腦軟件程序實現人們日常語言的機器自動處理。為了幫助計算機理解,掌握
    發表于 08-23 18:22 ?1452次閱讀

    自然語言處理包括哪些內容

    自然語言處理(Natural Language Processing,簡稱NLP)是人工智能領域的一個重要分支,它涉及到計算機與人類語言之間的交互。NLP的目標是讓計算機能夠理解、生成和處理
    的頭像 發表于 07-03 14:15 ?1911次閱讀
    主站蜘蛛池模板: 蜜芽国产在线精品欧美 | 午夜阳光影院在线观看视频 | 中文无码有码亚洲 欧美 | 亚洲无码小格式 | 青青青国产依人精品视频 | 羞羞漫画在线播放 | 日韩黄色免费 | 欧美精品成人久久网站 | 欧美成人中文字幕在线视频 | 亚洲在线2018最新无码 | 狠狠躁日日躁人人爽 | 两性色午夜视频免费国产 | 亚洲精品第五页中文字幕 | 亚洲成人在线免费 | 奇米精品一区二区三区在线观看 | 一区精品在线 | 极品 女神校花 露脸91 | 精品视频在线观看视频免费视频 | 午夜婷婷一夜七次郎 | 偷偷鲁手机在线播放AV | 国产精品 中文字幕 亚洲 欧美 | 中文字幕一区久久久久 | 国产成人片视频一区二区青青 | 边做边爱免费视频 | 日韩亚洲欧洲在线rrrr片 | 99亚偷拍自图区亚洲 | 全黄h全肉细节文在线观看 全黄H全肉细节文短篇 | 台湾佬休闲中性娱乐网 | 在线精品国精品国产不卡 | 一本之道高清www在线观看 | 校花爽好大快深点h | 秋霞鲁丝片Av无码 | 亚洲国产在线视频中文字 | asmr淫语 | 欧美97色伦影院在线观看 | 超碰 无码 中文字幕 | 欧美一区二区视频97色伦 | 国产嫩草影院精品免费网址 | 花蝴蝶高清影视视频在线播放 | 国产成A人片在线观看 | 久艾草在线精品视频在线观看 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品