ChatGPT以及其對(duì)汽車有什么影響？

ChatGPT可以做什么？可以取代Jack寫文章，通過Jack過去文章的學(xué)習(xí)，AI可以總結(jié)出Jack寫文章的結(jié)構(gòu)和套路。之后可以輸入文章的核心以及相關(guān)數(shù)據(jù)，他可以快速形成Jack的文章；可以取代Jack上班做PPT，特別是匯報(bào)總結(jié)類的PPT，它都可以快速形成。

這是真的，顯然ChatGPT這類通用AI大模型未來可以顛覆很多東西。那么對(duì)于ChatGPT這類技術(shù)還真應(yīng)該了解。

所以本文結(jié)合相關(guān)信息，進(jìn)行總結(jié)

什么是ChatGPT，他能夠干什么？

ChatGPT背后的技術(shù)是什么？

ChatGPT當(dāng)前有什么局限性？

ChatGPT國(guó)內(nèi)外有哪些同類產(chǎn)品？

ChatGPT對(duì)于汽車技術(shù)有什么影響？

幫助自我認(rèn)知學(xué)習(xí)，也希望能夠給大家?guī)硪恍┬畔⒑蛦l(fā)。

什么是ChatGPT，他能夠干什么？

ChatGPT，首先回歸它英語的意思Chat就是聊天，GPT是Generative Pre－trained Transformer的縮寫，翻譯成生成式預(yù)先訓(xùn)練的Transformer，Transformer是完全基于自注意力機(jī)制的一個(gè)深度學(xué)習(xí)模型。所以ChatGPT是可以聊天的生成式的、預(yù)先訓(xùn)練好的算法模型。它屬于當(dāng)前火熱的生成式AI人工智能模型，也就是AI生成人類內(nèi)容。

ChatGPT對(duì)于普通的使用者是一種人工智能聊天機(jī)器人，當(dāng)前主要基于文字聊天，它使用高級(jí)自然語言處理（NLP） 與人類進(jìn)行逼真的對(duì)話。目前ChatGPT 可以生成文章、虛構(gòu)故事、詩歌甚至計(jì)算機(jī)代碼。ChatGPT 還可以回答問題、參與對(duì)話，在某些情況下，還可以對(duì)非常具體的問題和查詢提供詳細(xì)的答復(fù)。

其實(shí)聊天機(jī)器人可不算什么新鮮玩意，它通過關(guān)鍵詞搜索技術(shù)，然后匹配回答，這個(gè)在我們?nèi)粘Ｉ钪泻艹Ｒ姡热缯f亞馬遜的Alexa，蘋果的SIRI，天貓精靈，百度小度等等還有不少在線客服，甚至我們熟悉的汽車語言控制《汽車AI智能語音101及其供應(yīng)鏈》，他們主要是基于任務(wù)的命令式語音助手。但是ChatGPT確是采用更加精致的大數(shù)據(jù)訓(xùn)練模型，應(yīng)用范圍更廣，可以集成到各種應(yīng)用中。

ChatGPT 有別于其他聊天機(jī)器人和 NLP 系統(tǒng)的一件事是其超現(xiàn)實(shí)的對(duì)話技巧，包括提出后續(xù)問題、承認(rèn)錯(cuò)誤和指出主題細(xì)微差別的能力。在許多情況下，基本上如果不是告訴你，人類是很難檢測(cè)到自己是正在與計(jì)算機(jī)生成的機(jī)器人進(jìn)行交互。語法和語法錯(cuò)誤很少見，書面結(jié)構(gòu)合乎邏輯且清晰。

ChatGPT 的一些功能包括：

·生成模仿輸入數(shù)據(jù)的樣式和結(jié)構(gòu)的類人文本

·生成對(duì)給定提示或輸入文本的響應(yīng)。這可能包括寫故事或回答問題。

·生成多種語言的文本

·修改生成文本的樣式（例如，正式或非正式）

·提出澄清問題以更好地理解輸入數(shù)據(jù)的意圖

·回復(fù)與對(duì)話上下文一致的文本，例如提供后續(xù)說明或理解對(duì)先前問題的引用

其他生成式 AI 模型可以對(duì)圖像、聲音和視頻執(zhí)行類似的任務(wù)。

另外ChatGPT可以進(jìn)行微調(diào)訓(xùn)練：通過在較小的相關(guān)數(shù)據(jù)集上進(jìn)行訓(xùn)練，使 LLM 適應(yīng)特定任務(wù)或領(lǐng)域的過程，這也是ChatGPT目前拓展的商業(yè)模式，某個(gè)細(xì)分領(lǐng)域的應(yīng)用例如專業(yè)的法律顧問，專業(yè)的汽車智庫專家。

ChatGPT背后的技術(shù)是什么？

ChatGPT 是 OpenAI 的最新語言模型NLP（Natural language processing），它是基于大型語言模型LLM（Large Language Model ）模型GPT－3 加上使用監(jiān)督學(xué)習(xí)和人類反饋強(qiáng)化學(xué)習(xí) RLHF（Reinforcement Learning from Human Feedback） 的特殊技術(shù)來微調(diào) ChatGPT形成。

其中三個(gè)技術(shù)關(guān)鍵詞

NLP（Natural language processing）自然語音處理

LLM（Large Language Model ）大型語言模型

RLHF（Reinforcement Learning from Human Feedback） 人類反饋中的強(qiáng)化學(xué)習(xí)

NLP自然語言處理，就是人類語言與計(jì)算機(jī)之間的交互，范圍比較大例如之前《汽車AI智能語音101及其供應(yīng)鏈》大概分享過。NLP領(lǐng)域流行的技術(shù)是深度學(xué)習(xí)模型，主要依托于以下幾項(xiàng)關(guān)鍵技術(shù)：魔改的LSTM模型及少量的改進(jìn)CNN模型，RNN作為典型的特征抽取器；以Sequence to Sequence（或叫encoder－decoder亦可）＋Attention作為各種具體任務(wù)典型的總體技術(shù)框架。

LLM大型語言模型，就是目前ChatGPT所屬的模型，是人工智能的一個(gè)子集，顧名思義“大“，就是海量數(shù)據(jù)，它已經(jīng)在大量文本數(shù)據(jù)（例如ChatGPT的拓展基礎(chǔ)ChatGPT3．0 的數(shù)據(jù)背后是整個(gè)互聯(lián)網(wǎng)和幾百萬本書大概3千億文字）上進(jìn)行了訓(xùn)練，可以對(duì)對(duì)話或其他自然語言輸入產(chǎn)生類似人類的反應(yīng)。

它的主要關(guān)鍵技術(shù)點(diǎn)是：

詞嵌入：LLM 中使用的一種算法，以數(shù)字形式表示詞的含義，以便將其輸入 AI 模型并由其處理，通過將單詞映射到高維空間中的向量來實(shí)現(xiàn)的，其中具有相似含義的單詞靠得更近。

注意機(jī)制：LLM 中使用的一種算法，它使 AI 在生成輸出時(shí)能夠?qū)Ｗ⒂谳斎胛谋镜奶囟ú糠?，例如文本中與情感相關(guān)的詞。這樣使LLM 考慮給定輸入的上下文或情緒，從而產(chǎn)生更連貫和準(zhǔn)確的響應(yīng)。

Transformers：LLM 研究中流行的一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，它使用自注意力機(jī)制來處理輸入數(shù)據(jù)，從而使它們能夠有效地捕獲人類語言中的長(zhǎng)期依賴關(guān)系。Transformer 經(jīng)過訓(xùn)練可以分析輸入數(shù)據(jù)的上下文，并相應(yīng)地對(duì)數(shù)據(jù)的每一部分的重要性進(jìn)行加權(quán)。由于這種類型的模型學(xué)習(xí)上下文，它通常用于自然語言處理 （NLP）以生成類似于人類書寫的文本。

由于它的注意力機(jī)制它比之前的RNN《AI 之循環(huán)神經(jīng)網(wǎng)絡(luò) RNN 簡(jiǎn)介 ＿ MIT中英字幕版》，GRU 和 LSTM等深度學(xué)習(xí)算法具有極長(zhǎng)的記憶力，Transformer可以“參與”或“關(guān)注”之前生成的所有令牌。理論上，注意力機(jī)制在提供足夠的計(jì)算資源的情況下，有一個(gè)無限的窗口可供參考，因此能夠在生成文本時(shí)使用故事的整個(gè)上下文。

大型語言模型（例如 GPT－3）根據(jù)來自互聯(lián)網(wǎng)的大量文本數(shù)據(jù)進(jìn)行訓(xùn)練，能夠生成類似人類的文本，事實(shí)上，他們的目標(biāo)函數(shù)是單詞序列（或標(biāo)記序列）的概率分布，使他們能夠預(yù)測(cè)序列中的下一個(gè)單詞是什么（下面有更多詳細(xì)信息），所以它們可能并不總是產(chǎn)生與人類期望或理想值一致的輸出。

然而，在實(shí)際應(yīng)用中，LLM模型訓(xùn)練的目的是執(zhí)行某種形式的有價(jià)值的認(rèn)知工作，并且這些模型的訓(xùn)練方式與我們希望使用它們的方式之間存在明顯差異。盡管從數(shù)學(xué)上講，機(jī)器計(jì)算出的單詞序列的統(tǒng)計(jì)分布可能是對(duì)語言建模的一種非常有效的選擇，但作為人類，我們通過選擇最適合給定情況的文本序列來生成語言，并使用我們的背景知識(shí)和常識(shí)來指導(dǎo)這個(gè)流程。當(dāng)語言模型用于需要高度信任或可靠性的應(yīng)用程序（例如對(duì)話系統(tǒng)或智能個(gè)人助理）時(shí)，LLM的表現(xiàn)的問題就有：

·缺少幫助：不遵循用戶的明確指示。

·幻覺：模型編造了不存在的或錯(cuò)誤的事實(shí)。

·缺乏可解釋性：人類無法理解它是如何做出特定決定或預(yù)測(cè)的。

·生成有偏見或有害的輸出：在有偏見／有害的數(shù)據(jù)上訓(xùn)練的語言模型可能會(huì)在其輸出中重現(xiàn)該結(jié)果。

但 ChatGPT 的創(chuàng)建者究竟是如何利用人類反饋來解決對(duì)齊問題的呢？這時(shí)就需要對(duì)LLM進(jìn)行RLHF（Reinforcement Learning from Human Feedback） 人類反饋中的強(qiáng)化學(xué)習(xí)。

該方法總體上由三個(gè)不同的步驟組成：

·有監(jiān)督的微調(diào)步驟：首先類似于自動(dòng)駕駛標(biāo)記，先人工標(biāo)記者寫下預(yù)期的輸出響應(yīng)去訓(xùn)練LLM例如ChatGPT就是微調(diào)GPT－3．5 系列。但是顯然人工標(biāo)記成本很高，也聽說Open AI資本投資不少在這個(gè)方面，所以監(jiān)督學(xué)習(xí)步驟的可擴(kuò)展性成本很高。

·“模仿人類偏好”步驟：這個(gè)階段人工標(biāo)記者被要求對(duì)相對(duì)大量的 SFT 模型輸出進(jìn)行投票，這樣就創(chuàng)建了一個(gè)由比較數(shù)據(jù)組成的新數(shù)據(jù)集。在此數(shù)據(jù)集上訓(xùn)練了一個(gè)新模型。這稱為獎(jiǎng)勵(lì)模型 （RM）。對(duì)于貼標(biāo)機(jī)來說，對(duì)輸出進(jìn)行排序比從頭開始生產(chǎn)要容易得多，這個(gè)過程可以更有效地?cái)U(kuò)大規(guī)模。

·Proximal Policy Optimization （PPO） 步驟：它是獎(jiǎng)勵(lì)模型用于進(jìn)一步微調(diào)和改進(jìn) SFT 模型的步驟，這一步的結(jié)果就是所謂的政策模型，會(huì)根據(jù)代理正在采取的行動(dòng)和收到的獎(jiǎng)勵(lì)不斷調(diào)整當(dāng)前策略，而且它將策略的變化限制在與先前策略的一定距離內(nèi)。

所以在基于人工標(biāo)注者輸入的基礎(chǔ)上進(jìn)行不斷強(qiáng)化的訓(xùn)練，本質(zhì)上他們賦予了ChatGPT的回答。有了RLHF人類反饋中的強(qiáng)化學(xué)習(xí)，ChatGPT在訓(xùn)練循環(huán)中使用人類反饋來最大限度地減少有害、不真實(shí)和／或有偏見的輸出。

當(dāng)然有了算法，還需要儲(chǔ)存處理數(shù)據(jù)和運(yùn)算處理的計(jì)算中心，ChatGPT背后的計(jì)算中心是微軟的Azure云計(jì)算中心。

ChatGPT的局限性

那么如此強(qiáng)大的ChatGPT的局限性在熟悉了它背后的核心技術(shù)之后可能就明白了，它是基于人類語言文字超大數(shù)據(jù)積累訓(xùn)練而來，它無法具備思維和創(chuàng)新，主要是基于過去被訓(xùn)練的數(shù)據(jù)組合而來。

另外對(duì)于準(zhǔn)確性來講，當(dāng)前使語言模型更準(zhǔn)確的兩個(gè)核心相關(guān)的功能：

·LLM 從外部來源檢索信息的能力。

·LLM 為他們提供的信息提供參考和引用的能力。

所以ChatGPT的答案僅限于已經(jīng)存儲(chǔ)在其訓(xùn)練的信息中，例如我們現(xiàn)在用的ChatGPT就是基于2021年之前的網(wǎng)絡(luò)數(shù)據(jù)以及相關(guān)書本知識(shí)進(jìn)行學(xué)習(xí)訓(xùn)練的。在其靜態(tài)權(quán)重中捕獲。（這就是為什么它無法討論 2021 年之后發(fā)生的事件，當(dāng)時(shí)模型已經(jīng)過訓(xùn)練。），如果能夠從外部來源獲取信息將使 LLM 能夠訪問最準(zhǔn)確和最新的可用信息，即使當(dāng)該信息經(jīng)常變化時(shí)（例如，公司的股票價(jià)格），但顯然目前不行。

另外就是人工強(qiáng)化訓(xùn)練的人工標(biāo)注者賦予的微調(diào)，也是當(dāng)前ChatGPT的局限所在，首先ChatGPT擺脫不了人工標(biāo)注者的影子例如立場(chǎng)，偏好等。

ChatGPT國(guó)內(nèi)外有哪些同類產(chǎn)品？

那么類似于ChatGPT是不是就一枝獨(dú)秀？其他人都沒有此類產(chǎn)品？其實(shí)如上文講到ChatGPT屬于LLM大型語言模型一種，大型語言模型其實(shí)在很多互聯(lián)網(wǎng)公司都有，至于為什么是新勢(shì)力Open AI先釋放引起轟動(dòng)，其實(shí)對(duì)于傳統(tǒng)勢(shì)力來講最怕犯錯(cuò)，所以給了新勢(shì)力勇敢試錯(cuò)的機(jī)會(huì)。

其實(shí)國(guó)外著名的語言模型除了來自 OpenAI的GPT－3 、還有：

·Google的PaLM或LaMDA

·meta 的Galactica或OPT

·Nvidia／Microsoft 的Megatron－Turing、

·AI21 Labs 的Jurassic－1

當(dāng)然除了以上國(guó)外的Amazon、Microsoft、GitHub、Apple、IBM等也構(gòu)建了提供不同特性和功能的自然語言處理框架。其中包括數(shù)字助理、預(yù)測(cè)編碼工具和聊天機(jī)器人，也包含大型語言模型。

國(guó)內(nèi)的Baidu已投入開發(fā)類似ChatGPT的相關(guān)技術(shù)，該項(xiàng)目名字確定為文心一言，英文名ERNIE Bot，3月份完成內(nèi)測(cè)后面向公眾開放。目前，文心一言在做上線前的沖刺。

阿里巴巴，根據(jù)其內(nèi)部一名資深技術(shù)專家爆料，阿里達(dá)摩院正在研發(fā)類ChatGPT的對(duì)話機(jī)器人，目前已開放給公司內(nèi)員工測(cè)試。

另外人工智能聊天軟件在國(guó)內(nèi)各大應(yīng)用平臺(tái)上并不陌生，如微信官方的小冰，字節(jié)跳動(dòng)旗下的猜猜，騰訊的DOGE，訊飛語音小秘書，圖靈機(jī)器人等。但這些都不具備如ChatGPT的人工智能效應(yīng)，大多數(shù)并未達(dá)到良好的用戶體驗(yàn)。但現(xiàn)今有了ChatGPT的成功案例，估計(jì)會(huì)引發(fā)一波國(guó)內(nèi)語言聊天軟件和硬件的升級(jí)。

但算法的差距，有國(guó)內(nèi)某技術(shù)大佬說，中國(guó)和國(guó)外相差兩年以上。

ChatGPT對(duì)于汽車技術(shù)有什么影響？

那么對(duì)于，我們熟悉的汽車行業(yè)呢？ChatGPT對(duì)于汽車產(chǎn)品和技術(shù)有什么影響？先問問萬能的ChatGPT。

首先從產(chǎn)品上來講，改變語音控制，改變汽車語音助手可能是最快和最直接的方式了，大模型下的語言訓(xùn)練，可以通過微調(diào)進(jìn)入汽車領(lǐng)域用于汽車語音識(shí)別系統(tǒng)，幫助駕駛員實(shí)現(xiàn)語音控制，如語音導(dǎo)航，電話，音樂等。

最典型的有通用的安吉星服務(wù)，未來恐怕只需要ChatGPT了。另外座艙語音助手可能兼容座艙控制和聊天服務(wù)，變得更加智能和人性化聊天，達(dá)到我之前座艙文章《智能座艙系列文一，他到底是什么？》中描述的更加懂人類。

之后從汽車客戶服務(wù)上來講，幫助提供快速，準(zhǔn)確和個(gè)性化的客戶服務(wù)，從而提高客戶滿意度。以后的客服電話恐怕都會(huì)快速向ChatGPT類似方案靠攏。

所以，從產(chǎn)品應(yīng)用上來講，ChatGPT短期內(nèi)催生汽車語言控制的升級(jí)，催生更加智能的語言助手。產(chǎn)品開發(fā)流程上來講可能催生車企內(nèi)部的知識(shí)流程積累。

從產(chǎn)品服務(wù)上來講，ChatGPT短期內(nèi)會(huì)改變售前售后的客服方式，長(zhǎng)期可能也改變售后維修診斷方式。

至于對(duì)于汽車技術(shù)的影響，以語言算法Transformer為基礎(chǔ)的ChatGPT獲得了極大的轟動(dòng)，那么無疑給基于視覺算法為基礎(chǔ)的智能駕駛一劑強(qiáng)心劑，畢竟當(dāng)前智能駕駛的圖像算法很多是借鑒自更前一步的語言算法。例如Transformer最早被特斯拉應(yīng)用在其智能駕駛上，目前基本上國(guó)內(nèi)所有智能駕駛的算法都在朝這個(gè)方向跑。

總結(jié)

最后meta AI 負(fù)責(zé)人楊立昆Yann LeCun近日表示：“就底層技術(shù)而言，ChatGPT 并沒有特別的創(chuàng)新。這不是革命性的，盡管這是公眾對(duì)它的看法。只是，你知道，它組合得很好，做得很好?！?/p>

AI人工智能的底層三大件，數(shù)據(jù)，算力，算法的發(fā)展給ChatGPT的出現(xiàn)提供了爆發(fā)的基礎(chǔ)，Open AI 將它組合的很好，不但是算法而且還包括了算力，數(shù)據(jù)。

數(shù)據(jù)方面，互聯(lián)網(wǎng)的幾十年高速發(fā)展，積累了海量人類的文本。

算力方面，計(jì)算機(jī)技術(shù)的發(fā)展，從芯片的制程到類似Chiplet《中國(guó)智能汽車芯片的新希望 － Chiplet》，等助力AI芯片蓬勃發(fā)展。

算法，從神經(jīng)元算法起步，到Transformer 等各類算法的爐火純青的應(yīng)用。

所以AI底層三大件的發(fā)展，一定會(huì)催生出更多類似于ChatGPT的通用人工智能應(yīng)用，但我們更應(yīng)該關(guān)注底層三大件的發(fā)展，未來數(shù)據(jù)類似于寶藏和礦產(chǎn)，例如Jack的文章就是私人數(shù)據(jù)和寶藏，一定可以微調(diào)一個(gè)數(shù)據(jù)模型用來套任何課題；芯片算力，成了決勝AI的大器，沒有芯片那么數(shù)據(jù)礦產(chǎn)無法挖掘；算法，猶如礦藏提純配方。

未來做好AI三大件的工作，才能在AI時(shí)代贏得紅利。

參考文章以及圖片

1．Training language models to follow instructions with human feedback － Long Ouyang等

2．DistilBERT， a distilled version of BERT： smaller， faster， cheaper and lighter － Victor SANH等

＊未經(jīng)準(zhǔn)許嚴(yán)禁轉(zhuǎn)載和摘錄

       原文標(biāo)題 : ChatGPT以及其對(duì)汽車有什么影響？