為什ChatGPT這么火,ChatGPT優(yōu)勢(shì)是什么怎么體驗(yàn)

為什ChatGPT這么火，他的優(yōu)勢(shì)是什么？ChatGPT 也是創(chuàng)業(yè)公司和企業(yè)家應(yīng)該已經(jīng)知道的事情的最佳表達(dá)：生成人工智能的淘金熱將由開發(fā)新穎的、防御性的業(yè)務(wù)驅(qū)動(dòng)，圍繞它的出現(xiàn)方式，而不是引擎蓋下的內(nèi)容。

對(duì)于那些在該領(lǐng)域從事大量重點(diǎn)工作的人來說，這可能不是什么秘密，但是當(dāng)涉及到生成 AI 時(shí)，很快就會(huì)發(fā)現(xiàn)，用戶與生成模型和系統(tǒng)的交互方式至少與底層訓(xùn)練和推理同樣重要技術(shù)。最新的，也是我認(rèn)為最好的例子，來自 OpenAI 的ChatGPT，它作為免費(fèi)研究預(yù)覽發(fā)布，任何人都可以在本周試用。（PS:大家想體驗(yàn)一下可以下載這款軟件玩玩）

如果您還沒有看到圍繞 ChatGPT 的熱議，它基本上是他們新的 GPT-3.5 自然語言生成技術(shù)的實(shí)現(xiàn)，但實(shí)現(xiàn)方式是您只需在網(wǎng)絡(luò)瀏覽器中與它聊天，就好像您在偷懶一樣同事或與網(wǎng)站上的客戶支持代理互動(dòng)。

OpenAI 已經(jīng)憑借其 DALL-E 圖像生成技術(shù)掀起了波瀾，其 GPT 系列在每次連續(xù)發(fā)布時(shí)都引起了人們的關(guān)注（偶爾也會(huì)引起作者的生存恐懼）。但最新的聊天式迭代似乎擴(kuò)大了它的吸引力和受眾，在某些方面將對(duì)話從“哇，本科生將使用它來提交糟糕但可行的學(xué)期論文”轉(zhuǎn)變?yōu)椤巴?，這實(shí)際上可以幫助我調(diào)試代碼我打算投入生產(chǎn)?！?/span>

到目前為止的例子似乎表明，它實(shí)際上在術(shù)語紙上做得更好，但在避免 AI 聊天機(jī)器人的一些典型陷阱（包括將錯(cuò)誤信息作為事實(shí)呈現(xiàn)）方面，它仍有工作要做。但顯然它的參與度很高，人們對(duì) ChatGPT 的印象似乎比對(duì) GPT-3 的印象更深刻，至少（盡管這部分是因?yàn)樗且粋€(gè)新版本，具有改進(jìn)的核心推理技術(shù)以及新的交互范式）。

我自己的例子來說明為什么我認(rèn)為它如此強(qiáng)大是及時(shí)的，如果平凡的話：我要求 ChatGPT 為我提供所有各種神奇寶貝類型的優(yōu)點(diǎn)和缺點(diǎn)，它提供的正是我一直希望每次我進(jìn)入 Tera Raid 時(shí)谷歌都會(huì)提供的東西在新的 Pokémon Scarlet 游戲中，必須嘗試記住什么反制什么。

也就是說：請(qǐng)注意，我對(duì)我的查詢一點(diǎn)也不感興趣；它盡可能簡(jiǎn)單，同時(shí)仍然清楚我的要求。結(jié)果正是我要找的東西——而不是一個(gè)列表，如果我愿意投入時(shí)間，這些東西可能會(huì)幫助我找到我正在尋找的東西。

像 OpenAI 的 ChatGPT 這樣的東西最終取代像谷歌這樣的搜索引擎的潛力并不是一個(gè)新想法，但是 OpenAI 的底層技術(shù)的交付是迄今為止最接近于它在一個(gè)完全充實(shí)的系統(tǒng)中實(shí)際工作的方式，它應(yīng)該有谷歌害怕。

我們使用與InstructGPT相同的方法，使用來自人類反饋的強(qiáng)化學(xué)習(xí) (RLHF) 來訓(xùn)練該模型，但數(shù)據(jù)收集設(shè)置略有不同。我們使用監(jiān)督微調(diào)訓(xùn)練了一個(gè)初始模型：人類 AI 訓(xùn)練員提供對(duì)話，他們?cè)趯?duì)話中扮演雙方——用戶和 AI 助手。我們讓培訓(xùn)師可以訪問模型編寫的建議，以幫助他們撰寫回復(fù)。我們將這個(gè)新的對(duì)話數(shù)據(jù)集與 InstructGPT 數(shù)據(jù)集混合，我們將其轉(zhuǎn)換為對(duì)話格式。

為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)模型，我們需要收集比較數(shù)據(jù)，其中包含兩個(gè)或多個(gè)按質(zhì)量排序的模型響應(yīng)。為了收集這些數(shù)據(jù)，我們收集了 AI 培訓(xùn)師與聊天機(jī)器人的對(duì)話。我們隨機(jī)選擇了一條模型編寫的消息，抽取了幾個(gè)備選的完成方式，并讓 AI 培訓(xùn)師對(duì)它們進(jìn)行排名。使用這些獎(jiǎng)勵(lì)模型，我們可以使用近端策略優(yōu)化來微調(diào)模型。我們對(duì)這個(gè)過程進(jìn)行了幾次迭代。

限制

ChatGPT 有時(shí)會(huì)寫出看似合理但不正確或荒謬的答案。解決這個(gè)問題具有挑戰(zhàn)性，因?yàn)?/span>

（1）在 RL 訓(xùn)練期間，目前沒有真實(shí)來源；

（2）訓(xùn)練模型更加謹(jǐn)慎導(dǎo)致它拒絕可以正確回答的問題；

（3）監(jiān)督訓(xùn)練會(huì)誤導(dǎo)模型，因?yàn)槔硐氲拇鸢溉Q于模型知道什么，而不是人類演示者知道什么。

ChatGPT 對(duì)輸入措辭的調(diào)整或多次嘗試相同的提示很敏感。例如，給定一個(gè)問題的措辭，模型可以聲稱不知道答案，但只要稍作改寫，就可以正確回答。

該模型通常過于冗長(zhǎng)并過度使用某些短語，例如重申它是 OpenAI 訓(xùn)練的語言模型。這些問題源于訓(xùn)練數(shù)據(jù)的偏差（訓(xùn)練者更喜歡看起來更全面的更長(zhǎng)答案）和眾所周知的過度優(yōu)化問題。

理想情況下，當(dāng)用戶提供模棱兩可的查詢時(shí)，模型會(huì)提出澄清問題。相反，我們當(dāng)前的模型通常會(huì)猜測(cè)用戶的意圖。

雖然我們已努力使模型拒絕不當(dāng)請(qǐng)求，但它有時(shí)會(huì)響應(yīng)有害指令或表現(xiàn)出有偏見的行為。我們正在使用Moderation API來警告或阻止某些類型的不安全內(nèi)容，但我們預(yù)計(jì)它目前會(huì)有一些漏報(bào)和漏報(bào)。我們渴望收集用戶反饋，以幫助我們正在進(jìn)行的改進(jìn)該系統(tǒng)的工作。