文心一言發布，復刻ChatGPT的5個條件+信念

下午看了文心一言的發布會。

李彥宏提前打好預防針，說得很實在：爲什么今天要發布？因爲有市場需求，客戶和合作夥伴都在催。

看來這次發布確實是爲了迎合市場需求，頂着壓力被迫發布。從發布會謙虛低調的態度看，李彥宏和百度工程師們壓力都很大。但畢竟是國內第一個敢於發布的，勇氣值得肯定。

百度希望通過用戶接入使用和大量反饋，來快速迭代模型的能力。

從現場放的demo視頻看，文心一言的總結能力、邏輯推理能力、多模態內容生成以及內容輸出的順滑度都還不錯。

很多人懷疑這是提前精心調試好的案例，實際能力可能比較弱。由於沒有現場即興發揮，所以無法證僞，有點遺憾。

資本市場反應很快：

我本來對它並沒有太高的期望，只是跟大家一樣，希望中國應該在這個AI技術的制高點上有自己的模型，有更好的支持中文的模型。

之前我看過一些關於GPT3相關技術和實現的文章，了解到要復刻一個ChatGPT，絕不是朝夕之間就能趕上的。它有幾個重要條件：

1. 需要算力。模型訓練一次將近1000萬人民幣，OpenAI的背後是股東微軟提供的服務器集羣。國內大廠不差這些錢，但先進的GPU目前還有出口限制。

2. 高質量的語料。我之前看到統計數據，GPT3的語料中中文佔比不到10%。可能因爲文化不同，英文內容更愿意公开分享，高質量內容更多。比如關於計算機科學的高質量論文都在arxiv.org這個平臺上。

3. 有監督學習的標注語料。做過自然語言標注的人都知道，標注的門檻非常高。特別是對語義理解，只有在有同等文化背景和足夠知識儲備的人才能標注正確。這需要一個完整的培訓體系和高昂的成本。大的技術公司都不愿意做這種髒活。

4. 人工反饋。ChatGPT內部也是先做了很多人工反饋強化訓練，打磨差不多才發布。但因爲它有先發優勢，在短時間內就積累了大量的用戶反饋，這是非常寶貴的數據財富。

5. 工程細節打磨。前兩天發布的GPT-4其實在2022年8月就完成了模型訓練，又迭代了半年才發布。它並不是單純的技術突破，還有工程上無數細節的優化。

6. 信念和專注。在前途不明朗、根本沒人知道是否可行情況下，還能堅持那么多年（OpenAI是2015年創立），投入大量資金，最後能成功其實是有偶然性的。

像馬斯克、Sam Altman這類人，總是會習慣性地、主動地解決那些沒人敢碰的復雜問題，很讓人佩服。因爲有了這些先驅者，我們才知道這些技術是可行的。

本來我想着體驗看看文心一言的效果，但還需要邀請碼，體驗不了。

不過我相信國內的企業會一步步趕上來，需要多點耐心和時間。但愿早日能看到國內大模型的突破。

本文作者可以追加內容哦 !