【10月20日大模型日報】OpenAI終於Open一回：DALL-E 3論文公佈、上線ChatGPT，作者一半是華人；AI PC：千載難逢的行業救星！ 英特爾預計明年可達數千萬台

OpenAI終於Open一回：DALL-E 3論文公佈、上線ChatGPT，作者一半是華人

連結：https://news.miracleplus.com/share_link/11055

Dall-E3模式的發布引發了不小的轟動，也再次鞏固了 OpenAI 技術領頭羊的形象。 一時間，所有人都很好奇，這麼爆炸的效果是怎麼做到的？ 不過，令人失望的是，當時 OpenAI 並沒有透露技術細節，就像之前發布 GPT-4 一樣。 不過，一個月後，OpenAI 還是給了大家一些驚喜。 在一篇篇幅達 22 頁的論文中，他們闡述了針對 DALL・E 3 所做的改進。 論文要點包括：模型能力的提升主要來自於詳盡的圖像文本描述（image captioning）；他們訓練了一個圖像文本描述模型來產生簡短而詳盡的文本；他們使用了T5 文本編碼器；他們使用了GPT- 4 來完善用戶寫出的簡短提示；他們訓練了一個U-net 解碼器，並將其蒸餾成2 個去噪步驟；文本渲染仍然不可靠，他們認為該模型很難將單字token 映射為圖像中 的字母。 除了論文之外，OpenAI 也公佈了一個重要消息：DALL・E 3 已經正式上線 ChatGPT，Plus 用戶和 Enterprise 用戶都可以使用。

vivo提前「洩密」大模型能力

連結：https://news.miracleplus.com/share_link/11056

最賣座的安卓手機，竟然要實裝大模型了？ ！ 還是發售即可用那種──新版手機系統直接搭載，不整虛的。 要知道，雖然國產大模型百花齊放，但手機端“百模大戰”，可以說是才剛進入熱身階段。 自研大模型的手機廠商已有不少，但真正裝進手機系統中的，還幾乎沒有。 前段時間，vivo悄悄自研手機AI大模型的消息傳得沸沸揚揚，如今靴子落地，官員宣定檔11月1日vivo開發者大會，上機新版系統OriginOS 4。 從vivo負責人劇透的訊息中，可以窺見三個重點：一口氣發布5個大模型；大模型嵌入手機，當助理還會畫畫；70億版本大模型，對行業開放可用。

Thrive正以800億美元估值購買OpenAI股份；OpenAI內部認為它們可能成為一種作業系統，目前團隊規模已擴至700人

連結：https://news.miracleplus.com/share_link/11057

根據The Information 今天報告，創投公司Thrive Capital 正領導一項交易，透過要約收購來購買OpenAI 員工的股份，這將使公司的估值至少達到800 億美元，這項交易將使OpenAI 的估值至少 比六個月前的類似交易增加三倍。 今年 4 月，OpenAI 以 270 億美元的估值向 Thrive 和其他投資人出售員工的股份，OpenAI 的新估值超過其年收入的 60 多倍，成為當前最高估值公司之一。 相關投資者預計 OpenAI 將以新的估值為新的融資設定一個底價，Sam Altman 私下表示，他希望公司籌集資金，但新的估值使一些潛在投資者感到不滿。 去年OpenAI 營收2,800 萬美元後，Altman 告訴員工，公司正在創造13 億美元的ARR，業務主要包括對其ChatGPT 聊天機器人的付費訂閱和出售訪問GPT-4 的權限，GPT-4 是驅動ChatGPT 的大型 語言模型，以及用來支援它的運算能力。 目前 OpenAI 的虧損情況無法了解，但自去年底以來，OpenAI 員工已經增加了一倍以上，至少達到 700 人。

AI PC：千載難逢的業界救星！ Intel預計明年可達數千萬台

連結：https://news.miracleplus.com/share_link/11058

NVIDIA CEO黃仁勳已經被尊為“AI教父”，生成式AI(AIGC)顛覆了無數人的工作、生活體驗，但老黃的眼光和境界並不只是為了多賣幾塊GPU，他對於行業變革有著 高瞻遠矚的認知，尤其是AI對於PC產業的意義。 很多人可能沒注意到，黃仁勳今年5月參加台大畢業典禮的時候，曾在演講中說過這麼一句話：「PC產業正迎來一次重生的機會。在未來10年，新的AI PC將取代 傳統PC，市場價值可達萬億美元。」正所謂英雄所見略同，Intel、AMD都在全力打造AI PC，Intel CEO帕特·基辛格就直言：「我們相信，AI PC是未來 數年PC市場的關鍵轉折點，我們的每一款產品都會整合AI。」他預計到2024年，市場上將有數千萬台支援AI的新型PC。

在RTX 4090被限制的時代下，讓大模型使用RLHF更有效率的方法來了

連結：https://news.miracleplus.com/share_link/11059

今年，以 ChatGPT 為首的大語言模型（Large Language Models, LLMs) 在各方面大放異彩，引發了學術界和商業界對 GPU 等運算資源的需求劇增。 例如監督訓練地調優 (supervised fine-tuning, SFT) 一個 Llama2-7B 的模型，需要消耗 80GB 以上的記憶體。 而這往往不夠，為了和人類對齊（alignment），大語言模型還要經過 RLHF (reinforcement learning from human feedback) 的訓練。 RLHF 的 GPU 消耗往往是 SFT 的 2 倍以上，訓練時間更能達到 6 倍以上。 近日，美國政府宣布限制英偉達 GPU 產品 H100, H800等進入中國市場。 這項條款無疑為中國發展大語言模式（LLMs) 和人工智慧增添了許多阻力。 減少 RLHF 的訓練成本（GPU 消耗和訓練時間）對 LLMs 的發展非常重要。 該論文介紹了一種名為 ReMax 的新演算法，專為基於人類回饋的強化學習（RLHF）而設計。 ReMax 在運算效率（約減少 50% 的 GPU 記憶體和 2 倍的訓練速度提升）和實現簡易性（6 行程式碼）上超越了最常用的演算法 PPO，且效能沒有損失。

復旦大學聯合華為諾亞提出VidRD框架，實現迭代式的高品質視訊生成

連結：https://news.miracleplus.com/share_link/11060

復旦大學聯合華為諾亞方舟實驗室的研究者基於影像擴散模型（LDM）提出了一種迭代式產生高品質視訊的方案 ——VidRD (Reuse and Diffuse)。 該方案旨在對生成視訊的品質和序列長度上進行突破，實現了高品質、長序列的可控視訊生成。 有效減少了產生視訊幀間的抖動問題，具有較高的研究和實用價值，為當前火熱的AIGC社群貢獻了一份力量。 本文提出了一個名為 “Reuse and Diffuse” 的架構。 該框架可以在 LDM 已經產生的少部分視訊幀之後，產生更多的視訊幀，從而實現迭代式地產生更長、更高品質以及多樣化的視訊內容。

提示工程夭折？ MIT史丹佛讓大模型主動提問，自己搞清楚自己想要什麼

連結：https://news.miracleplus.com/share_link/11061

具體來看，這項研究提出了一種新型學習框架GATE（Generative active task elicitation）。 它能基於大模型本身的能力，來引出、推理人類使用者的喜好。 研究團隊將這稱為一種更主動的方式，具體表現形式就是讓大模型來對使用者提問，以讓人類的偏好想法能更明確地被表達出來。 對應來看，監督學習和提示工程都屬於被動的方式，監督學習和少量主動學習還要基於範例。 為什麼要「反客為主」提示人類？ 因為人類給予的提示有其局限性，不一定能準確完整地表達出自己的喜好。 例如很多人都不懂提示工程；或是在提示過程中提供了存在誤導性的資料……這些都會導致大模型表現變差。 論文中列舉了一個例子。 假如一個用戶說自己很喜歡讀網球相關的文章，對網球巡迴賽、發球技術有興趣。 但從他提供的文章參考裡，無法判斷他是否對網球方面的其他主題感興趣。

清華系百億估值大模型公司自曝：年內已融資25億！

連結：https://news.miracleplus.com/share_link/11062

大模型新創公司智譜AI，自曝已完成超25億人民幣融資！ 這個數字已經高過許多AI創企的現有估價。 更重要的是，這25億元融資只是“今年累計”，今年以前，智譜AI已經進行過（至少）3輪融資。 難怪乎9月就已經有市場消息傳出，作為國內大模型公司的頭馬之一，智譜AI的市場估值已經在120億元左右。 智譜官方消息稱，今年的融資將用於基座大模型的進一步研發。 而翻看本次透露的一長串投資方，裡面清晰寫著美團、螞蟻、阿里、騰訊、小米、好未來等老牌互聯網大廠的名字，還有君聯、順為、紅杉、高 瓴等多家一線VC。 量子位先前獲悉，美團、阿里、螞蟻等押注智譜，都走的是「帶業務進組」的路線，一舉將智譜的身家往上拉了不少。