【11月6日大模型日報合集】李開復官宣「全球最強」開源大模型：一次處理40萬漢字、中英均霸榜；Sci-fi 照進現實，從xAI 看“馬斯克經濟學” 中的AI 佈局與前沿應用；元象XVERSE-65B：國內最大開源模型來了，高效能無條件免費商用

李開復官宣「全球最強」開源大模型：一次處理40萬個漢字、中英均霸榜

連結：https://news.miracleplus.com/share_link/11465

開源大模型宇宙又有了新的重量級成員，這次是創新工場董事長兼 CEO 李開復大模型公司「零一萬物」推出的「Yi」系列開源大模型。 據悉，零一萬物在今年 3 月底官方宣布成立，六、七月開始運營，李開復博士為創辦人兼 CEO。

11 月 6 日，零一萬物正式發布「Yi」系列預訓練開源大模型，包括了 Yi-6B 和 Yi-34B 兩個版本，給了開源大模型社群「一點小小的震撼」。 根據Hugging Face 英文開源社群平台和C-Eval 中文評測的最新榜單，Yi-34B 預訓練模型取得了多項SOTA 國際最佳性能指標認可，成為全球開源大模型“雙料冠軍”，擊敗了LLaMA2 和 Falcon 等開源競品。

Sci-fi 照進現實，從 xAI 看「馬斯克經濟學」 中的 AI 佈局與前沿應用

連結：https://news.miracleplus.com/share_link/11466

在剛剛過去的這個週末，馬斯克在自家的X 平台發布了xAI 對標OpenAI 旗下ChatGPT 的產品—— “Grok”，這篇內容將聊聊xAI 的能力，以及掰扯“Muskonomics” 馬斯克經濟學 中的AI 縱向一體化。 那麼”Grok”是什麼意思呢？ 這個詞首次出現自 20 世紀科幻文學的「三巨頭」之一 Robert A. Heinlein 的代表作《異星奇客》(Stranger in a Strange Land) ，「Grok」的意思是理解某事物的本質。 在Heinlein 的設定中，”Grok”是火星語言中一個非常豐富和復雜的概念，涵蓋了「飲水」這個物理動作的同時，也隱含了人與宇宙的深層連接與理解，它涉及了一個 生物體對另一個生物體或事物的全面感知、理解和同化。

大跌眼鏡！ GPT-4V錯覺挑戰實錄：該錯的沒錯，不該錯的反而錯了

連結：https://news.miracleplus.com/share_link/11467

GPT-4V挑戰視覺錯誤圖，結果令人「大跌眼鏡」。 為什麼會發生這種情況：有的錯覺它可以辨識出來，有的又表現得很差勁？ 首先，對於顏色錯覺的圖，網友首先認為是提示詞的問題。 不過，也有網友指出，當我們問它哪棵樹比較亮時，如果是非常嚴謹地對所有像素進行平均，GPT-4V的回答沒有毛病。 至於無法辨識遠景影像的問題，有網友認為這可能是因為GPT-4V只會從左往右地讀取影像。 而對於「為什麼有時它會和人類一樣發昏被錯覺誤導、完全不像個智能AI」的疑問，不少人則表示這毫不意外，是訓練問題。 即大模型是根據人類資料、人的回饋、人的註釋來訓練的，自然會產生和人一樣的錯誤。

元象XVERSE-65B：國內最大開源模型來了，高效能無條件免費商用

連結：https://news.miracleplus.com/share_link/11468

國內先前開源了多個 70 到 130 億參 數大模型，落地成果湧現，開源生態系統初步建立。 隨著智能體等任務複雜度與資料量的提升，業界與社群對更「大」模型的需求越來越迫切。 研究表明，參數量越高，高品質訓練資料越多，大模型效能才能持續提升。 而業界普遍共識是達到 500 到 600 億參數門檻，大模型才能「智慧湧現」，在多任務中展現強大性能。 但訓練此量級模型成本高昂，技術要求較高，目前主要為閉源付費提供。 在國外開源生態中，Llama2-70B 和 Falcon-180B 等標竿模型為有條件開源，設定了月活躍用戶數或收入等商用上限，並因缺乏訓練資料在中文能力上有明顯短板。 此外，美國新頒布的 AI 晶片禁令，或將進一步限制中國大模型產業發展的速度。 業界迫切呼籲一個高性能國產大模型，填補生態空白， 為中文應用提供更強大的理解、推理和長文生成能力。 在此背景下，元象 XVERSE 公司宣布開源 650 億參數高效能通用大模型 XVERSE-65B，且無條件免費商用，業界尚屬首次。 此外，13B 模型全面升級，提高小型模型能力上限。 這將讓海量中小企業、研究者和AI 開發者更早一步實現大模型自由，根據其算力、資源限制和具體任務需求，自由使用、修改或蒸餾元像大模型，推動研究與應用的突破 創新。

GPU推理快速4倍，256K上下文全球最長：無問芯穹刷新大模型最佳化記錄

連結：https://news.miracleplus.com/share_link/11469

降低 LLM 的推理成本勢在必行，而提升推理速度成為一條行之有效的關鍵路徑。 實際上，研究社群已經提出了不少用於加速 LLM 推理任務的技術，包括 DeepSpeed、FlexGen、vLLM、OpenPPL、FlashDecoding 和 TensorRT-LLM 等。 這些技術自然也各有優勢和短板。 其中，FlashDecoding 是FlashAttention 作者、史丹佛大學團隊的Tri Dao 等人在上個月提出的一種state-of-the-art 方法，它透過並行加載數據，大幅提升了LLM 的推理速度，被認為極具 潛力。 但同時，它也引進了一些不必要的運算開銷，因此依然存在著很大的最佳化空間。 為了進一步解決問題，近日，來自無問芯穹（Infinigence-AI）、清華大學和上海交通大學的聯合團隊提出了一種新方法FlashDecoding++，不僅能帶來比之前方法更強的加速能力（可以將 GPU 推理加速2-4 倍），更重要的是同時支援NVIDIA 與AMD 的GPU！ 它的核心思想是透過非同步方法實現注意力計算的真正並行，並針對「矮胖」矩陣乘優化加速 Decode 階段的計算。

大幅提升使用者行為表徵通用性，螞蟻新模型獲CIKM 2023最佳應用論文獎

連結：https://news.miracleplus.com/share_link/11470

由美國電腦學會ACM 主辦的CIKM 2023 學術會議在英國伯明翰舉行，大會吸引了8000+ 學術從業者參加，並從235 篇應用研究方向（applied research track）的投稿論文中，評選出了本屆最佳 應用論文獎，來自螞蟻集團的使用者行為表徵模型研究論文獲得了該獎項。

北大具身智能新成果：無需訓練，聽指令就能靈活走位

連結：https://news.miracleplus.com/share_link/11471

北京大學董豪團隊具身導航最新成果來了：無需額外建圖和訓練，只需說出導航指令，如：Walk forward across the room and walk through the panty followed by the kitchen. Stand at the end of the kitchen. 在此，機器人靠的是主動與大模型構成的「專家團隊」溝通完成指令分析、視覺感知、完成估計和決策測試等一系列視覺語言導航關鍵任務。