【1月26日大模型日報合輯】何愷明謝賽寧解剖擴散模型，新作剛出爐；馬斯克旗下的人工智慧新創公司xAI正尋求從全球投資者融資60億美元，為其挑戰OpenAI提供資金；OpenAI官方下場 修復GPT-4變懶，上新多個模型、還大降價；多模態大模型，阿里通義千問能和GPT-4V掰手腕了；Oracle啟動生成式AI狂潮：全面整合與創新動態

大模型×文字浮水印：清華、港中文、港科廣、UIC、北郵聯合發布首個大模型時代下的文本水印綜述

連結：https://news.miracleplus.com/share_link/16853

本文介紹首個大模型時代下的文本水印綜述，由清華、港中文、港科廣、UIC、北郵聯合發布，全面闡述了大模型時代下文本水印技術的算法類別與設計、評估角度與指標、 實際應用場景，同時深入探討了相關研究當前面臨的挑戰以及未來發展的方向，探索文本水印領域的前沿趨勢。

何愷明謝賽寧解剖擴散模型，新作剛出爐

連結：https://news.miracleplus.com/share_link/16854

CV大神何愷明，也來搞擴散模型（Diffusion Model）了，最新論文剛掛上arXiv：解構擴散模型，提出一個高度簡化的新架構l-DAE（小寫的L）。 並且透過與何愷明在視覺自監督學習領域的代表作MAE（Masked Autoencoder）對比，更了解擴散模型內部的工作原理。

David Baker在Science發文：AI驅動的蛋白質設計應符合生物安全

連結：https://news.miracleplus.com/share_link/16855

華盛頓大學的 David Baker 教授和哈佛醫學院 George Church 教授在最新一期的《Science上發表題為“Protein design meets biosecurity”的評論。 文章討論了人工智慧（AI）在計算蛋白質設計中的應用，以及這種技術可能帶來的風險。 作者強調了 AI 在提高蛋白質設計能力和準確性方面的重要性，以及DNA合成在實現設計蛋白質方面的關鍵作用。 同時，作者也提出了一種安全策略，即收集並儲存所有合成基因序列和合成數據，以確保蛋白質設計的安全性。 文章也提到了透過 AI 加速的蛋白質設計可以幫助解決全球病原體、神經退化性疾病和生態系統退化等問題。 並且，作者呼籲所有相關社區參與，支持所需的基礎設施，並定義人力、機構和治理要求，以確保這個快速發展領域的安全，並最大限度地推進，從而解決緊迫的社會問題。

雪梨大學和香港D24H的研究人員，開發用於亞細胞空間轉錄組資料分割的自監督學習方法

連結：https://news.miracleplus.com/share_link/16856

亞細胞成像轉錄組學平台的最新進展帶來了基因表現的高解析度空間圖譜，同時也為準確識別細胞和分配轉錄本帶來了重大的分析挑戰。 現有的方法難以進行細胞分割。 雪梨大學（University of Sydney）和香港醫衛大數據深析實驗室（D24H）的研究人員提出了BIDCell，這是一種基於自監督的深度學習框架，具有生物學資訊損失函數，可以學習空間解析 的基因表現和細胞形態之間的關係。 BIDCell 整合了細胞類型數據，包括來自公共儲存庫的單細胞轉錄組數據和細胞形態資訊。

馬斯克旗下的人工智慧新創公司xAI正尋求向全球投資者融資60億美元，為其挑戰OpenAI提供資金

連結：https://news.miracleplus.com/share_link/16857

知情人士稱，馬斯克希望以200億美元的擬議估值為xAI籌集多達60億美元的資金，他還瞄準了中東地區的主權財富基金，並已經與日本和韓國的投資者進行了接觸。 其中一位知情人士說，摩根士丹利目前正在協調這項融資。

OpenAI官方下場修復GPT-4變懶，上新多個模型、還大降價

連結：https://news.miracleplus.com/share_link/16858

不知大家是否還記得，去年年底 GPT-4 開始變成「懶」的事實。 例如在尖峰時段使用 GPT-4 或 ChatGPT API 時，回應會變得非常緩慢且敷衍，有時它會拒絕回答使用者提出的問題，甚至會單方面中斷對話。 這種情況對碼農來說，更是深有體會，有人抱怨道「讓ChatGPT 擴展一些程式碼，它竟然讓我自己去寫。」原本想藉助ChatGPT 幫自己寫程式碼，現在好了，一下子就 給你拒絕了。

多模態大模型，阿里通義千問能和GPT-4V掰手腕了

連結：https://news.miracleplus.com/share_link/16859

2024 年，大模型領域要捲什麼？ 如果沒有思路的話，不妨看看各家大廠都在押注什麼方向。 最近一段時間，先是 OpenAI 推出 GPT-4V，讓大模型擁有了前所未有的影像語意理解能力。 谷歌隨後跟上，發布的Gemini 成為了業界第一個原生的多模態大模型，它可以泛化並無縫地理解、操作和組合不同類型的信息，包括文本、代碼、音頻、圖像和視頻 。 不只有GPT-4V、Gemini，在這個充滿潛力的方向上，國內的技術力量同樣值得關注：最近的一個重要發布就來自阿里，他們新升級的通義千問視覺語言大模型Qwen-VL-Max 在上周正式發布，在多個測評基準上取得了好成績，並實現了強大的影像理解的能力。

大模型推理成本排行榜來了：賈揚清公司效率領跑

連結：https://news.miracleplus.com/share_link/16860

隨著大語言模型技術的逐漸實用化，越來越多的科技公司提出了大模型 API 供開發者使用。 但前有 OpenAI「每天燒掉 70 萬美元」，我們也有理由懷疑以大模型為基礎的業務到底能不能持續。 近期，AI公司Martin 為我們仔細盤算了各家模型的推理成本， LeptonAI 在短輸入 + 長輸出提示的小服務負載上能夠提供最佳的吞吐量。 130 tks/s 的 P50 是所有廠商提供的所有模型產品中可以觀察到的最快吞吐量。

Mamba論文為什麼沒被ICLR接收？ AI社區沸騰了

連結：https://news.miracleplus.com/share_link/16861

2023 年，Transformer 在 AI 大模型領域的統治地位被撼動了。 發起挑戰的新架構名叫「Mamba」，它是一種選擇性狀態空間模型（ selective state space model），在語言建模方面可以媲美甚至擊敗 Transformer。 而且，它可以隨上下文長度的增加實現線性擴展，其效能在實際資料中可提高到百萬 token 長度序列，並實現 5 倍的推理吞吐量提升。 在發布之後的一個多月裡，Mamba 逐漸展現出自己的影響力，衍生出了MoE-Mamba、Vision Mamba、VMamba、U-Mamba、MambaByte 等多項工作，在克服Transformer 短板方面表現出了越 來越大的潛力。 但這樣一顆冉冉升起的「新星」，卻在 2024 年的 ICLR 會議中遭遇了滑鐵盧。 最新的公開結果顯示，Mamba 的論文至今還沒有被大會接收，我們只能在 Decision Pending（待定）一欄看到它的身影（可能是延遲決定，也可能是被拒絕）。

Oracle啟動生成式AI狂潮：全面整合與創新動態

連結：https://news.miracleplus.com/share_link/16862

Oracle正在其雲端基礎設施（OCI）技術堆疊中整合生成式AI功能，推出生成式AI服務和代理，及Data Science AI Quick Actions。 此次整合旨在將生成式AI應用到客戶資料所在的雲端資料中心和本地環境。 OCI新增加Llama 2和Cohere的嵌入式模型，並提供靈活微調選項。 Oracle引入檢索增強型生成代理程式到OpenSearch，讓使用者可以用自然語言存取企業資料集。 Oracle計劃推出新AI代理，支援更廣泛的資料搜尋和聚合工具，並透過OCI Data Science AI Quick Actions簡化AI模型的客製化。