12月5日大模型日報合輯

【12月5日大模型日報合輯】五倍吞吐量,效能全麵包圍Transformer:新架構Mamba引爆AI圈;大模型版「5年高考3年模擬」來了! 6141道數學題,還是多模態的那種|微軟&UCLA&UW聯合出品;讓3D編輯像PS一樣簡單,新演算法GaussianEditor在幾分鐘內完成3D場景增刪改;某「新化合物」90年前就有了 ? 倫敦大學學院教授對DeepMind參與的「A-Lab」提出質疑;創業180天估值20億美元! 歐版OpenAI爆火,Llama主創自立門戶,英偉達都入股了
五倍吞吐量,效能全麵包圍Transformer:新架構Mamba引爆AI圈
連結:https://news.miracleplus.com/share_link/12440
在別的領域,如果你想形容一個東西非常重要,你可能將其形容為「撐起了某領域的半壁江山」。 但在 AI 大模型領域,Transformer 架構不能這麼形容,因為它幾乎撐起了「整個江山」。 自 2017 年被提出以來,Transformer 已成為 AI 大模型的主流架構,但隨著模型規模的擴展和需要處理的序列不斷變長,Transformer 的限制也逐漸凸顯。 一個很明顯的缺陷是:Transformer 模型中自註意力機制的計算量會隨著上下文長度的增加呈平方級增長,例如上下文增加 32 倍時,計算量可能會增長 1000 倍,計算效率非常低。 為了克服這些缺陷,研究者們發展出了許多注意力機制的高效變體,但這往往以犧牲其有效性特為代價。 到目前為止,這些變體都還沒有被證明能在不同領域發揮有效作用。 最近,一項名為「Mamba」的研究似乎打破了這個局面。

動畫影片生成這幾天火了,新框架,讓圖片動起來
連結:https://news.miracleplus.com/share_link/12441
前幾日,阿里研究團隊建立了一種名為 Animate Anyone 的方法,只需要一張人物照片,再配合骨骼動畫引導,就能產生自然的動畫影片。 不過,這項研究的原始碼還沒有發布。 其實在 Animate Anyone 這篇論文出現在 arXiv 的前一天,新加坡國立大學 Show 實驗室和位元組共同做了一項類似的研究。 他們提出了一個基於擴散的框架 MagicAnimate,旨在增強時間一致性、忠實地保留參考影像並提升動畫保真度。 並且,MagicAnimate 專案是開源的,目前推理程式碼和 gradio 線上 demo 已經發布。
讓3D編輯像PS一樣簡單,新演算法GaussianEditor在幾分鐘內完成3D場景增刪改
連結:https://news.miracleplus.com/share_link/12442
3D 編輯在遊戲和虛擬實境等領域中發揮著至關重要的作用,然而先前的 3D 編輯苦於耗時間長以及可控性差等問題,很難應用到實際場景。 近日,南洋理工大學聯合清華和商湯提出了一種全新的 3D 編輯演算法 GaussianEditor,首次實現了在 2-7 分鐘完成對 3D 場景可控的多樣化的編輯,全面超越了之前的 3D 編輯工作。
大模型版「5年高考3年模擬」來了! 6141道數學題,還是多模態的那種|微軟&UCLA&UW聯合出品
連結:https://news.miracleplus.com/share_link/12443
大模型的「5年高考3年模擬」數學題目來了,還是加強版! 微軟、加州大學洛杉磯分校(UCLA)、華盛頓大學(UW)共同打造全新多模態數學推理基準資料集。 名為「MathVista」。 涵蓋各種題型共6141個問題,來自28個現有的多模態資料集和3個新標註的資料集。
某「新化合物」90年前就有了? 倫敦大學學院教授對DeepMind參與的「A-Lab」提出質疑
連結:https://news.miracleplus.com/share_link/12444
上週,Google DeepMind 和加州大學柏克萊分校的一組研究人員在《Nature雜誌上發表了一篇備受期待的論文,提出了一個「自主實驗室」—A-Lab,旨在利用AI 和機器人 技術加速新材料的發現和合成。 被稱為「自動駕駛實驗室」的A-Lab 展示了一個雄心勃勃的願景,即當配備計算建模、機器學習、自動化和自然語言處理方面的最新技術時,人工智慧驅動的系統可以在科學 研究中實現什麼目標。 然而,在發表後的幾天內,人們開始對論文中提出的一些關鍵主張和結果產生懷疑。 Robert Palgrave 是倫敦大學學院(University College London,UCL)無機化學和材料科學教授。 他在 X 射線晶體學領域擁有數十年的經驗。 Palgrave 在 X(前身為 Twitter)上提出了一系列技術擔憂,因為他注意到數據和分析中存在不一致之處,而這些數據和分析是 A-Lab 所謂成功的證據。