1月18-19日大模型日報合輯

463 0 0

【1月18-19日大模型日報合輯】視覺Mamba來了：速度提升2.8倍，內存能省87%；一鍵實景轉動畫，清華系新創公司全球首發4D骨骼動畫框架，還能生成個性化角色；騰訊發布視訊生成模型VideoCrafter2，光影效果大幅提升

視覺Mamba來了：速度提升2.8倍，記憶體能省87%

連結：https://news.miracleplus.com/share_link/16215

號稱「全麵包圍 Transformer」的 Mamba，推出不到兩個月就有了高效能的視覺版。本週四，來自華中科技大學、地平線、智源人工智慧研究院等機構的研究者提出了 Vision Mamba（Vim）。效果如何呢？在 ImageNet 分類任務、COCO 物件偵測任務和 ADE20k 語義分割任務上，與 DeiT 等成熟的視覺 Transformers 相比，Vim 實現了更高的效能，同時也顯著提高了運算和記憶體效率。例如，在對分辨率為 1248×1248 的影像進行批量推理提取特徵時，Vim 比 DeiT 快 2.8 倍，並節省 86.8% 的 GPU 記憶體。結果表明，Vim 能夠克服對高解析度影像執行 Transformer 式理解時的運算和記憶體限制，並且具有成為視覺基礎模型的下一代骨幹的巨大潛力。

一鍵實景轉動畫，清華系新創公司全球首演4D骨骼動畫框架，還能產生個人化角色

連結：https://news.miracleplus.com/share_link/16216

前幾日，蘋果宣布首款虛擬頭顯設備 Vision Pro 將於 2 月 2 日正式發售，XR 設備作為下一代終端預計將迎來快速發展。未來隨著虛擬顯示設備的普及，數位互動將從平面走向立體，立體模型、立體動畫將成為未來主流的內容形態，虛實融合下的多維沉浸式互動也將成為潮流。面向此前沿領域，清華系創業團隊生數科技進行了系列研究和產品研發，於近期聯合清華大學、同濟大學等高校推出全球首個基於「骨骼動畫」的4D 動畫生成框架「AnimatableDreamer」，能夠直接將2D 影片素材一鍵轉成動態立體模型（即4D 動畫），支援自動擷取骨骼動作、一鍵轉換動畫效果並可透過文字輸入進行個人化角色產生。

如何利用革命性的蛋白質結構工具來發現藥物？ AlphaFold 發現了數千種可能的致幻劑

連結：https://news.miracleplus.com/share_link/16217

AlphaFold2 (AF2)和 RosettaFold 極大地擴展了可用於基於結構的配體發現的結構的數量，儘管它們在這一目標中的直接作用提出了質疑。加州大學的研究團隊已經使用蛋白質結構預測工具 AlphaFold 來識別數十萬種潛在的新型迷幻（psychedelic）分子，這可能有助於開發新型抗憂鬱藥物。該研究首次表明，只需按一下按鈕即可進行 AlphaFold 預測，對於藥物發現來說，它與實驗得出的蛋白質結構一樣有用，而後者可能需要數月甚至數年才能確定。

祖克柏宣戰AGI：Llama 3訓練中，今年要囤35萬塊H100，砸近百億美元

連結：https://news.miracleplus.com/share_link/16218

為了通用人工智慧（AGI）的宏大目標，祖克柏正在為 Meta 的 AI 研究部門進行大幅的改組。本週四，Meta 執行長馬克・祖克柏宣布，他的公司正在致力於為人工智慧助理建立「通用智慧」並「負責任地開源」，Meta 正在將其兩個主要研究小組（FAIR 和GenAI）合併在一起以實現這一目標。有第三方投資機構的研究估算，英偉達面向 Meta 的 H100 出貨量在 2023 年能達到 15 萬塊，這個數字與向微軟的出貨量持平，並且至少是其他公司的三倍。祖克柏表示，如果算上英偉達 A100 和其他人工智慧晶片，到 2024 年底，Meta 的 GPU 算力將達到等效近 60 萬 H100。

吞吐量提升5倍，聯合設計後端系統和前端語言的LLM介面來了

連結：https://news.miracleplus.com/share_link/16219

大型語言模型 (LLM) 越來越多地用於需要多個鍊式生成呼叫、高階 prompt 技術、控制流程以及與外部環境互動的複雜任務。然而，用於編程和執行這些應用程式的現有高效系統存在著明顯的缺陷。現在，開源社群的研究者們針對 LLM 提出了一種結構化生成語言（Structured Generation Language）—SGLang。 SGLang 能夠增強與 LLM 的交互，透過聯合設計後端運行時系統和前端語言，使 LLM 更快、更可控。機器學習領域知名學者、CMU 助理教授陳天奇也轉發了這項研究。

不擔心位元組跳動、騰訊等大廠競爭，英矽智慧CEO Alex Zhavoronkov談AI藥物發現

連結：https://news.miracleplus.com/share_link/16220

人工智慧在生物製藥領域的應用越來越廣泛，其應用超越了發現設備的範疇。 2024 年 1 月 8 日-11 日，在舊金山舉行的第 42 屆摩根大通醫療保健大會（ J.P. Morgan Healthcare Conference）上，這是一個熱門議題。在會議剛開始之際，禮來公司和諾華甚至宣布與 Alphabet 的 Isomorphic Labs 達成數百萬美元的發現協議。在人工智慧的熱潮中，外媒與英矽智慧（Insilico Medicine）執行長 Alex Zhavoronkov 進行了座談。去年夏天，該公司成為第一家使用生成人工智慧開發的療法進入 II 期臨床試驗的公司。 Zhavoronkov 談到了 AI 在行業中的作用以及 Insilico 何時可能在市場上推出產品。除了將於今年夏天在美國和中國測試肺部疾病特發性肺纖維化療法的II 期試驗外，Insilico 本月剛與美納里尼集團（Menarini Group）簽署了一項許可協議，將其另一種藥物商業化。