【12月29日大模型日報合輯】用擴散模式監督NeRF，清華文生3D新方法成新SOTA

深度網路資料編碼新突破，上交大SPARK登上電腦體系結構頂會

連結：https://news.miracleplus.com/share_link/14595

隨著深度神經網路（DNNs）模型在規模和複雜性上的迅速增長，傳統的神經網路處理方法面臨嚴峻的挑戰。 現有的神經網路壓縮技術在處理參數規模大、精度要求高的神經網路模型時效率低下，無法滿足現有應用的需求。 數值量化是神經網路模型壓迫的一種有效手段。 在模型推理過程中，低位元寬（位元）資料的存取和運算可以大幅節省儲存空間、訪存頻寬與運算負載，從而降低推理延遲和能耗。 目前，大多數量化技術的位寬在 8bit。 更激進的量化演算法，必須修改硬體的操作粒度與資料流特徵，才能在真實推理時獲得接近理論的效益。 例如混合精度量化，激活數據的量化等方案。 一方面，這些方案會明確增加 book-keeping 儲存開銷和硬體邏輯，使得實際收益下降 [1,2,3]。 另一方面，有些方案利用分佈特徵對量化範圍和粒徑做約束，來減少上述硬體開銷 [4,5]。 但其精度損失也受到不同模型和參數分佈的影響，無法滿足現有應用的需求。 為此，本文的研究者提出了 SPARK 技術，一種可擴展細粒度混合精度編碼的軟硬體協同設計。

用擴散模型監督NeRF，清華文生3D新方法成新SOTA

連結：https://news.miracleplus.com/share_link/14596

用文字合成3D圖形的AI模型，又有新的SOTA了！ 近日，清華大學劉永進教授研究小組提出了一種基於擴散模型的文生3D新方式。 無論是不同視角間的一致性，或是與提示詞的匹配度，都比先前大幅提升。 文生3D是3D AIGC的熱門研究內容，並得到了學術界和工業界的廣泛關注。 劉永進教授課題組這次提出的新模型叫做TICD（Text-Image Conditioned Diffusion），在T3Bench資料集上達到了SOTA水準。 目前相關論文已經發布，程式碼也即將開源。

上海交大&中山大學團隊使用ESMFold、預訓練語言模型以及Graph Transformer，進行蛋白質結合位點預測

連結：https://news.miracleplus.com/share_link/14597

識別蛋白質的功能位點，例如蛋白質、勝肽或其他生物成分的結合位點，對於理解相關的生物過程和藥物設計至關重要。 然而，現有的基於序列的方法的預測準確性有限，因為它們只考慮序列相鄰的上下文特徵並且缺乏結構資訊。 上海交通大學和中山大學的研究人員提出了 DeepProSite，用於利用蛋白質結構和序列資訊來識別蛋白質結合位點。 DeepProSite 首先從 ESMFold 產生蛋白質結構，並從預先訓練的語言模型產生序列表示。 然後，它使用 Graph Transformer 並將結合位點預測制定為圖節點分類。 在預測蛋白質-蛋白質/勝肽結合位點時，DeepProSite 在大多數指標上都優於目前基於序列和結構的方法。 此外，與基於結構的預測方法相比，DeepProSite 在預測未結合結構時保持了高性能。 DeepProSite 還可以擴展到核酸和其他配體結合位點的預測，驗證了其泛化能力。