【10月23日大模型日報合輯】英偉達、Meta同日宣布機器人重磅成果；在視覺提示中加入「標記」，微軟等讓GPT-4V看的更準、分的更細；AI改變澳洲求職方式 ，AI招募工具越來越普及；

在視覺提示中加入「標記」，微軟等讓GPT-4V看的更準、分的更細

連結：https://news.miracleplus.com/share_link/11105

最近一段時間，我們見證了大型語言模型（LLM）的顯著進步。 特別是，生成式預訓練 Transformer 或 GPT 的發布引領了業界和學術界的多項突破。 自 GPT-4 發布以來，大型多模態模型 (LMM) 引起了研究界越來越多的興趣，許多工作致力於建立多模態 GPT-4。 近日，GPT-4V (ision) 由於出色的多模態感知和推理能力得到了大家格外的關注。 然而，儘管 GPT-4V 具有前所未有的視覺語言理解能力，但其細粒度 visual grounding（輸入是圖片和對應的物體描述，輸出是描述物體的 box）能力相對較弱，或者尚未發揮出來。 舉例來說，當使用者詢問下圖中「放置在右邊筆記型電腦的左邊是什麼物體？」GPT-4V 給了馬克杯這個錯誤的答案。 當使用者接著詢問，「想找一個靠窗的座位，我可以坐在哪裡？」GPT-4V 同樣回答不正確。 在意識到上述問題後，來自微軟、香港科技大學等機構的研究者提出了一種新的視覺 prompt 方法 Set-of-Mark（SoM），來解決 GPT-4V 在細粒度視覺任務上的問題。

你的GPU能跑Llama 2等大模型嗎？ 用這個開源專案上手測一測

連結：https://news.miracleplus.com/share_link/11106

在算力為王的時代，你的 GPU 可以順暢的運行大模型（LLM）嗎？ 對於這個問題，很多人都難以給出確切的回答，不知該如何計算 GPU 記憶體。 因為查看 GPU 可以處理哪些 LLM 並不像查看模型大小那麼容易，在推理期間（KV 快取）模型會佔用大量內存，例如，llama-2-7b 的序列長度為 1000，需要 1GB 的額外內存。 不僅如此，模型在訓練期間，KV 快取、啟動和量化都會佔用大量記憶體。 我們不禁要問，能不能事先了解上述記憶體的佔用情況。 近幾日，GitHub 上新出現了一個項目，可以幫你計算在訓練或推理LLM 的過程中需要多少GPU 內存，不僅如此，借助該項目，你還能知道詳細的內存分佈情況、評估採用什麼的 量化方法、處理的最大上下文長度等問題，從而幫助使用者選擇適合自己的GPU 配置。

幾秒生成高清商拍大片，電商效率直接Pro Max | 虹軟科技推出PhotoStudio® AI

連結：https://news.miracleplus.com/share_link/11107

傳統電商「流程繁瑣、週期漫長、效果受限、費用高昂」等諸多老大難的問題，一下子就得到了很好的解決。 虹軟科技在今日新鮮出爐面向電商的創新產品－PhotoStudio(®) AI智慧商拍攝影雲工作室（Beta）。 從官網顯示器來看，虹軟PhotoStudio(®) AI智慧商拍攝影雲工作室首次開放了兩個版本的服務－服飾版（PhotoStduio(®) AI CL）和商品版（PhotoStudio(®) AI MC ）。

用ChatGPT分析20,000多種債券！ LTX推出BondGPT+

連結：https://news.miracleplus.com/share_link/11108

全球金融科技領導者Broadridge（紐交所代號「BR」）的全資子公司LTX在官網宣布，推出「BondGPT+」分析20,000多種債券。 早在今年6月6日，LTX便推出了BondGPT，收到了龐大金融客戶群的好評和正面回饋後，在此基礎之上繼續開發了BondGPT+。 BondGPT+是基於OpenAI的GPT-4模型，結合自身海量優質金融數據微調而成。 與前一代相比，BondGPT+支援公司或第三方數據集成，內容生成偏好設置，債券高級搜索，企業級安全和管理等全新功能。

AIGC時代的視訊擴散模型，復旦等團隊發表領域首篇綜述

連結：https://news.miracleplus.com/share_link/11109

AI 生成內容已成為當前人工智慧領域的最熱門話題之一，也代表著該領域的前沿技術。 近年來，隨著 Stable Diffusion、DALL-E3、ControlNet 等新技術的發布，AI 影像生成和編輯領域實現了令人驚豔的視覺效果，並且在學術界和工業界都受到了廣泛關注和探討。 這些方法大多基於擴散模型，而這正是它們能夠實現強大可控生成、照片級生成以及多樣性的關鍵。 然而，與簡單的靜態影像相比，影片具有更豐富的語義資訊和動態變化。 研究數據顯示，自 2022 年以來，關於擴散模型在視訊任務上的研究工作呈現出爆炸性成長的態勢。 這種趨勢不僅體現了視訊擴散模型在學術界和工業界的受歡迎程度，同時也凸顯了該領域的研究者對於視訊生成技術不斷突破和創新的迫切需求。 近期，復旦大學視覺與學習實驗室聯合微軟、華為等學術機構發布了首個關於擴散模型在視訊任務工作的綜述，系統梳理了擴散模型在視訊生成、視訊編輯以及視訊理解等方向的學術前沿成果 。

AI改變澳洲求職方式，AI招募工具也越來越普及

連結：https://news.miracleplus.com/share_link/11110

人工智慧在澳洲的招聘領域日益普及，被用於篩選履歷和初步面試，對求職者產生了深遠影響。 儘管AI在提高招募效率方面有好處，但也引發了公平和歧視問題，研究顯示AI篩選應徵者會強化對婦女和文化少數群體的偏見。 求職者面臨缺乏透明度的問題，他們不清楚招募過程如何評審他們，而澳洲法律也沒有明確規定必須通知求職者AI篩選的細節。