【10月31日大模型日報】《AI 大模型領域創新創業機會探索》系列活動報名! 萬萬沒想到，ChatGPT參數只有200億； GPT-4、Midjourney之外，譚平創業團隊要造一個3D 基礎模型

《AI 大模型領域創新創業機會探索》系列活動報名

連結：https://news.miracleplus.com/share_link/11311

在生成式 AI 的浪潮推動下，技術研究與應用創新正快速演進。 面對“大模型浪潮”，如何掌握其中蘊藏的創新機會？ 針對此主題，我們策劃了一系列 AI 大模型領域的創新與創業研討活動。 歡迎關注前沿創新創業的朋友報名活動，跟我們一起更新前沿的技術創新訊號、進展和趨勢，了解前線應用創新的實務經驗。

GPT-4、Midjourney之外，譚平創業團隊要造一個3D基礎模型

連結：https://news.miracleplus.com/share_link/11312

作為一個在電腦視覺、電腦圖形學領域工作了 20 多年的資深學者，譚平一直認為，3D 是人類視覺認知世界的基礎，因此 3D 資訊對於模型準確理解真實世界非常關鍵。 它和先前被大量利用的文字資訊互為補充，是亟待挖掘的「富礦」。 如果能夠創建一個 3D 基礎模型，有效地挖掘這個「富礦」，AI 有望從語言走向物理，從字面走向現實，成為真正的、對真實世界有著深刻理解的「通用模型」。 基於這個理念，他所創立的 AI 科技公司 —— 光影煥像（Light Illusions）已經實現了一些基礎技術上的突破：包括更準確的 3D 重建和更優秀的文生 3D 效果。

萬萬沒想到，ChatGPT參數只有200億？

連結：https://news.miracleplus.com/share_link/11313

誰都沒有想到，ChatGPT 的核心秘密是由這種方式，被微軟透露出來的。 昨天晚上，許多討論 AI 的微信群都被一篇 EMNLP 論文和其中的截圖突然炸醒。 微軟一篇題為《CodeFusion: A Pre-trained Diffusion Model for Code Generation》的論文，在做比較的時候透露出了重要資訊：ChatGPT 是個「只有」20B（200 億）參數的模型，這件事引起 了廣泛關注。 距離 ChatGPT 發布已經快一年了，但 OpenAI 一直未透露 ChatGPT 的技術細節。 由於其強大的模型性能，人們對 ChatGPT 的參數量、訓練資料等資訊抱持著許多疑問和猜測。 作為業界一直以來的標桿，ChatGPT 性能強大，可以解決各種各樣的問題。 它的前身 GPT-3 參數量就達到了 1750 億，實用化以後的大模型居然被 OpenAI 瘦身了快 9 倍，這合理嗎？ 「如何看待這篇論文」的話題立刻衝上了知乎熱門榜。

阿里雲全面升級AI基礎設施，中國大模型公司一半跑在阿里雲上！

連結：https://news.miracleplus.com/share_link/11314

10月31日，在2023雲棲大會上，阿里雲CTO週靖人表示，面向智慧時代，阿里雲將透過從底層算力到AI平台再到模型服務的全端技術創新，升級雲端運算體系，打造一 朵AI時代最開放的雲。 在現場，週靖人公佈了雲端運算基礎能力的最新進展，升級了人工智慧平台，並發布千億級參數規模的大模型通義千問2.0，以及一站式模型應用開發平台阿里雲百煉，阿里 雲端已初步建成AI時代全端的雲端運算體系。

報告指出蘋果低調佈局AI領域：已收購20多家公司，其訂閱模式比友商更有優勢

連結：https://news.miracleplus.com/share_link/11315

圖模型也要大？ 清華朱文武團隊有這樣一些觀點

連結：https://news.miracleplus.com/share_link/11316

在大模型時代，圖機器學習面臨什麼樣的機會與挑戰？ 是否存在，並該如何發展圖的大模型？ 針對這個問題，清華大學朱文武教授團隊首次提出圖大模型（Large Graph Model）概念，系統總結並梳理了圖大模型相關的概念、挑戰和應用；進一步圍繞動態性和可解釋性，在動態 圖大模型和解耦圖大模型方面取得了研究進展。

用童話訓練AI模型，微軟找到了探索生成模型參數的新切入點

連結：https://news.miracleplus.com/share_link/11317

人們都知道，學英文不是一件容易的事。 但假如「學生」是一台計算機，就可以這樣高效地學英語：只需將互聯網上堆積如山的文本，輸入一個名為神經網絡的巨大數學模型即可。 這就是像 OpenAI 的 ChatGPT 這樣的生成式大模型背後的工作原理，在過去的一年裡，它能夠面向廣泛的主題連貫地交談（即便會存在“幻覺”），效果讓所有人都感到驚訝。 但這種方法也有缺點：首先，將龐大的文本檔案轉化為語言模型所需的訓練語料，成本高且耗時。 另一方面，即使是訓練大語言模型的人也很難理解它們的內部運作原理，這反過來又使得人們很難避免設計上的失敗。 面對這些困難，一些研究人員選擇在較小的資料集上訓練較小的模型，然後研究模型行為。 布朗大學語言模型研究員Ellie Pavlick 說：「這就像果蠅基因組定序與人類基因組定序的關係。」現在，在近期發布的一篇論文中，微軟的兩位研究人員介紹了一種訓練微小語言 模型的新方法：用童話故事訓練模型。

ChatGPT、Llama-2等大模型，能推算出你的隱私數據

連結：https://news.miracleplus.com/share_link/11318

ChatGPT等大語言模型的推理能力有多強？ 透過你發過的貼文或部分隱私數據，就能推算出你的住址、年齡、性別、職業、收入等隱私數據。 瑞士聯邦理工學院透過蒐集並手工標註了包含520個Reddit（知名論壇）用戶的個人資料真實數據集PersonalReddit，包含年齡、教育程度、性別、職業、婚姻狀況、居住地、出生地和收入等隱私數據 。 然後，研究人員使用了GPT-4、Claude-2、Llama-2等9種主流大語言模型，對PersonalReddit資料集進行特定的提問和隱私資料推理。 結果顯示，這些模型可以達到85%的top-1和95.8%的top-3正確率, 僅通過分析用戶的文字內容,就能自動推斷出隱藏在文本中的多種真實隱私數據。

美國白宮發布總統令：鼓勵AI以安全、可靠的方式發展

連結：https://news.miracleplus.com/share_link/11319

美國華盛頓時間10月30日，美國白宮官網發布了，關於發展安全、可靠和值得信賴的AI（人工智慧）的拜登總統行政令。 白宮表示，該行政令為AI安全和保障制定了新標準，保護了用戶的資料隱私，促進公平和公民權利，維護消費者和工人的利益，促進技術創新和競爭等。 同時該行政令也建立在先前，與15家公司簽訂的「生成式AI安全承諾」上，全面推動安全、健康、可靠的生成式AI發展。 這個行政令的發布，對於微軟、OpenAI、Google、Meta、亞馬遜、Anthropic等科技巨頭發展ChatGPT等生成式AI產品來說，起到了至關重要的推動和保護作用。

連結如下：https://www.whitehouse.gov/briefing-room/statements-releases/2023/10/30/fact-sheet-president-biden-issues-executive-order-on-safe-secure-and-trustworthy -artificial-intelligence/

哪裡跪了？ 人和 AI 合作，到底有什麼危險？

連結：https://news.miracleplus.com/share_link/113120

「科技是懶人推動的！」相信所有人在「摸魚」或「躺平」時候，都曾經用這句話為自己找藉口。 從蒸汽機的工業革命，到電腦的數位革命，科技的進步確實讓人類在某些方面，越來越有躺平的資本。 作為最有潛力成為下一代平台的 AI 技術，會讓人類變得「更懶」嗎？ 好像確實是的，但這不是個好消息。 根據發表在《機器人與人工智慧前沿》雜誌上的一項最新研究顯示，當人類與 AI 和機器合作時，真的會「摸魚偷懶」。 該研究的第一作者 Cymek 稱：「團隊合作既可以是一種祝福，也可以是一種詛咒。」