【2月8日～18日ビッグモデル日替わりスペシャル】春祭りギフトパック！ OpenAI の最初のビデオ生成モデルがリリースされ、ネチズンを感動させた 60 秒の高解像度の傑作、Google Gemini 1.5 がすぐにオンライン化: MoE アーキテクチャ、100 万コンテキスト; 突然! AIの第一人者、アンドレイ・カルパシー氏がOpenAIを離れる；7兆ドル：世界の半導体産業を再構築するOpenAIの超大型チップ計画が暴露される

Chen Danqi チームによる新作: データ量が 95% 削減され、大規模モデルのパフォーマンスがさらに強化されました。 少ないほうがいいですね

https://news.miracleplus.com/share_link/18484

大規模モデルの構築コストが再び削減されました。 今回はデータ量を95％削減した。 Chen Danqi 氏のチームは最近、大規模モデルのコストを削減する方法であるデータ選択アルゴリズム LESS を提案しました。これは、微調整指示のタスクに最も関連性の高いデータの 5% のみを選択します。その効果は、データセット全体を使用するよりも優れています。 命令の微調整は、基本モデルを ChatGPT アシスタント モデルにするための重要なステップです。

スタンフォードの最も強力な家事ロボット ALOHA 2 が登場、価格は 20 万未満、Google DeepMind と提携、完全にオープンソース

https://news.miracleplus.com/share_link/18485

スタンフォード大学などは2023年に、デュアルマニピュレーターを遠隔操作するための低コストのオープンソースハードウェアシステム「ALOHA」を立ち上げ、チェーンの組み立てや卓球のボールの持ち上げなど、複雑で豊富なタスクを遠隔操作して完了できるようにした。 今年1月、Google DeepMindとスタンフォードは共同で、遠隔操作や両手操作の模倣も可能で、モバイル基地を通じて大空間での遠隔操作を実現する「Mobile ALOHA」を開始した。 このように、野菜の下ごしらえ、炒める、炊く、洗う、猫と遊ぶ、花に水やりをするなど、まさに家事ロボットとして人気を博しています。 本日、Google DeepMind と Stanford は ALOHA の強化版である ALOHA 2 を発表しました。 第一世代と比較して、ALOHA 2はより強力なパフォーマンス、人間工学に基づいたデザイン、堅牢性を備え、価格は20万元未満です。

MIT と IBM チームは、賢い AI 手法を使用して「強引な」数学問題を解決します

https://news.miracleplus.com/share_link/18486

ニュートンの時代以来、光学、音響、工学、電子などの基本的な自然法則は、最終的には一連の重要で広範な方程式に要約されてきました。 今回、研究者らは、脳にヒントを得たニューラル ネットワークを使用してこれらの方程式を以前より効率的に解く新しい方法を発見し、科学や工学における多くの応用の可能性を秘めています。 関連する研究は「偏微分方程式の物理学強化ディープサロゲート」というタイトルで、「Nature Machine Intelligence」に掲載されました。

音声生成の「スマートな出現」: 100,000 時間のデータトレーニング、Amazon が 10 億のパラメータを提供 BASE TTS

https://news.miracleplus.com/share_link/18487

生成深層学習モデルの急速な発展により、自然言語処理 (NLP) とコンピューター ビジョン (CV) は、教師ありトレーニングによる特殊なモデルから、限られた明示的な命令で完了できるモデルへと根本的な変化を遂げています。 。 この変化は音声処理や音声合成 (TTS) の分野でも起こっており、モデルは数千時間のデータを活用して、合成結果を人間のような音声にますます近づけることができます。 最近の調査では、Amazon は BASE TTS を正式に開始し、TTS モデルのパラメータ サイズを前例のないレベルの 10 億に増加しました。

Fudan TravelPlanner により、大規模な言語モデルが旅行計画に挑戦できるようになります

https://news.miracleplus.com/share_link/18488

人工知能の開発プロセスにおいて、計画は常に中心的な取り組みの 1 つです。 ただし、人間レベルの計画に必要な多様な認知基盤が欠如しているため、初期の AI エージェントは主に制約された環境に焦点を当てていました。 大規模言語モデル (LLM) の出現により、新世代の言語エージェントは、ツールの使用や推論などの興味深い機能を実証しました。 これにより、次のような疑問が生じます。これらの言語エージェントは、以前の AI エージェントでは対応できなかった、より複雑な環境でも計画を立てることができるのでしょうか? この問題を詳しく調査するために、一般的な現実世界の計画シナリオ、つまり旅行計画に焦点を当てた新しい計画ベンチマーク、TravelPlanner を提案します。 これは人間にとってさえ難しい作業ですが、適切なツールと十分な時間があれば、ほとんどの人が正常に完了できる作業です。

ファーウェイの大型Panguモデルが「小型」になり1.5Bでも再生可能

https://news.miracleplus.com/share_link/18489

ChatGPT などの一連のモデルの登場は、その強力なパフォーマンスで世界的な注目を集めており、人間とコンピュータの間のインタラクションを変え、何千もの業界に適用されることが期待されています。 ただし、これらの大規模なモデルは実際には非常に多くのメモリとコンピューティング リソースを必要とするため、さまざまなシナリオでのアプリケーションが制限されます。 たとえば、175B パラメータを持つ GPT-3 は、FP32 データ型を使用して保存する場合、約 700GB のメモリを必要とします。 7B パラメータ モデルは比較的効率的ですが、そのリソース要件により、携帯電話などのエッジ デバイスに直接展開することが依然として困難です。 さらに、多くの研究では、良好なパフォーマンスを発揮する複数の大規模な言語モデルの構築に成功していますが、多くの場合、同様のトレーニング戦略が採用されています。 一方で、多くの作業はデータの収集とクリーニングに重点が置かれており、効果的なトレーニング戦略の研究にはあまり重点が置かれていません。 一方で、大規模なモデルのトレーニングにはコンピューティング リソースへの非常に多額の投資が必要となるため、多数の最適化戦略を検討することは非現実的です。 この研究では、著者は 1B 言語モデルをキャリアとして使用し、小さな言語モデルがどのようにエリクサーを作成すべきかを詳細に議論します。 著者はモデルの構造、パラメータの初期化、モデルの最適化手法という3つの観点から研究を進め、小さな言語モデルの効果を高めるための4つの錬金術手法をまとめています。

Google が新しい RLHF 手法を提案: 報酬モデルを排除し、敵対的トレーニングの必要性を排除

https://news.miracleplus.com/share_link/18490

大規模言語モデル (LLM) の成功は、「ヒューマン フィードバックに基づく強化学習 (RLHF)」と切り離すことができません。 RLHF は大きく 2 段階に分かれており、まず、望ましい行動と望ましくない行動のペアが与えられた場合、対象を分類することで前者に高いスコアを割り当てるように報酬モデルをトレーニングします。 この報酬関数は、ある種の強化学習アルゴリズムを通じて最適化されます。 ただし、報酬モデルの主要な要素には望ましくない影響が生じる可能性があります。 カーネギー メロン大学 (CMU) と Google Research の研究者は共同で、シンプルで理論的に厳密で実験的に効果的な新しい RLHF 手法である Self-Play Preference Optimization (SPO) を提案しました。 このアプローチでは報酬モデルが不要になり、敵対的なトレーニングは必要ありません。

大規模言語モデルの信頼への道: TrustLLM が完全に明らかに

https://news.miracleplus.com/share_link/18491

NLP における大規模言語モデル (LLM) の優れた機能は広く注目を集めており、私たちの生活のあらゆる側面におけるアプリケーションに影響を与えています。 LLM の優れた機能は、Web からの大規模な生のテキストをトレーニング データとして使用すること、多数のパラメーターを使用したトランスフォーマー アーキテクチャ設計の使用、高度なモデル トレーニング スキームなど、いくつかの要因によるものです。 しかし、LLM の台頭により、その信頼性に対する懸念も生じています。 従来の言語モデルとは異なり、LLM には信頼性の問題につながる可能性のある独自の特性があります。 TrustLLM は、LLM の信頼性を包括的に分析するための統一フレームワークです。これには、既存の研究の包括的なレビュー、信頼できる LLM のさまざまな側面の原則、新しいテスト ベンチマーク、主流の LLM 学位評価の包括的な信頼性が含まれます。

ICLR 2024 | 初のゼロ次最適化深層学習フレームワーク、MSU と LLNL が DeepZero を提案

https://news.miracleplus.com/share_link/18492

今日は、ミシガン州立大学とローレンス リバモア国立研究所のゼロ次最適化深層学習フレームワークに関する論文「DeepZero: Scaling up Zeroth-Order Optimization for “Deep Model Training”」を紹介します。この論文は ICLR 2024 に受理され、そのコードはオープンソース化されています。

RAGか微調整か？ Microsoft は、特定の分野における大規模モデル アプリケーションの構築プロセスに関するガイドをリリースしました

https://news.miracleplus.com/share_link/18493

大規模な言語モデル アプリケーションを構築する際に独自のドメイン固有データを組み込むには、一般に 2 つの一般的なアプローチがあります。それは、検索強化の生成と微調整です。 検索の強化により、外部データによって強化されたヒントが生成され、微調整により追加の知識がモデル自体に統合されます。 ただし、これら 2 つの方法の長所と短所は完全には理解されていません。 この記事では、Microsoft の研究者が、特定のコンテキストと適応的な応答を必要とする業界 (農業) 向けの AI アシスタントの作成という新たな焦点を紹介します。 このペーパーでは、高品質で業界固有の質問と回答を生成するための包括的な大規模言語モデル パイプラインについて説明します。 このアプローチには、幅広い農業トピックをカバーする関連文書を特定して収集する体系的なプロセスが含まれます。 これらの文書はその後、基本的な GPT モデルを使用して意味のある質問と回答のペアを生成するために整理および構造化されます。 生成された質問と回答のペアは、その品質に基づいて評価され、フィルタリングされます。

性能向上とコスト削減、これが分散強化学習アルゴリズムの最新研究成果です

https://news.miracleplus.com/share_link/18494

深層強化学習 (DRL) は、継続的な意思決定の問題を解決するための効果的なテクノロジとして認識されています。 DRL のデータ非効率の問題に対処するために、分散機械学習テクノロジーにヒントを得た分散深層強化学習 (DDRL) が提案され、コンピューター ビジョンと自然言語処理の分野で成功裏に適用されています。 深層強化学習を大規模なアプリケーションに移行させ、複雑な意思決定空間や長期計画の問題を解決するには、分散強化学習が唯一の方法であると信じている人もいます。 分散強化学習は、深層強化学習アルゴリズムと分散システム設計の相互認識と協力を必要とする包括的な研究サブ分野です。 DDRL の目覚ましい進歩を考慮して、DDRL テクノロジーの開発の歴史、課題、機会に関する一連の記事を編成しました。 パート 1 では、古典的な DDRL フレームワークをレビューしました。このパートでは、3 つの論文を使用して、DDRL の現在の状況、つまり最新の研究の進歩を具体的に分析します。

Google Gemini 1.5 が迅速にリリース: MoE アーキテクチャ、100 万コンテキスト

https://news.miracleplus.com/share_link/18496

Gemini 1.5 は、Gemini 1.5 のトレーニングとサービスをより効率的に行う新しい Mix of Experts (MoE) アーキテクチャなど、Google の基礎的なモデル開発とインフラストラクチャにおける研究およびエンジニアリングのイノベーションに基づいて構築されています。 Google が現在展開しているのは、初期テスト用の Gemini 1.5 の最初のバージョン、Gemini 1.5 Pro です。 これは、さまざまなタスクにわたるスケーリングに最適化された中規模のマルチモーダル モデルであり、Google のこれまでで最大のモデルである 1.0 Ultra と同様のパフォーマンス レベルを実現し、長期コンテキストの理解における画期的な実験的機能を導入しています。 Gemini 1.5 Pro には 128,000 のトークン コンテキスト ウィンドウが付属しています。 しかし本日より、少数の開発者と企業顧客は、AI Studio と Vertex AI のプライベート プレビューを通じて、最大 100 万トークンのコンテキスト ウィンドウでそれを試すことができます。 Google もいくつかの最適化を行っています。