[10 月 20 日の Big Model Daily] OpenAI がついにオープン: DALL-E 3 論文が発表され、ChatGPT が開始される 著者の半数は中国人; AI PC: 一生に一度の業界の救世主! インテルは来年には数千万台に達すると予想している。

OpenAI がついにオープン: DALL-E 3 論文が公開、ChatGPT が開始、著者の半数が中国人

リンク: https://news.miracleplus.com/share_link/11055

Dall-E3 モデルのリリースは大きな話題を呼び、テクノロジー リーダーとしての OpenAI のイメージを再び固めました。 一瞬、誰もが不思議に思いました、どうしてこのような爆発的な効果が達成できるのでしょうか？ ただし、OpenAIが以前GPT-4をリリースした時と同様、当時も技術的な詳細を明らかにしなかったのは残念だ。 しかし、1 か月後も、OpenAI は皆にいくつかの驚きを与えました。 22 ページの論文で、DALL・E 3 に加えられた改良点が説明されています。 この論文の重要な点は次のとおりです: モデル機能の改善は主に詳細な画像キャプションから来ています; 短く詳細なテキストを生成するために画像テキスト記述モデルをトレーニングしました; T5 テキスト エンコーダを使用しました; 短いプロンプトを改善するために GPT-4 を使用しましたユーザーによって書かれたもので、U-net デコーダーをトレーニングし、それを 2 つのノイズ除去ステップに抽出しました。テキストのレンダリングは依然として信頼性が低く、モデルでは単語トークンを文字の画像にマッピングするのが難しいと考えられています。 この論文に加えて、OpenAI は重要なニュースも発表しました。DALL・E 3 が ChatGPT で正式にリリースされ、Plus ユーザーと Enterprise ユーザーの両方が利用できるようになりました。

Vivo は大規模モデルの機能を事前に「漏洩」します

リンク: https://news.miracleplus.com/share_link/11056

最も人気のある Android スマートフォンには大型モデルが登場するのでしょうか? ！ 新しいバージョンの携帯電話システムを改ざんすることなくそのままインストールした、発売後すぐに使えるタイプです。 ご存知のとおり、国産大型機種が花盛りですが、携帯電話における「数百機種の戦い」はまだ準備段階に入ったばかりと言えます。 携帯電話メーカーは自社で大型モデルを開発しているが、実際に携帯電話システムに搭載しているメーカーは少ない。 少し前に、vivo が大型の携帯電話 AI モデルを密かに開発しているというニュースがたくさんありましたが、いよいよ本格的に始動し、正式発表は 11 月 1 日に行われる vivo 開発者カンファレンスで予定されています。 4が利用可能になります。 vivo担当者が明らかにしたニュースからは、大型モデル5機種を一挙に発売すること、大型モデルを携帯電話に組み込んでお絵描きのアシスタントとして利用できること、そして7機種を一挙にリリースすることの3点が挙げられる。大型モデルの 10 億バージョンが業界に公開されます。

Thrive は OpenAI の株式を評価額 800 億ドルで購入中、OpenAI は社内でオペレーティング システムになる可能性があると考えており、現在のチーム規模は 700 名に拡大

リンク: https://news.miracleplus.com/share_link/11057

ベンチャーキャピタル会社Thrive Capitalが、公開買い付けを通じてOpenAI従業員の株式を取得する取引を主導しており、同社の評価額は少なくとも800億ドルになるとThe Informationが本日報じた。半年前の同様の取引よりも。 OpenAIは4月に従業員の株式をThriveやその他の投資家に270億ドルの評価額で売却したが、OpenAIの新たな評価額は年間売上高の60倍を超え、現在最も評価の高い企業の1つとなっている。 関係投資家らは、OpenAIが新たな評価額を利用して新たな資金調達の下限価格を設定するのではないかと期待しており、サム・アルトマン氏は非公開で、同社が資金を調達することを望んでいると述べたが、新たな評価額は一部の潜在的な投資家を不満にさせた。 OpenAI が昨年 2,800 万ドルの収益を上げた後、アルトマン氏は従業員に対し、同社は ChatGPT チャットボットへの有料サブスクリプションと、ChatGPT を駆動する大規模ソフトウェアである GPT-4 へのアクセスの販売により、ARR で 13 億ドルを生み出していると語った。それをサポートするコンピューティング能力。 OpenAIの損失の規模は現時点では不明だが、OpenAIの従業員数は昨年末から2倍以上に増加し、少なくとも700人となっている。

AI PC: 一生に一度の業界の救世主! インテルは来年には数千万台に達すると予想している

リンク: https://news.miracleplus.com/share_link/11058

NVIDIA CEO の Jen-Hsun Huang は、「AI のゴッドファーザー」として尊敬されています。Generative AI (AIGC) は、数え切れないほどの人々の仕事と生活の経験を破壊してきました。しかし、Huang のビジョンと領域は、より多くの GPU を販売することだけではありません。業界の変化に対する深い理解、特に PC 業界における AI の重要性など、将来を見据えた理解。 多くの人は、今年 5 月に国立台湾大学の卒業式に出席した黄仁勲氏がスピーチで次のように述べたことに気づいていないかもしれません。「PC 業界は再生の機会を迎えています。今後 10 年で、新しい AI が登場します」 PC は置き換えられるでしょう 従来の PC の市場価値は数兆ドルに達する可能性があります。」 ことわざにあるように、英雄は同じように考えています。Intel と AMD はどちらも AI PC の開発に熱心に取り組んでいます。Intel CEO のパット キッシンジャー氏は率直に次のように述べています。 「これは未来です。これは、数年後の PC 市場における重要な転換点であり、当社のすべての製品に AI が統合されることになります。」同氏は、2024 年までに数千万台の新しい AI 対応 PC が市場に登場すると予測しています。 。

RTX 4090 が制限される時代に、大型モデルで RLHF を使用するより効率的な方法が登場

リンク: https://news.miracleplus.com/share_link/11059

今年は、ChatGPT が主導するラージ言語モデル (LLM) があらゆる面で輝きを放ち、学界やビジネス界で GPU などのコンピューティング リソースの需要が急増しました。 たとえば、Llama2-7B モデルの教師あり微調整 (SFT) には 80 GB 以上のメモリが必要です。 しかし、これでは十分ではないことが多く、人間と一致させるために、大規模な言語モデルは RLHF (人間のフィードバックからの強化学習) トレーニングを受ける必要があります。 RLHF の GPU 消費量は SFT の 2 倍を超えることが多く、トレーニング時間は 6 倍を超える場合があります。 最近、米国政府は、H100 や H800 などの NVIDIA GPU 製品の中国市場への参入を制限すると発表しました。 この規定は、間違いなく、中国の大規模言語モデル (LLM) と人工知能の開発に対して大きな抵抗を加えます。 RLHF のトレーニング コスト (GPU 消費量とトレーニング時間) を削減することは、LLM の開発にとって非常に重要です。 この論文では、ヒューマン フィードバック (RLHF) に基づく強化学習用に設計された、ReMax と呼ばれる新しいアルゴリズムが紹介されています。 ReMax は、パフォーマンスを損なうことなく、計算効率 (GPU メモリの約 50% 削減、トレーニング速度の 2 倍の向上) と実装の単純さ (コード 6 行) の点で、最も一般的に使用されているアルゴリズム PPO を上回っています。

復旦大学とファーウェイ・ノアが反復的な高品質ビデオ生成を実現するVidRDフレームワークを提案

リンク: https://news.miracleplus.com/share_link/11060

復旦大学とファーウェイのノアの方舟研究所の研究者は、画像拡散モデル (LDM) – VidRD (再利用と拡散) に基づいて高品質ビデオを生成するための反復ソリューションを提案しました。 このソリューションは、生成されるビデオの品質とシーケンスの長さにおいて画期的な進歩を遂げ、高品質で制御可能な長いシーケンスのビデオ生成を実現することを目的としています。 これは、生成されたビデオ フレーム間のジッター問題を効果的に軽減し、研究と実用的な価値が高く、現在注目を集めている AIGC コミュニティに貢献します。 本稿では「再利用と拡散」というフレームワークを提案します。 このフレームワークは、LDM によってすでに生成された少数のビデオ フレームの後にさらに多くのビデオ フレームを生成できるため、より長く、高品質で多様なビデオ コンテンツを繰り返し生成できます。

プロジェクトを中止するように促しますか? MIT スタンフォードでは、大きなモデルが率先して質問し、ユーザーが何を望んでいるのかを理解できるようにします。

リンク: https://news.miracleplus.com/share_link/11061

具体的には、本研究では新たな学習フレームワーク「GATE（Generative active task elicitation）」を提案します。 大規模なモデル自体の能力に基づいて、人間のユーザーの好みを引き出し、推論することができます。 研究チームはこれをより積極的なアプローチと呼んでいます。これは、人間の好みをより明確に表現できるように、大規模なモデルにユーザーに質問させるという形をとります。 これに対応して、教師あり学習とプロンプト エンジニアリングはどちらも受動的手法であり、教師あり学習と少量の能動学習は例に基づいています。 なぜ人間に「客には背を向けろ」と注意させる必要があるのでしょうか？ 人間が与えるプロンプトには限界があるため、自分の好みを正確かつ完全に表現できない場合があります。 たとえば、多くの人がプロンプトのプロセスを理解していないか、プロンプトのプロセス中に誤解を招く情報を提供しています…これらは大規模なモデルのパフォーマンスの低下につながります。 例が論文に示されています。 ユーザーがテニス関連の記事を読むのが好きで、テニス ツアーやサーブ テクニックに興味があると言ったとします。 しかし、彼が提供した記事の参考文献からは、彼がテニスに関連する他のトピックに興味があるかどうかを判断することは不可能でした。

評価額数百億ドルの清華大学発の大手モデル企業が、今年中に25億元を調達したことを明らかにした。

リンク: https://news.miracleplus.com/share_link/11062

模型スタートアップ大手のZhipu AIは25億元以上の資金調達を完了したことを明らかにした。 この数字はすでに多くのAIスタートアップ企業の現在の評価額を上回っている。 さらに重要なのは、この25億元の資金調達は「今年蓄積された」だけであり、今年以前にZhipu AIはすでに（少なくとも）3ラウンドの資金調達を実施していた。 9月に市場ニュースが出たのも不思議ではなく、国内有数の大型モデル企業であるZhipu AIの市場評価額はすでに約120億元に達している。 Zhipu の公式ニュースによると、今年の資金調達は大型ベースモデルのさらなる研究開発に使用される予定です。 今回公開された投資家の長いリストを見ると、Meituan、Ant、Alibaba、Tencent、Xiaomi、TALなどの老舗インターネット企業の名前が明記されているほか、Legendlian、Shunwei、Sequoia、Gao Lingなど多くの企業が初めて名前を連ねている。 -層VC。 Qubitは以前、Meituan、Alibaba、AntなどがZhipuに賭けていることを知り、彼らはいずれも「グループにビジネスを持ち込む」というルートをたどり、Zhipuの純資産を一気に押し上げた。