AI(人工知能)10分で読めます

テンセント、大規模モデル「Hy4flash」をオープンソース化 224Bのスパース構成

AI要約複数の情報源を統合して作成しています

テンセントのHunyuanは、224Bパラメータの大規模言語モデル「Hy4flash」をオープンソース化しました。標準版・量子化版・Base版の3種類をGitHubなど4つのプラットフォームで公開し、GGUF形式も提供します。

テンセント、大規模モデル「Hy4flash」をオープンソース化 224Bのスパース構成

テンセントのAI研究チームであるTencent Hunyuanは、大規模言語モデル(LLM)「Hy4flash」シリーズをオープンソース化したと発表しました。標準版の「Hy4flash」、量子化版の「Hy4flash-FP8」、研究者がゼロから学習できる「Hy4flash Base」の3種類を一挙に公開しています。重みを誰でも入手できるようにすることで、LLMを使ったアプリ開発のコストを下げる狙いがあります。

ポイント

  • テンセントのHunyuanが「Hy4flash」シリーズをオープンソース化
  • 標準版、量子化版のFP8、Base版の3種類を公開
  • 総パラメータ数は224Bで、1トークンあたり12Bのみを活性化するスパース構成
  • コンテキスト長は最大100万トークン、マルチモーダル入力に対応
  • GitHub、Hugging Face、ModelScope、GitCodeの4つのプラットフォームからダウンロード可能

公開されるモデルと入手方法

今回公開されたのは、標準版の「Hy4flash」、量子化版の「Hy4flash-FP8」、そして研究者向けの「Hy4flash Base」の3つです。量子化版は、モデルの精度をある程度保ちながらデータ量を減らした版で、限られた計算資源でも動かしやすくなります。Base版は、独自の目的に合わせてゼロから学習し直したい研究者や開発者向けです。

モデルはGitHub、Hugging Face、ModelScope、GitCodeの4つのプラットフォームからダウンロードできます。ローカル環境で動かしたい人向けにGGUF形式も用意されているということです。あわせて、より大きな「Hy4」モデルについても、オープンソース化に向けて準備を進めていると予告しています。

コストパフォーマンスを重視した設計

Hy4flashは、最大の性能よりもコストパフォーマンスを重視したモデルと位置づけられています。総パラメータ数は224B(2240億)で、そのうち64Bの「Engram」パラメータを含みます。推論時には各トークン(AIが文章を処理する単位)で12Bのみを活性化するスパースアーキテクチャを採用しており、計算資源を抑えながら能力を維持する設計です。

マルチモーダル入力に対応し、コンテキストウィンドウ(一度に扱える文章の長さ)は100万トークンまで拡大しました。APIの価格は「Hy4」より大幅に引き下げられており、公式は「これまでで最もコストパフォーマンスの高いHyモデル」としています。

すでに各製品に搭載

実用化も進んでいます。Tencent Cloudの「TokenHub」、テンセントのAIアシスタント「元宝」、ビジネスチャットの「WeCom」、メッセージアプリ「QQ」、AIアプリ「ima」、そして「Marvis」などの製品がすでにこのモデルを組み込んでいます。

開発者にとっては、重みをダウンロードでき、ライセンスが公開され、価格もより安いため、大規模モデルを使ったアプリのコストのハードルを一段下げることになります。テンセントにとってオープンソース化は存在感を示すだけでなく、コミュニティを通じて自社エコシステムに還元するという定番の戦略でもあります。

背景

テンセントは、中国のIT大手で、SNSのWeChatやQQ、クラウドサービスのTencent Cloudなどを展開しています。Hunyuanは同社のAIモデル群のブランドで、これまでも複数のモデルを公開してきました。中国では、アリババやバイトダンス(ByteDance)などもLLMを相次いでオープンソース化しており、開発者を取り込む競争が続いています。モデルを無償で公開し、自社クラウドや製品への利用につなげる動きが広がっている状況です。

解説

スパースアーキテクチャは、モデル全体のパラメータの一部だけを推論時に使う仕組みです。Hy4flashの場合、224Bのパラメータのうち、各トークンで実際に働くのは12B分だけです。すべてを使う場合に比べて計算量を抑えられ、同じ計算資源でも大きなモデルを動かしやすくなります。コンテキストウィンドウが100万トークンと大きいため、長い文書やコードの読み込みにも向いています。

日本のユーザーへの影響

Hy4flashはオープンソースとして公開されているため、日本の開発者もGitHubなどからダウンロードして利用できます。ただし、日本での正式なサービス提供時期やAPIの日本円での価格は、現時点では明らかにされていません。テンセントのクラウドサービスを通じた利用が可能かどうかも、今後の発表を待つ必要があります。

出典元記事を読む(AI(人工知能))
LINEX
NihonTechHub

NihonTechHub

技術系ジャーナリスト

日本の最新テクノロジーやスタートアップ情報を発信するプラットフォームです。国内外のイノベーションをつなぎ、未来を切り開くための知識とインスピレーションを提供します。

Tools

NihonTechHub ソフトウェア · 私たちが開発した便利なツールとソフトウェア

Google Drive ダウンローダー

閲覧専用ファイルの簡単ダウンロード

Google DriveのView-only(閲覧専用)ファイルを簡単にダウンロードできるツールです。PDF、Docxファイルに対応しています。

PDF 対応済みDocx 対応済み無料で利用可能

この機能はNihonTechHubアプリでもご利用いただけます(Android・iOS対応)

App

無料

外出先でも最新のテクノロジーニュースをチェック!リアルタイム通知とパーソナライズされたニュースフィードを受け取るにはアプリをダウンロードしてください。

  • ・リアルタイム更新
  • ・プッシュ通知
  • ・カスタマイズ可能