AI(人工知能)10分で読めます

テンセント、混元Hy4の重みを公開 100万トークン対応のMoEモデル

AI要約複数の情報源を統合して作成しています

テンセントは11月20日、大規模言語モデル「混元Hy4」のモデル重みをGitHubなど4つのプラットフォームで公開しました。総パラメータ770B、100万トークンのコンテキストに対応し、Apache2.0ライセンスで商用利用も可能です。

テンセント、混元Hy4の重みを公開 100万トークン対応のMoEモデル

テンセントは11月20日、大規模言語モデル(LLM)「混元(Hunyuan)Hy4」のモデル重みを公開したと発表しました。GitHub、Hugging Face、ModelScope、GitCodeの4つのプラットフォームで同時に配布され、開発者は自らダウンロードして利用できます。今回の公開により、混元LLMシリーズは全バージョンがオープンソース化されたことになります。

ポイント

  • テンセントが混元Hy4のモデル重みを11月20日に公開
  • 配布先はGitHub、Hugging Face、ModelScope、GitCodeの4プラットフォーム
  • Hy4は総パラメータ770B、活性化パラメータ49BのMoEアーキテクチャ
  • コンテキストウィンドウは100万トークンに対応
  • 商用利用と改変を認めるApache2.0ライセンスを採用

混元シリーズの全バージョンがオープンソース化

混元LLMシリーズは今回の公開で、Hy3preview、Hy3、Hy4preview、Hy4、Hy4flashといった複数バージョンがすべてオープンソース化されました。

Hy4の正式版は11月4日にリリースされており、今回はその際に予告されていたモデル重みが公開された形です。Hy4はMoE(Mixture of Experts、複数の専門家モデルを組み合わせる方式)アーキテクチャを採用しています。総パラメータ数は770B(7700億)に達し、推論時に実際に使われる活性化パラメータは49B(490億)です。コンテキストウィンドウ(一度に処理できる文章の量)は100万トークンを超え、長い文書や複雑なタスクにも対応できます。

低コスト版のHy4flashも同時公開

フラッグシップ版のHy4とあわせて、コストパフォーマンスを重視したHy4flashも公開されました。総パラメータ数は224B(2240億)で、うち64B(640億)はEngramパラメータです。各トークンで12B(120億)のパラメータを活性化し、マルチモーダル入力と100万トークンのコンテキスト長をサポートします。API価格はHy4より大幅に低く設定されているということです。

Apache2.0ライセンスと安全評価

Hy4とHy4previewはともにApache2.0ライセンスを採用しており、商用利用と改変が認められています。企業が導入したり二次開発したりしやすい条件です。

重みの公開に合わせて、テンセント混元はHy4の安全評価カード(System Card)も公表し、サイバーセキュリティやバイオセキュリティなどの分野における評価結果を明らかにしました。公式の説明によると、Hy4のトレーニングデータにはPoC(概念実証)の生成や脆弱性の修正といった防御的なサイバーセキュリティ内容のみが含まれ、脆弱性の悪用、リバースエンジニアリング、ペネトレーションといった攻撃的なデータは除外されています。テンセント玄武と科恩ラボによる監査でも、明らかな攻撃的能力のリスクは確認されなかったということです。

背景

テンセントは中国の大手IT企業で、SNSのWeChatやメッセージアプリQQなどを運営しています。混元は同社が開発するLLMシリーズで、自社サービスへの搭載に加えて外部開発者向けにも提供されてきました。中国では阿里巴巴(アリババ)のQwenやDeepSeekなどもモデルを積極的に公開しており、オープンソースのLLMを巡る競争が続いています。モデルの重みを公開すると、企業や研究機関が自社環境で動かしたり、自社データで追加学習したりできるようになります。

解説

MoEは、入力内容に応じて一部の専門家モデルだけを動かす方式です。総パラメータが大きくても実際に計算するパラメータを抑えられるため、性能とコストのバランスを取りやすいとされます。コンテキストウィンドウが100万トークンあると、長編の資料やコードなど大量の文章を一度に読み込ませた処理が可能になります。

日本のユーザーへの影響

日本での提供時期や日本語での利用条件は、今回の発表では明らかにされていません。Apache2.0ライセンスのため、条件を守れば日本企業が自社システムに組み込んだり、日本語データで追加学習したりする道は開かれています。ただし、実際の日本語性能やAPIの料金は別途確認が必要です。

出典元記事を読む(AI(人工知能))
LINEX
NihonTechHub

NihonTechHub

技術系ジャーナリスト

日本の最新テクノロジーやスタートアップ情報を発信するプラットフォームです。国内外のイノベーションをつなぎ、未来を切り開くための知識とインスピレーションを提供します。

Tools

NihonTechHub ソフトウェア · 私たちが開発した便利なツールとソフトウェア

Google Drive ダウンローダー

閲覧専用ファイルの簡単ダウンロード

Google DriveのView-only(閲覧専用)ファイルを簡単にダウンロードできるツールです。PDF、Docxファイルに対応しています。

PDF 対応済みDocx 対応済み無料で利用可能

この機能はNihonTechHubアプリでもご利用いただけます(Android・iOS対応)

App

無料

外出先でも最新のテクノロジーニュースをチェック!リアルタイム通知とパーソナライズされたニュースフィードを受け取るにはアプリをダウンロードしてください。

  • ・リアルタイム更新
  • ・プッシュ通知
  • ・カスタマイズ可能