テンセントのHunyuan(混元)チームは11月20日、大規模言語モデル「Hy4」の重みをGitHub、Hugging Face、ModelScope、GitCodeの4つのプラットフォームで公開しました。開発者がダウンロードして自ら環境に導入できるようになり、Hunyuan LLMシリーズはHy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flashのすべてが揃って完全なオープンソース化を達成したとしています。
ポイント
- テンセントがHy4の重みを4つのプラットフォームで公開
- Hy4は総パラメータ770BのMoEアーキテクチャで、コンテキストウィンドウは100万トークン超
- 軽量版のHy4 flashも同時公開、総パラメータ224B
- Hy4とHy4 previewは商用利用・改変自由のApache 2.0ライセンス
- 学習データは防御的なセキュリティ内容に限定したと説明
Hy4の概要とスペック
Hy4の正式版は11月4日にリリースされており、今回の公開で事前に予告されていたオープンソース化が実現しました。モデルはMoE(Mixture of Experts、入力に応じて一部の専門家モジュールだけを使う方式)アーキテクチャを採用しています。
- 総パラメータ数:770B
- トークンあたりのアクティブパラメータ:49B
- コンテキストウィンドウ:100万トークン超
あわせて公開されたのが、コストパフォーマンスを重視した「Hy4 flash」です。
- 総パラメータ数:224B(うち64BはEngramパラメータ)
- トークンあたりのアクティブパラメータ:12B
- マルチモーダル入力と100万トークンのコンテキストに対応
- API価格はフラッグシップ版より大幅に低い
Hy4とHy4 previewはともにApache 2.0ライセンスで提供され、商用利用も改変も制限がありません。
セーフティ評価カードも同時公開
モデルと一緒に公開されたのが、セーフティ評価カード(System Card)です。公式の説明によると、Hy4のトレーニングデータはサイバーセキュリティの観点から、PoC(概念実証)の生成や脆弱性の修正といった防御的な内容のみを採用しています。脆弱性の悪用、リバースエンジニアリング、ペネトレーションテストなどの攻撃的なデータはすべて排除したということです。
テンセントの玄武(Xuanwu)研究所と科恩(Keen)研究所による監査では、明らかな攻撃的能力のリスクは確認されなかったとしています。重みを公開した後もこの方針を維持する姿勢を示した形で、まず安全性の報告書を公表したうえでコミュニティに開放する流れとなっています。
背景
テンセントは中国の大手テクノロジー企業で、Hunyuanは同社が展開する大規模言語モデルのシリーズ名です。中国では阿里巴巴(アリババ)のQwenやDeepSeekなど、重みを公開するオープンソース型のモデルが相次いで登場しており、開発者コミュニティの獲得競争が続いています。重みを公開すれば、企業や研究機関が自社環境でモデルを動かしたり、自らのデータで追加学習させたりできるため、採用が広がりやすくなります。
解説
MoEは、モデル全体を一つの巨大なネットワークとして動かすのではなく、複数の「専門家」と呼ばれる小規模なネットワークに分け、入力に応じて必要なものだけを使う仕組みです。総パラメータ数が大きくても、実際に計算に使うパラメータを抑えられるため、性能とコストのバランスを取りやすくなります。Hy4の場合、総パラメータは770Bですが、1トークンあたりの計算には49Bのみが使われます。
コンテキストウィンドウは、モデルが一度に扱える文章の長さのことです。100万トークンは非常に長く、長編の文書や大規模なコードベースをまとめて入力する用途に向きます。
日本のユーザーへの影響
Hy4はApache 2.0ライセンスで公開されており、日本の開発者や企業も自社環境への導入や商用利用が可能です。ただし、日本国内での正式なサポートや日本語向けの最適化については、今回の発表では言及されていません。APIの提供状況や料金体系も明らかにされておらず、今後の情報公開が待たれます。
