Appleは、M5チップがM4チップに比べてローカルLLM（大規模言語モデル）の性能を向上させたと発表しました。M5チップは、新しいGPUニューラルアクセラレータを搭載し、多くの機械学習作業に重要な行列乗算操作を提供するとしています。
Appleは数年前に、Appleシリコン上で効率的かつ柔軟な機械学習を可能にする「MLX」というオープンソースの配列フレームワークを発表しました。MLXは、数値シミュレーションや科学計算から機械学習まで幅広いアプリケーションに対応しており、テキストや画像の生成もサポートしています。さらに、MLX LMというパッケージを用いることで、Hugging Faceにある多くのモデルをAppleシリコンMac上でローカルに実行することが可能です。
M5チップの性能向上は、主にメモリ帯域幅が120GB/sから153GB/sに28%増加したことによるものです。これにより、M5チップはM4チップに比べて19-27%の性能向上を示しました。また、画像生成においてもM5はM4よりも3.8倍以上の速さを記録しました。
Appleのブログ投稿では、Qwen 1.7Bや8B、Qwen 14Bモデルなどを用いたベンチマーク結果が示され、M5チップがどのようにして性能を向上させたかが詳述されています。これにより、M5チップはより高速な推論を実現し、開発者やユーザーにとって効率的な選択肢となっています。