CPUとGPUを知った人が、スマホやPCの端末内AIを支えるNPUへ進む記事です。
NPU（Neural Processing Unit）は、ニューラルネットワークの推論を、端末の中で低遅延・低電力に動かすための専用アクセラレータです。CPUやGPUが失敗した代用品ではありません。万能性の一部を手放し、AIで繰り返す計算へ回路を寄せた共同担当です。
CPUとGPUの基本を先に確認したい方は、GPUがAIで使われる理由を読むと役割分担が見えやすくなります。
この記事でわかること
- NPUが必要になった困りごと
- MAC・PE・オンチップメモリの役割
- 省電力になる4つの理由
- CPU・GPU・NPUの役割分担
- TPUから端末内AIへつながる流れ
- 性能とソフトウェアを見る注意点
NPUは何に困って必要になったのか
CPUやGPUがあるのに、なぜNPUまで増やしたんですか？
カメラ、音声、認証などでAI推論を何度も動かすようになり、端末では電力・熱・待ち時間が重くなったからじゃ。
一度だけ速く計算するより、電池を減らしすぎず日常的に動かすことが大切になったんですね。
その通り。通信せず端末内で処理したい場面も増え、AI専用の効率を持つ回路が必要になったんじゃ。
大きなモデルや重い処理に向きますが、ネットワークを経由します。
対応する処理なら、通信を待たず端末の中で実行できます。
誤解しないポイント： 端末内AIだから必ず高速・安全・完全オフラインとは限りません。AIモデル、アプリ、端末、クラウドとの分担によって変わります。
ここまでの一言まとめ：常時使うAIを、端末内で低遅延・低電力に動かしたい要求がNPUを必要にしました。
NPUは半導体の中でどう計算するのか
AI専用の回路は、中で何をしているんですか？
ニューラルネットで何度も出てくる「掛け算して足す」計算を、多数の演算器で並行して進めるんじゃ。
計算器を増やすだけでなく、使うデータも近くへ置くんですか？
そこが重要じゃ。同じ重みや入力を近くで再利用し、外部メモリとの往復を減らす。
MACはMultiply-Accumulateの略で、「掛け算して、その結果を足す」演算です。PEはProcessing Elementの略で、こうした計算を担当する小さな処理単位を指します。
NPUではさらに、INT8などの小さな数値表現を使う場合があります。必要な精度を保てる範囲で1つの数値を小さくすると、計算回路とデータ転送の負担を減らせます。
構造は製品ごとに違います： MACやPEの数、メモリ階層、データの流し方、対応する数値精度はベンダーや世代によって異なります。図は共通する考え方を簡略化したものです。
ここまでの一言まとめ：NPUは多数の演算器と近くのメモリを組み合わせ、同じデータを再利用しながらAI計算を進めます。
NPUはなぜ少ない電力で処理しやすいのか
「専用だから省電力」だけでは、まだ少しふわっとします。
では無駄を減らす場所を4つに分けよう。命令制御、並列計算、データ移動、数値の大きさじゃ。
計算そのものだけでなく、データを運ぶ電力も減らすんですね。
むしろAIでは、遠いメモリとの往復が効率を大きく左右することがあるんじゃ。
NPUはこの4つを組み合わせ、1回のAI推論に必要なエネルギーを減らします。ただし、モデルがNPUに対応していない、メモリへ頻繁に戻る、変換処理が多いといった場合は、期待どおりの効率が出ないこともあります。
ここまでの一言まとめ：NPUは計算・制御・データ移動・数値表現の無駄をまとめて減らします。
CPU・GPU・NPUはどう役割を分けるのか
NPUが得意なら、AIではCPUとGPUはいらなくなりますか？
なくならん。NPUはSoCの中の共同担当じゃ。CPUは全体を制御し、GPUは大きな並列計算を進め、NPUは対応する推論を高効率化する。
万能な1人を選ぶのではなく、得意な処理へ振り分けるんですね。
その通り。学習は今もGPUやデータセンターで行うことが多く、端末のNPUは推論を主に担当する。
| 処理装置 | 主な役割 | AIでの使われ方 |
|---|---|---|
| CPU | 判断、制御、幅広い命令 | アプリ全体の進行や分岐の多い処理を担う |
| GPU | 柔軟な大規模並列計算 | 大規模な学習・推論など計算量の多い場面で力を発揮 |
| NPU | 対応するAI計算の専用化 | 主に推論を端末内で低遅延・低電力に続けやすくする |
ここまでの一言まとめ：NPUはCPU/GPUの代用品ではなく、SoCの中でAI推論を受け持つ共同担当です。
NPUへつながる転換はどう起きたのか
NPUは、スマホのために急に生まれた技術なんですか？
一つの発明で始まったのではない。AI推論の規模が増え、専用回路の効率が示され、それが端末の具体的な機能へ結び付いた流れで見ると分かりやすい。
ニューラルネットを実サービスで大量に動かすと、計算量と電力が大きな課題になります。Googleは2015年からデータセンターでTPUを配備しました。
Googleの論文は、8ビットMACの行列演算器、大きなオンチップメモリ、汎用機能を絞った構造を報告しました。AI推論へ専用化する価値が、実運用のデータとして見えるようになります。
AppleはA11 BionicのNeural EngineをFace IDやAnimojiなどに結び付けました。専用回路が、日常の認証やリアルタイム処理を端末内で支える姿が利用者にも見える形になります。
A12のNeural EngineはCore MLから利用可能になり、開発者が対応アプリへ使える範囲が広がりました。Appleは特定条件のCore ML処理について、A11比で最大9倍、エネルギーは最大10分の1と公称しています。
歴史の読み方： これは「最初のNPU」を決める年表ではありません。データセンターで専用AI回路の効率が示され、端末の具体的な機能と開発環境へ広がった因果を示しています。メーカー公称値は対象処理と測定条件に依存します。
記憶の一文：AI推論の増加が専用回路を求め、TPUが効率を示し、A11とA12が端末の日常機能へつなげました。
NPUは日常の何を改善したのか
使う側から見ると、NPUで何が変わったんですか？
Face IDが分かりやすい。カメラで得た顔の情報をニューラルネットで処理し、端末内で照合する一連の機能を支えた。
速さだけでなく、毎回クラウドへ送らず反応できることにも意味があるんですね。
そうじゃ。現在はカメラ補正、ノイズ低減、音声認識、翻訳、端末内生成AIなどへ広がっておる。
ここまでの一言まとめ：NPUは、AIをデモではなく日常機能として素早く・継続的に使うための土台です。
ここから先は、NPUの性能表示とソフトウェア条件まで確認したい方向けです。基本だけ知りたい方は、まとめへ進んでも問題ありません。
NPUの性能は数字だけで比べられるのか
NPUでは、1秒あたりの演算回数を示すTOPSという指標を見かけます。しかし、TOPSだけで実際の速度や電池持ちは決まりません。数値精度、オンチップメモリ容量、外部メモリ帯域、モデルの形、電力制限などが関係します。
比較するときの注意： 異なる精度や測定条件で示されたTOPSを、そのまま横並びにしないことが大切です。この記事では特定製品の順位付けを行いません。
NPUがあれば、すべてのAIが速くなるのか
いいえ。AIモデルをNPUが対応する形式へ変換し、OS、ドライバ、コンパイラ、実行環境が処理を正しく割り当てる必要があります。対応しない演算はCPUやGPUへ戻る場合もあります。
つまり、NPUは回路だけで完結しません。対応モデルとソフトウェアまでつながって初めて、端末内AIの効率を発揮します。
ここまでの一言まとめ：NPUは回路性能だけでなく、モデル・メモリ・コンパイラを含む仕組み全体で見ます。
まとめ
まず覚える3点
- NPUは、端末内でニューラルネットの推論を低遅延・低電力に動かす専用アクセラレータ
- 多数のMAC/PE、近くのメモリ、データ再利用、低精度演算で計算とデータ移動の無駄を減らす
- CPUは制御、GPUは大規模並列、NPUは対応推論を高効率化し、ソフトウェアと協力して動く
参考資料
- Google Research: In-Datacenter Performance Analysis of a Tensor Processing Unit
- MIT: Eyeriss Project
- Apple: The future is here — iPhone X and A11 Neural Engine
- Apple: iPhone Xs and A12 Neural Engine
- Microsoft Learn: FAQs about using AI in Windows apps
- Intel: What is an AI PC?
- Qualcomm: Mobile AI and on-device AI
