VRAMからあふれたローカルLLMはどれだけ遅い?設定で最大約5倍の差が出た実測(RTX 5070 Ti)【2026年】
16GBを超えるAIモデルは、VRAM 16GBのGPUには載らないと思われがちです。
実は、入りきらない分をメインメモリに置けば、16GBのGPUでも大きなモデルを動かせます。
当サイトでは、一部をSSDから必要なときに読む仕組み(Strataの低メモリモード)で、約66.4GBのQwen3.8-Flash-NextもRTX 5070 Ti(16GB)で起動しました(Strataで動かした実測)。
気になるのは、無理に載せたときに速さや長い文脈でどんな変化が出るかです。
同じRTX 5070 Ti(16GB)を搭載した2台のPCで、16.8GBのQwen3.8-27B(Q4_K_M)を、あふれた分をメインメモリに置いて4つの設定で動かすと、同じPCでも遅い設定は6.86トークン/秒、速い設定は34.67トークン/秒でした。
文脈が長くなるほど遅くなり、自動配分では8Kで約3割、32Kで約5〜7割遅くなりました。
速さを分けたのは、GPUに置く層の数の設定でした。
GPUとメインメモリをつなぐ通路の規格、PCIeの世代が違う2台で比べています。
全層をGPUに指定したときだけ、PCIe 5.0の機械がPCIe 4.0の機械の約2.8倍速く、層の数を調整するとPCIe 4.0の機械のほうが約8%速い結果でした。
VRAM 16GBのGPUでもっと大きなモデルを動かしたい人に向けて、あふれたときに速く動かす順番と、PCIeの世代の確かめ方を解説します。
掲載した数値は、当サイトで測った2台のPCの結果です。
PCIeの規格上の帯域、RTX 5070 TiのPCIe対応、計測用ソフトllama.cpp・確認用ツールnvidia-smiの用語は、公式サイトで確かめました。
結論:収まるモデルを選ぶのが一番速い
VRAMに収まるモデルが速く、あふれるモデルはGPUに置く層の数を手で調整するのが2台とも一番速い結果でした。
AIモデルを資料集にたとえると、GPUの専用メモリ(VRAM)は資料集を広げる作業台にあたります。
層は、資料集をいくつかに分けたまとまりのようなものです。
層の調整をせず全層をGPUに指定してVRAMがあふれた状態だけ、PCIe 5.0対応の機械がPCIe 4.0の機械より大幅に速くなりました。
- VRAMに収まるモデル(量子化を選び直す)が一番速く、PCIeの世代の差は約3%以内
- あふれるモデルは、GPUに置く層の数を手で調整するのが2台とも一番速い設定
- PCIe 5.0対応の機械が約2.8倍速かったのは、層の調整をせず全層をGPUに指定した設定だけ
- 機種を選ぶときの第一条件はPCIeの世代ではなく、GPUのVRAM容量

測った2台と条件
計測に使ったのは、同じGPU(RTX 5070 Ti 16GB)を搭載した2台のPCです。
PCIeの世代・CPU・マザーボード(パーツをつなぐ基板)が違うため、速さの差をPCIeだけの違いとは決めつけられません。
本文では「PCIe 5.0の機械(OMEN 35L)」「PCIe 4.0の機械(FRONTIER FRGKB860M/CG3)」と区別します。
| 項目 | PCIe 5.0の機械(OMEN 35L GT16-1002jp) | PCIe 4.0の機械(FRONTIER FRGKB860M/CG3) |
| CPU | Ryzen 7 9800X3D | Core Ultra 7 265F |
| GPU | RTX 5070 Ti(16GB) | RTX 5070 Ti(16GB) |
| GPUの接続 | PCIe 5.0 x16 | PCIe 4.0 x16 |
| メモリ | DDR5-5600 16GB×2 | DDR5-5600 16GB×2 |
| GPUドライバー | 621.01 | 621.01 |
| 計測日 | 2026年11月2日 | 2026年11月5日 |
計測には、llama.cpp(b10752・2台とも同じビルド)のllama-benchを使っています。
Flash Attentionという設定を有効にし、1回あたり処理512トークン・生成128トークンで各設定を3回測りました。
トークンは文章を細かく区切った単位で、tok/sは1秒あたりに処理・生成する量を表します。
結果は平均値で、PCIe 5.0の機械のgpt-oss-20bとQ4_K_Mは3回通した中央値を記録しています。
メモリはどちらもDDR5-5600 16GB×2、GPUドライバーは621.01です。
PCIe 4.0の機械は2026年11月2日に617.42で測った後、2026年11月5日に621.01へ更新して測り直しました。
VRAMに収まるモデルが一番速い
VRAMに収まる3つのモデルは2台ともほぼ同じ速さで、差は最大で約3%でした。
作業台に資料集がすべて収まれば、隣の机(メインメモリ)や、机との間の通路(PCIe)をほとんど使わずに済むと考えられます。
手元で動かしたローカルLLMは、普段使っているクラウドの生成AIより速いと感じるほどでした。
やり取りが手元のPCの中だけで済むので、待つ感覚がほとんどありません。
簡単な処理なら、ローカルLLMで済ませたほうが作業がはかどると感じています。
| モデル(ファイルの大きさ) | 深さ | PCIe 5.0の機械 生成(tok/s) | PCIe 4.0の機械 生成(tok/s) |
| gpt-oss-20b MXFP4(12.1GB) | 0/8K/32K | 229.47/214.85/184.64 | 222.39/210.66/179.90 |
| Qwen3.8-27B UD-Q3_K_XL(13.1GB) | 0/8K/32K | 53.17/51.44/46.79 | 52.85/51.26/46.53 |
| Gemma 4 26B-A4B QAT Q4_0(14.4GB) | 0/8K/32K | 199.24/180.72/161.78 | 193.11/175.65/157.64 |
表の「深さ」は、質問の前に渡してある文章の長さです。
8Kは長いメール数通、32Kは論文1本くらいの資料を先に読ませる場面にあたります。
どのモデルも資料が長いほど生成に時間がかかりますが、2台の差はおおむね3%以内でした。
VRAMに収まる少し軽い量子化(UD-Q3_K_XL・13.1GB)は、あふれる量子化(Q4_K_M・16.8GB)より速い結果でした。
量子化は、資料集を縮小コピーして薄くする処理のようなものです。
UD-Q3_K_XLは深さ0で約53tok/s、あふれるモデルを一番速い設定で動かした場合は約32〜35tok/sでした。
VRAMからあふれると、設定で速さが大きく変わる

VRAMに収まらない16.8GBのモデル(Qwen3.8-27B Q4_K_M)では、PCIe 4.0の機械で一番速い設定と全層指定の間に約5倍の開きが出ました。
4つの設定は、GPUに置く層の数の決め方が違います。
計測したのは16.8GBのモデル1本だけで、もっと大きなモデルでも同じ倍率になるとは言えません。
全層をGPUに指定して動かしたときは、PCIe 5.0の機械のほうが断然速く感じて驚きました。
体感の差が大きかったのは全層指定のときで、層の数を調整した設定ではPCIe 4.0の機械のほうが速い結果です。
| 設定(深さ0) | PCIe 5.0の機械 生成(tok/s) | PCIe 4.0の機械 生成(tok/s) |
| 自動配分(-fitt 1024) | 18.25 | 22.31 |
| 手動で層を調整(ngl62) | 24.97 | 28.95 |
| 手動で層を調整(ngl64・2台とも最速) | 31.96 | 34.67 |
| 全層をGPUに指定(ngl99・VRAMがあふれる) | 19.38 | 6.86 |
GPUに置く層の数を手動で64に調整した設定(ngl64)が2台とも一番速く、62に調整した設定(ngl62)が次に速い結果でした。
ngl64はPCIe 5.0の機械で31.96tok/s、PCIe 4.0の機械で34.67tok/sで、どちらも全層指定(ngl99)より速い結果です。
全層をGPUに指定してVRAMがあふれたとき(ngl99)だけ、PCIe 5.0の機械が19.38tok/s、PCIe 4.0の機械が6.86tok/sで、約2.8倍の差が開きました。
一部の層をCPU側に回す自動配分・手動調整では、PCIe 4.0の機械のほうが速い結果も出ています。
一部の層をCPU側に回す設定の速さの差は、PCIeの違いだけでは説明できないと考えられます。
長い資料を先に読ませた場合、自動配分での速さの傾向は資料の長さによって変わりました。
深さ0と8KはPCIe 4.0の機械が速く、32KだけPCIe 5.0の機械が約18%速い結果でした。
| 自動配分(-fitt 1024)の深さ | PCIe 5.0の機械 生成(tok/s) | PCIe 4.0の機械 生成(tok/s) |
| 0 | 18.25 | 22.31 |
| 8K | 13.09 | 16.31 |
| 32K | 8.28 | 7.04 |
資料を読み込む速さ(処理)は、どの設定でもPCIe 5.0の機械のほうが速い傾向でした。
全層をGPUに指定した設定では、PCIe 5.0の機械が182tok/s、PCIe 4.0の機械が80tok/sでした。
層を調整した設定では、読み込みの速さも2台で近い値でした。
あふれたらどうするか

VRAMからあふれそうなら、まず収まる量子化に切り替えるのがおすすめです。
今回のUD-Q3_K_XL(13.1GB)は、Q4_K_M(16.8GB)より一回り薄い縮小版にあたり、VRAMに収まって速く動きました。
収まる量子化がなければ、GPUに置く層の数(-ngl)を手で調整する方法があります。
llama.cpp公式では、-ngl(–n-gpu-layers)は「VRAMに置く層の最大数」を指定する設定です。
999またはallを指定すると、すべての層をGPUに置こうとします。
今回の実測では、全層(66層)より62〜64層をGPUに置いた設定のほうが、2台とも速い結果でした。
llama.cppに配分を任せる自動配分(-fit)も、一番速い設定とは限りません。
公式では、指定していない設定値をGPUなどのメモリに合わせて自動調整する機能と説明されています。
今回の実測(-fitt 1024)では、手動で62〜64層に調整した設定より遅い結果でした。
量子化や層の数を変えずに全層をGPUに指定して動かす場合は、PCIe 5.0対応の機械のほうが有利に働くと考えられます。
PCIeとは:作業台と机の間の通路

PCIe(PCI Express)は、パーツどうしがデータをやり取りする通路の規格です。
作業台(VRAM)と机(メインメモリ)の間の通路にあたり、実物はマザーボードの配線とスロット(GPUなどを差し込む場所)です。
USBケーブルのように抜き差しするケーブルではありません。
世代(4.0・5.0など)が新しいほど、同じ時間でやり取りできるデータが増える設計です。
規格を決めているPCI-SIGの公式FAQでは、レーン(通路の車線)1本・片方向あたりの帯域がPCIe 4.0で16.0ギガビット毎秒、PCIe 5.0で32.0ギガビット毎秒と示されていて、PCIe 5.0はPCIe 4.0の2倍です。
この2倍は通路の規格の数字で、AIの生成速度がそのまま2倍になるという意味ではありません。
PCIeは、GPUとマザーボードなどの双方が対応する世代で動きます。
NVIDIA公式のGeForce RTX 50シリーズ比較ページでは、RTX 5070 Tiの「PCI Express Gen 5」は「Yes」と表示されています。
GPUが5.0対応でも、マザーボードなどが4.0までの対応なら、4.0で動きます。
測った2台の接続は、PCIe 5.0 x16とPCIe 4.0 x16です。
今回注目したのは、VRAMからあふれたデータをメインメモリとの間でやり取りするときの速さです。
全層指定のときだけ、PCIeの世代で差が開く理由
全層をGPUに指定してVRAMがあふれると、Windowsが収まらない分を共有メモリ(メインメモリの一部)に逃がして動かし続けます。
GPUが計算するたびに、あふれた分をVRAMとメインメモリの間で何度もやり取りすると考えられます。
PCIeの通路が太い(世代が新しい)ほど、やり取りにかかる時間が短くなると考えられます。
GPUドライバーを617.42から621.01に更新しても、PCIe 4.0の機械の全層指定の生成速度はほとんど変わりませんでした。
更新前は7.20tok/s、更新後は6.86tok/sでした。
残る違いはPCIeの世代・CPU・マザーボードで、PCIe 5.0の差が大きいと考えられます。
差を最初に見たときは、PCIe 4.0の機械のCPUが原因だと考えていました。
評判のよいCPUだったので、なぜ遅いのか不思議でした。
ドライバーをそろえても差が変わらず、残る違いにPCIeの世代があると分かり、パーツをつなぐ部分でここまで変わるのかと驚きました。
CPU・マザーボード・PCIeの世代がセットで違う2台の比較なので、PCIeだけが原因とは言い切れません。
一部の層をCPU側に回す設定では、深さ32Kの自動配分を除いて、PCIe 4.0の機械のほうが速い結果でした。
PCIeの世代の確かめ方
現在動いているPCIeの世代は、NVIDIA公式ツールのnvidia-smiで確かめられます。
公式マニュアルの「GPU Link information」には、CurrentとMaxの2つの値が説明されています。
Currentは現在の接続の世代と幅(レーン数で、x16の16がレーン数です)を示します。
GPUを使っていないときは、表示値が下がる場合があります。
Maxは、GPUとPC全体の構成で使える最大のPCIe世代と幅(レーン数)です。
公式マニュアルによると、GPUがPC側より高いPCIe世代に対応している場合、MaxはPC側の世代を示します。
GPU単体の対応世代は、NVIDIA公式のGeForce RTX 50シリーズ比較ページでも確認できます。
RTX 5070 Tiの「PCI Express Gen 5」への対応と、nvidia-smiのMaxをあわせて見ると、PC全体で使える世代を確かめられます。
PCIe 5.0を優先したほうがいいおすすめの人
VRAMからあふれるモデルを、層の調整をせずに動かす機会が多い人には、PCIe 5.0対応の機械がおすすめです。
特に、アプリの設定が全層指定のままの場合は、PCIeの世代差が結果に出やすくなると考えられます。
- VRAMからあふれるモデルを、設定を細かく調整せずに動かしたい人
- VRAM 16GBを少し超えるモデルを、全層指定のまま動かす人
- 層の数を手で調整する作業よりも、設定の手間を減らしたい人
今回の実測では、VRAMに収まるモデルを使う場合と層の数を手で調整した場合に、PCIe 5.0の機械が大きく速くなる結果は出ませんでした。
機種を選ぶときは、まずGPUのVRAM容量を確認するのがおすすめです。
容量の選び方は、デスクトップでローカルLLMを動かす機械の選び方で解説しています。
まとめ
VRAMからあふれるモデルは、今回の実測では、収まる量子化に切り替えるのが一番速い方法でした。
収まらない場合は、GPUに置く層の数を手で調整するのが2台とも一番速い設定でした。
層の調整をせず全層をGPUに指定してVRAMがあふれた場面だけ、PCIe 5.0対応の機械がPCIe 4.0の機械の約2.8倍の速さで動きました。
測った2台はCPUとマザーボードも違うため、PCIe以外の要因をすべて除外したとは言えません。
GPUドライバーをそろえても差が変わらなかったことから、PCIeの世代が差に大きく関わっていると考えられます。
機種選びの第一条件は、GPUのVRAM容量です。
実際の機種選びはデスクトップでローカルLLMを動かす機械の選び方、動かす手順はローカルLLMの始め方を参考にできます。
Qwen3.8-27Bの量子化別の実測はQwen3.8-27Bは16GB VRAMで動くかの実測記事、Strataでの実測はStrataでQwen3.8 Flash Nextを動かした記事で確認できます。
同じPCIe 5.0の機械(OMEN 35L)のゲームの実測は、9800X3D+RTX 5070 TiのゲーミングPC実測記事で確認できます。
よくある質問(FAQ)
VRAM 16GBで足りないときはどうすればいいですか?
まず、少し軽い量子化に切り替えて作業台(VRAM)に収まるかを試すのがおすすめです。
収まらない場合は、GPUに置く層の数(-ngl)を手で調整すると、今回の実測では全層指定より速く動きました。
全層をGPUに指定したまま動かす場合は、PCIe 5.0対応の機械のほうが有利に働くと考えられます。
GPUに置く層の数はどう決めればいいですか?
全層をGPUに指定して動くかどうかをまず試し、VRAMがあふれる様子(速度が大きく落ちる)が出たら、層の数を1つずつ減らして一番速い数を探すのがおすすめです。
今回の実測では66層のうち64層が一番速く、62層が64層に次ぐ結果で、どちらも全層(66層)より速くなりました。
llama.cppの自動配分(-fitt 1024)に任せる方法もありますが、今回の実測では手動調整のほうが速い結果でした。
CPUオフロードとは何ですか?
モデルの一部の層を、GPU(作業台)ではなくCPU側(机)で計算させる設定のことです。
llama.cppでは、-ngl(VRAMに置く層の最大数を指定する設定)で全層より少ない数を指定すると、一部の層がCPU側で動きます。
今回の実測では、全部をCPU側に回したわけではなく、GPUに置く層の数を2〜4層減らすだけで速さが大きく変わりました。
ローカルLLMにPCIe 5.0は必要ですか?
VRAMに収まる大きさのモデルだけを動かすなら、PCIe 5.0は必須ではありません。
今回の実測でも、収まる3モデルの速さの差は約3%以内でした。
VRAMからあふれる大きさのモデルを、層の調整をせずに動かす機会が多い人には、PCIe 5.0対応の機械がおすすめです。
PCIe 4.0と5.0はどう違いますか?
PCIeは、GPUの作業台(VRAM)とCPU側の机(メインメモリ)をつなぐ、基板の上の通り道の規格です。
PCI-SIGの公式FAQによると、PCIe 5.0の規格上の帯域はPCIe 4.0の2倍です。
NVIDIA公式のRTX 5070 Tiの仕様では「PCI Express Gen 5」に対応していると示されています。
両方が対応して初めて5.0の世代で動き、片方だけが対応していても、低いほうの世代に合わせて動きます。
同じRTX 5070 Tiのゲームの比較はどこで見られますか?
同じRTX 5070 Tiで条件がそろうゲームの比較は、9800X3D+RTX 5070 TiのゲーミングPC実測記事で解説しています。
メインメモリとVRAMはどちらを優先しますか?
VRAMからあふれる大きさのモデルを扱う場合でも、まずGPUのVRAM容量を優先して検討することをおすすめします。
今回計測した2台のメインメモリは、どちらもDDR5-5600 16GB×2(合計32GB)でした。