GeForce RTX 5090 で FP64 エミュレーションを測る

cuBLAS 13 の固定小数点エミュレーション（尾崎スキーム系）を、FP64 を意図的に削られたコンシューマ GPU で実測した記録。測定日 2026-10-04

なぜ測る価値があるのか

GeForce の倍精度は仕様上 FP32 の 1/64 に制限されている。一方で INT8 テンソルコアは3桁 TOPS ある。CUDA 13.0 Update 2 で cuBLAS に入った固定小数点エミュレーションは、FP64 の積を整数の列に分解して INT8 テンソルコアで厳密に計算する——つまり潤沢な資源で枯渇した資源を代替する。

公開されている測定値はデータセンター GPU（native FP64 が速い機種）が中心で、そこでの利得は控えめに見える。しかし FP64 を削られたコンシューマ機では前提が逆であり、倍率が大きくなるはずだ。その実測値がほとんど見当たらないので、自分で測った。

測定環境

GPU / driver

NVIDIA GeForce RTX 5090, 617.14, 32607 MiB, 575.00 W, 3090 MHz

CPU

Intel64 Family 6 Model 198 Stepping 2, GenuineIntel

OS

Windows 10.0.26200

cuBLAS version (cublasGetVersion)

130202

CUDA DLL source

C:\shogi\fukauraou_v940

Python / NumPy

3.13.14 / 2.4.4

native FP64 とエミュレーションの比較

読み方。native FP64 は行列サイズを変えても 1.48–1.72 TFLOPS で張り付いている。これがレート制限の壁。エミュレーション側は n とともに伸び、大きい行列ほど差が開く。入力の指数レンジが広い «hard» では必要マンティッサビットが増えるため利得は下がるが、それでも 5.8× を保っている。

精度は中央値より最悪値の方が差が大きい

中央値では 30 倍の差だが、最悪値では 97 倍開く。native FP64 の誤差は n 項の総和にわたる累積なので、打ち消しが起きた要素で大きく悪化する。固定小数点エミュレーションは整数で厳密に積和して最後に一度だけ丸めるため、この種の最悪ケースを構造的に持たない。条件数を2乗する正規方程式のような用途では、この最悪値の差がそのまま効いてくる。

エミュレーション戦略の影響

CUBLAS_EMULATION_STRATEGY は performant（エミュレーションが得と判断したときだけ使う）と eager（積極的に使う）を取る。native がここまで遅いカードでは performant でも常にエミュレーションが選ばれるため、差は出なかった。

マンティッサビットと速度・精度のトレードオフ

既定では ADP（automatic dynamic precision）が入力から必要ビット数を自動決定する。CUBLAS_FIXEDPOINT_EMULATION_MANTISSA_BIT_COUNT で固定すると、速度と精度を直接交換できる。

階段状のプラトーが実装を露出させている。要求ビット数を増やしても値が動かない区間が並ぶのは、ビット数が離散的なスライス数に切り上げられているためだ。INT8 のスライスを何枚積むかという内部構造が、外から観測できてしまっている。

電力と電力効率

25 秒間 DGEMM を連続投入し、その間 nvidia-smi を 200 ms 間隔でサンプリングした。立ち上がりの 3 秒は定常状態から除外。

native FP64 は電力枠を使い切れない。575 W の枠に対して 221 W しか引かず、SM クロックは 2883 MHz と高いまま張り付く。稼働しているダイ面積が小さすぎて、電力ではなくクロックで律速されているということだ。エミュレーション側は INT8 テンソルコアを動かすため 575 W まで上がり（電力上限に張り付く）、クロックは 2490 MHz に下がる。つまりこの技術は使われずに余っていた電力枠をスループットに変換している。

結果として、FP64 相当の精度を保ったまま電力効率が 4.2 倍になる。消費電力は 2.6 倍に増えるが、仕事量が 10.8 倍になるためだ。

測定方法

• 計測: cudaEvent による GPU 時間。warmup 2 回ののち 5 回（掃引では 3 回）測り中央値を採用。FLOP は 2n³。
• 精度の基準: 浮動小数点の参照値ではなく厳密値と比較している。math.fma による two-product で各積の丸め誤差を取り出し、積と誤差の両方を math.fsum で厳密に総和する。これは正しく丸めた内積に一致する。出力行列からランダムに抽出した要素について相対誤差を取った。
• 入力分布: easy は一様乱数 [-1,1]。hard は正規乱数に 2^U(-10,10) を掛けて指数レンジを広げたもの。固定小数点分割の必要ビット数は指数レンジで決まるため、この2本が上下の目安になる。
• モード切り替え: cuBLAS は環境変数をハンドル生成時に読むため、1モード = 1プロセスで起動している。

この結果が言っていないこと

再現手順

git clone https://github.com/soy-tuber/fp64-emulation-rtx5090
cd fp64-emulation-rtx5090

# CUDA 13.0u2 以降の cublas64_13.dll / cudart64_13.dll があるディレクトリ
set FP64EMU_CUDA_DIR=C:\path\to\cuda13\dlls

python run_all.py        # 全モードを掃引し results/*.json を作る
python make_report.py    # docs/index.html を生成する

個別に1モードだけ測る場合:

set CUBLAS_EMULATE_DOUBLE_PRECISION=1
python dgemm_bench.py --sizes 16384 --dists easy,hard --label emu

生データ

• results/ の JSON 一式（各測定の全試行時間・GPU メモリ使用量・精度統計を含む）
• dgemm_bench.py / run_all.py / make_report.py

参考

• cuBLAS documentation — Fixed-Point Emulation
• NVIDIA: Unlocking Tensor Core Performance with Floating Point Emulation in cuBLAS
• Ozaki Scheme II: A GEMM-oriented emulation of floating-point matrix multiplication using an integer modular technique
• RIKEN-RCCS/GEMMul8