システム条件・プロセス数を変えてR benchmark実行時間を比較（RとMKL：Microsoft R Open）
以前掲載していたブログは削除していますが、データだけ発掘されたので改めてこちらに掲載します。2020年12月時点のデータなので、ご注意ください。
目的
仕事でRとShiny-Serverを使った統計情報とグラフの作成をしています。現在はBMAX B2 Plus（Windows10）とVirtualBox（Ubuntu Desktop）でShiny-Serverを稼働させていますが、さすがに処理が遅い…。
そんな中システム更新で余ったPCが出たので、Shiny-Serverの移植を始めました。
その際、Microsoft R Openは計算に複数コアを使う（MKL）のでRの計算が早くなると言う記事を見かけたので、通常のR・Microsoft R Open（MRO）の比較と、合わせてシステム条件が変わるとどの程度オーバーヘッドが発生するかをベンチマークで確認。
また、複数端末からの同時アクセスも考え、プロセス数が増えた場合の影響も一緒に確認しました。
RとMicrosoft R Open
R
https://cran.r-project.org/数値計算だけでなく、データ加工や描画など統計解析に必要なすべてがそろった統計分析ソフトです。
開発環境（R-Studio）も整っていてネット上の情報も豊富なため、Rが使えると一通りの解析で困ることはありません。ggplot2を使ってのグラフ描画も便利で楽なので、グラフ作成ソフトとしても重宝します。
https://assign-navi.jp/magazine/consultant/data-scientist/r0...Microsoft R Open
https://mran.microsoft.com/openものすごく単純に言うと、計算を複数コアで実行することで計算速度を早くしたRです。
早くなるのはあくまで「計算」だけなので、描画やストレージアクセスなどは高速化されないようです。
上記リンクからダウンロードするだけでインストールできるため、簡単に試すことができます。全てのライブラリが対応できているかは不明です。
条件
RとMROの比較
- ハードウェア：HP Compaq 8300 Elite SF
CPU：Core i5-3570 4コア4スレッド（Passmark Average:4907, Single Thread Rating:2049）
メモリ：4GB - ベンチマークプログラム：R-benchmark-25.R
- システム条件
１．Windows10（RGUI）
２．Windows10 + VirtualBox（Ubuntu 18.04 Desktop）
３．Ubuntu 18.04 Desktop - R Version
１．R 4.0.3
２．MRO 4.0.2
同時プロセス数の影響
単純にバッチファイルとシェルスクリプトでR-benchmark-25.Rを5プロセスまで順番に同時実行します。
例：3プロセス同時、Windows10の場合
start /b C:\Program Files\Microsoft\R Open\R-4.0.2\bin\Rscript.exe R-benchmark-25.R > result1.txt
start /b C:\Program Files\Microsoft\R Open\R-4.0.2\bin\Rscript.exe R-benchmark-25.R > result2.txt
start /b C:\Program Files\Microsoft\R Open\R-4.0.2\bin\Rscript.exe R-benchmark-25.R > result3.txt
RとMROの比較
| 条件 | システム | R version | Total time for all 15 tests |
|---|---|---|---|
| 1-1 | Windows10 | R 4.0.3 | 29.89 |
| 1-2 | Windows10 | MRO 4.0.2 | 5.05 |
| 2-1 | Windows10+VirtualBox | R 4.0.3 | 131.50 |
| 2-2 | Windows10+VirtualBox | MRO 4.0.2 | 13.72 |
| 3-1 | Ubuntu 18.04 Desktop | R 4.0.3 | 29.87 |
| 3-2 | Ubuntu 18.04 Desktop | MRO 4.0.2 | 5.39 |
すべての条件で、MROは通常のRよりも実行時間は短縮。Windows10 + VirtualBoxは実行時間が約4倍に延長しています。
同時プロセス数の影響
プロセス数の増加はProc1から5で表示、数字はR-benchmark-25.Rの実行時間（Total time for all 15 tests）です。
| 条件 | システム | R verison | Proc1 | Proc2 | Proc3 | Proc4 | Proc5 |
|---|---|---|---|---|---|---|---|
| 1-1 | Windows10 | R 4.0.3 | 29.89 | 30.94 | 36.00 | 42.21 | 52.53 |
| 1-2 | Windows10 | MRO 4.0.2 | 5.05 | 48.77 | 102.52 | 249.41 | 255.59 |
| 2-1 | Windows10+VirtualBox | R 4.0.3 | 131.50 | 133.12 | 136.41 | 135.07 | 169.38 |
| 2-2 | Windows10+VirtualBox | MRO 4.0.2 | 13.72 | 20.40 | 32.10 | 41.59 | 62.61 |
| 3-1 | Ubuntu 18.04 Desktop | R 4.0.3 | 29.87 | 31.16 | 35.50 | 42.61 | 50.40 |
| 3-2 | Ubuntu 18.04 Desktop | MRO 4.0.2 | 5.39 | 9.11 | 16.05 | 38.23 | 52.70 |
R versionが違っても同時プロセス数が増えると実行時間が延長しているのは同様、おおむねプロセス数の増加に応じた延長に見えます。
ただ、条件1-2（Windows10, MRO 4.0.2）のプロセス数と実行時間の延長は異常。
Windows10 + VirtualBoxでは、もともとの実行時間は長いがプロセス数の影響は他と同様です。
考察と対応
Windows10 + VirtualBoxがここまで実行時間が延長しているとは思っていなかった。VirtualBoxの条件が2コア、2GBメモリのため仮想マシンの条件を変えればもっとマシになる可能性はあります。
MROの実行時間の速さはやっぱり魅力。
ただ、なぜかWindows10で複数同時にベンチマークを開始すると処理時間がものすごく延長しています。Ubuntuで実行している場合は見られない現象なのでOSの問題？
MKLの使用コア数も変えていないため、コア数の影響は関係ないはず。
ひとまず、Shiny-ServerはOS：Ubuntu 18.04 Desktopで移植することにします。Ubuntuの場合、MROの異常延長は無かったものの、不安は残したくないのでR versionはR 4.0.3に決定。
追記
Windows11にするとMROの異常延長は無くなりました。