コンテンツにスキップ

地球シミュレータ

出典: フリー百科事典『ウィキペディア（Wikipedia）』
（地球シミュレーターから転送）
地球シミュレータ
稼働期間(4代目)2021年3月1日 -
スポンサーNEC[1]
運営者海洋研究開発機構
所在地横浜市金沢区昭和町3173番25[2]
アーキテクチャ
電源2MW
OSRocky Linux 8[3]
メモリ556.5TiB
ストレージ
  • 120TB (ホーム領域)
  • 1.3PB (ワーク領域)
  • 60PB（データ領域）
処理速度
19.5 PFLOPS (倍精度浮動小数点数)
コスト75億4050万円[4]
ウェブサイトwww.jamstec.go.jp/es/jp/

地球シミュレータ（ちきゅうシミュレータ、英: Earth Simulator）は、NEC SXシリーズベース（現行機は第4世代のSX-Aurora TSUBASA B401-8）のスーパーコンピュータシステムである。

神奈川県横浜市金沢区の海洋研究開発機構 (JAMSTEC) 横浜研究所に設置されている。

目的・経緯

[編集]

初代

[編集]

1993年～1995年[5]にTOP500首位となった数値風洞計画（NAL、富士通）を先導した三好甫が、それに引き続き日本のスーパーコンピュータをリードするシステムとして、JAMSTECと日本電気を先導したのが本計算機計画である。また科学技術庁（1998年度当時）としては地球規模の環境変動の解明・予測といった大義の他、バブル崩壊により著しく落ち込んでいた業界の維持といった目的もあり、600億円を投じて開発が開始された。2001年下旬に三好は逝去したが、残された計画通りシステムは完成、2002年3月15日に運用を開始し、目標通りの威力を発揮した。まず、その実性能自体が「コンピュートニク」とすら呼ばれるほどの印象を高性能計算関連の（主として米国の）産官学に与えた。また科学的な成果としては、地球温暖化や地殻変動といった、文字通り地球規模でのシミュレーションに利用され、気候変動に関する政府間パネルの2007年ノーベル平和賞受賞にも大きく貢献し、他にも多くの計算科学による成果を上げた。その後も公募により、地球科学、先進・創出分野での共同利用が行われている他、2007年からは産業界による成果専有型の有償利用も可能となっている。

2代目以降

[編集]

2009年3月に2代目のシステムへ更新、2015年3月には3代目、2021年3月には4代目のシステムに更新された。また初代以来、日本のHPCの旗艦としての役割を京・富岳と分担する他、名実共にNEC SXシリーズの旗艦という存在になっている。

構成

[編集]

初代

[編集]
地球シミュレータ(初代)

SX-5ベースである。SX-5では32チップで構成されていた計算モジュールを1チップ化し、それを8個集積した1ノードが8GFLOPS、それに16GBのメモリをともなう[6]。640ノード（5,120CPU）を単段クロスバースイッチで接続、最大理論性能は40.96TFLOPSであった。このシステムのために開発された、計算モジュールを集積したチップは、SXシリーズの次の世代のSX-6にも活用された。

第2世代

[編集]
地球シミュレータ(2代目、2015年2月までの旧システム)

SX-9ベースである。102.4GFLOPSの性能を持つプロセッサ8個と128GBのメモリを持つベクトル計算機ノード（地球シミュレータではPNと呼ばれる）160台（1,280CPU,1,280コア）を2段のクロスバースイッチでファットツリー状に接続し、最大理論性能131TFLOPSを実現している[7]。

第3世代

[編集]
地球シミュレータ（3代目、2021年2月までの旧システム）
地球シミュレータ（3代目、2021年2月までの旧システム）

SX-ACEベースである。256GFLOPSの性能を持つプロセッサ1個（4コア）と256GBのメモリを持つベクトルノード5,120台（20,480コア）を2段のクロスバースイッチでファットツリー状に接続し、最大理論性能1.3PFLOPSを実現している[8]。

第4世代

[編集]

720ノードのAMDのCPUと684ノードのSX-Aurora TSUBASA B401-8及び、8ノードのNVIDIA A100により、5,472台のベクトルエンジン（43,776コア）を搭載し、最大理論性能19.5PFLOPSを達成する見込みで、2021年3月1日より運用開始[9][10]。200Gb/s HDR InfiniBandが使われている[11]。また、データセンター環境監視システムにiDCNaviが使われている[12]。

運用

[編集]

単体能力を改善し、多目的に活用を図ることを目的として、スカラプロセッサからなるサーバを併用している。また、日本の学術研究のインフラストラクチャであるSINETに接続し、遠隔利用を可能にしている。AVS, Mathematica, Maple等の商用ソフトウェアやオープンソースソフトウェアも利用可能である。

第3世代までのOSはSXシリーズ用のSUPER-UXをベースに特化した拡張をしたものであり、プログラミング言語処理系としてはFortran 90・C/C++コンパイラが利用できる（いずれも地球シミュレータ専用のカスマイズや調整（チューニング）が入っている）。並列化にあたっては、「ハイブリッド並列化」と「フラット並列化」の二つのプログラミングモデルがある。前者はノード間並列化をMPI、ノード内並列をマイクロタスクまたはOpenMPで記述する一方、後者はノード間・ノード内の両方の並列化をいずれもMPIで書く。一般的には前者はパフォーマンス重視、後者はプログラミング効率重視のモデルとされている。ユーザはこれらの並列化に対応したプログラムをバッチジョブとして投入する。名前が与えるイメージとは裏腹に、GRAPEのような専用計算機ではなくあくまで汎用計算機であるので、地球科学とは直接にかかわりのない分子動力学計算などにも利用されている[13]。

第4世代では、アーキテクチャの多様化とさらなる性能向上が図られており、AMD社製のEPYCプロセッサを基盤に、NECのSX-Aurora TSUBASA B401-8 ベクトルエンジン（Vector Engine, VE）およびNVIDIAのGPU A100を組み合わせたマルチアーキテクチャシステムとなっている。この構成により、従来のベクトルプロセッサに加えて、スカラプロセッサやGPUによる並列計算が強化され、様々な計算タスクに柔軟に対応できる設計となった[3]。

OSにはLinuxベースのRocky Linuxが採用されており、VEノードにはNECのSX-Aurora TSUBASA専用の環境が提供されている。これにより、CPUノード、VEノード、GPUノードといった異なるアーキテクチャ間での効率的なジョブの割り当てやスケジューリングが可能となっている。特に、VEノードはNECの独自技術であるベクトル計算能力を備え、ベクトル化されたアプリケーションの高効率な実行が可能だ。

プログラミング環境としては、従来から対応していたFortran、C、C++のコンパイラに加え、GPU向けにはCUDAなどの並列計算用フレームワークも利用可能となっている。並列化手法についても、従来のMPIによる並列化に加え、OpenMPを組み合わせたハイブリッド並列化が引き続きサポートされており、さらなるスケーラビリティと計算効率を実現している。

第4世代では、地球科学にとどまらず、AIや機械学習、さらには分子動力学や材料科学といった幅広い分野での利用が進んでいる。また、日本国内の学術ネットワークSINETに接続することで、国内外の研究者が遠隔からシステムを利用できるようになっており、その汎用性とアクセス性が大幅に向上している。

性能

[編集]

初代

[編集]

2002年3月15日に運用を開始した[14]。2002年6月にLINPACKベンチマークで実効性能35.86TFLOPSを記録し、スーパーコンピュータの計算性能の世界ランキングであるTOP500で第2位の IBM ASCI White に5倍の差をつけてトップを獲得して[15]以来、2004年11月に IBM Blue Gene に首位を明け渡す[16]まで、5期連続でトップを維持した。これは全640ノードの内638ノード（5,104プロセッサ）を用いて得られたもので、ピーク性能に対する実測性能比は87.2％となる。ASCI Whiteが7.226TFLOPS（ピーク性能12.288TFLOPS：ピーク性能比58.8％）であったのと比較して、理論ピーク性能に対する実効性能の比が非常に高く、ベクトル計算機特有の高速メモリシステムおよび単段クロスバーネットワーク接続[17]によるものと分析された。

第2世代

[編集]

初代のシステムを2009年3月に更新して、4月運用を開始した[18]。コストを抑え、さらに性能向上を図るため、2008年度に維持費とは別に5億円を計上し、6年間185億7600万円のレンタルにより新機種のSX-9/Eに更新し、ピーク計算能力を初代の3.2倍となる131TFLOPSに引き上げた。これにより、設置面積は半分の650平方メートル、電気代は従来の7-8割程度となる[19][20]。さらに、2009年6月にはLINPACKベンチマークで122.4TFLOPS（実行効率93.38%）を達成した。これは2008年11月発表のTOP500リストで実行効率世界1位、実行性能日本1位、世界ランキング16位に相当する[21]。また、LINPACKを補完し、多面的な観点から性能を評価する目的で開発された性能指標を競うDARPA HPC Challenge Award Competitionにおいて、2009年11月には4部門(Global HPL, Global RandomAccess, EP STREAM, Global FFT)のうちEP STREAM、 Global FFT部門で3位[22]、2010年11月にはGlobal FFT部門で1位を獲得した[23]。

第3世代

[編集]

SX-ACE 5120ノードへ2015年3月に更新[24]。このシステム更新で1.31PFLOPS、メモリ容量320TB、消費電力は約2MW以下（初代は約5MW、ES2は約3MW）となっている[25]。

第4世代

[編集]

SX-Aurora TSUBASA B401-8, Vector Engine Type20B 8C 1.6GHz 5,472台へ2021年3月に更新[26]。ピーク性能は19.5PFLOPS、前世代と比較して消費電力は同等ながら、設置面積は半減した[27]。2021年6月のTOP500では、39位、ピーク性能13.448PFLOPSを記録している[28]。

維持費

[編集]

初代システムの維持費用は年間約50億円（内訳は電気代約5億円、ガス・水道代1億5000万円、保守費用45億円）であった。消費電力は約6MWで、実アプリケーションの性能を確保するための高速メモリとネットワークに必要な電力とされた。

地球シミュレータのような専用のベクトルプロセッサを用いた計算機は、近年主流となっているPCクラスタに比べ価格性能比が低く、性能当たりの消費電力が多いとされる。ベクトル計算機とPCクラスタは得意分野の違いもあり、単純比較することは必ずしも適切ではないが、例えば2006年から運用開始された東京工業大学のTSUBAMEは、2002年に運用開始時の地球シミュレータと比較して導入費用は20分の1、電気代は5分の1、計算速度は1.6倍（LINPACK性能比）であった。

脚注

[編集]
[脚注の使い方]
  1. ^ “AI Bridging Cloud Infrastructure”. TOP500.org. 2021年7月10日閲覧。
  2. ^ 拠点・交通アクセス 横浜研究所
  3. ^ a b “JAMSTEC 地球シミュレータ ES4 システム”. 2024年9月15日閲覧。
  4. ^ 公共調達の適正化について(平成18年8月25日付財計第2017号)に基づく競争入札に係る情報の公表(物品役務等) 次期地球シミュレータ
  5. ^ 1994年春を除く
  6. ^ “コンピュータアーキテクチャの話(444) 地球シミュレータのCPUは1チップ”. TECH+ (2020年10月2日). 2021年3月4日閲覧。
  7. ^ ２００９年３月に新たなシステム（NEC SX-9/E）に更新しました。
  8. ^ 地球シミュレータは、NEC社製のスーパーコンピュータSX-ACEで構成される、世界最大規模の分散メモリ型ベクトル並列計算機です。総計5120ノードの計算ノードを有し、各計算ノードは1基のCPU(4コア)と64GBのメモリを搭載しています。
  9. ^ CEIST, JAMSTEC. “地球シミュレータ”. www.jamstec.go.jp. 2021年3月4日閲覧。
  10. ^ “NEC、「次期地球シミュレータ」をベクトル型スーパーコンピュータ「SX-Aurora TSUBASA」で受注”. NEC. 2020年9月27日閲覧。
  11. ^ “地球上の最も困難な課題に対処する、新しい地球シミュレータが誕生 | NVIDIA”. NVIDIA Japan Blog (2020年9月29日). 2024年2月5日閲覧。
  12. ^ Corporation, Japan Novel. “導入事例: 国立研究開発法人 海洋研究開発機構（JAMSTEC）様 - DCIM データセンター環境監視システム iDCNavi”. 日本ノーベル株式会社. 2021年7月10日閲覧。
  13. ^ 斎藤稔「地球シミュレータによるタンパク質の分子動力学シミュレーションの高速化(理論/実験 技術)」『生物物理』第46巻第5号、日本生物物理学会、2006年9月25日、283-286頁、doi:10.2142/biophys.46.283、NAID 110004810277。 
  14. ^ https://www.jamstec.go.jp/es/jp/es1/index.html
  15. ^ TOP500 List, June 2002
  16. ^ TOP500 List, Nov.2004
  17. ^ 多数のマシン（あるいは、PU:ProcessUnit）同士を結合するネットワーク結合部にスイッチを配する。その結合方法が、マシン(PU)単位で観ると1対1結合であり転送速度は高速である（ワンステップで転送出来る）。その特徴より、理論ピーク性能に対する実効性能の比が他のネットワーク結合方式に比べて非常に高い。その反面、スイッチの数がマシン(PU)の数の2乗に比例するため、マシン(PU)の数が増える分スイッチを増やすのは予算的に難しくなる。また、多数のスイッチの同調を取りづらくなる特徴を持つ。
  18. ^ https://www.jamstec.go.jp/es/jp/es2/index.html
  19. ^ 地球シミュレータの更新について、海洋研究開発機構計算システム計画・運用部、2008年11月14日
  20. ^ 「地球シミュレータ」：計算能力毎秒１３１兆回　機種更新、毎日新聞、2009年2月27日
  21. ^ 新型「地球シミュレータシステム」、LINPACKベンチで122.4TFLOPSを達成、マイコミジャーナル、2009年6月4日
  22. ^ 「地球シミュレータ」がHPCチャレンジアワードの2指標で第3位を受賞、海洋研究開発機構、2009年12月1日
  23. ^ 地球シミュレータがHPCチャレンジアワードの1指標で第1位を獲得、日本電気、2010年11月17日
  24. ^ 平成27年度 地球シミュレータ産業戦略利用プログラム公募要領 独立行政法人海洋研究開発機構
  25. ^ 第3世代「地球シミュレータ」システムが本格稼働へ～1.31PFLOPS/320TB、実効性能で約10倍に
  26. ^ (日本語) スーパーコンピュータ 地球シミュレータ（ES4）設置作業, https://www.youtube.com/watch?v=E9GixZAXlWE 2021年7月5日閲覧。 
  27. ^ (日本語) 次期地球シミュレータにNECの「SX-Aurora TSUBASA」採用　処理能力15倍、21年3月から運用, https://www.itmedia.co.jp/news/articles/2009/25/news123.html 2021年8月25日閲覧。 
  28. ^ “Earth Simulator -SX-Aurora TSUBASA - SX-Aurora TSUBASA A401-8, Vector Engine Type20B 8C 1.6GHz, Infiniband HDR200 | TOP500”. www.top500.org. 2021年7月2日閲覧。

外部リンク

[編集]
NECのスーパーコンピュータ SXシリーズ

座標: 北緯35度22分51秒 東経139度37分34.8秒 / 北緯35.38083度 東経139.626333度 / 35.38083; 139.626333

「https://ja.wikipedia.org/w/index.php?title=地球シミュレータ&oldid=101850246」から取得