POSIX中心主義に基づく大規模データ処理の実践

～2022 年フンガ・トンガ噴火における空振の可視化～

抄録

気象庁が運用するアメダス・地上観測所の1 分毎観測値は，15 年間で累計100 億件を超える，公的な大規模データである．このデータをプレーンテキスト形式に変換し，POSIX 中心主義に基づいたシェルコマンド群およびシェルスクリプトを用いることで，市販ノートPC並の処理能力でも大規模データ処理が充分可能となる．実例として2022 年1 月15 日発生のトンガ空振[1] を取り上げ，そのデータを抽出・解析し，GUI システムと連携させ大気圧変化を可視化した．本報告ではそれら手法を比較・評価し，われわれの手法が持つ再利用性と計算結果の可搬性の高さを示す．