地球は騒々しいです。なぜそのデータは沈黙する必要がありますか?

火山の噴火は私たちのすべての感覚を刺激します。 溶岩流や火山灰の雲の劇的なシーン、地震の振動の音と感触、ガス放出と灰の匂いと味、熱の強さなど、科学機器はこれらの感覚の物理的および化学的原因を測定および記録し、保存することができます。数値データとして。 しかし、科学者がパターンや異常を探すためにデータを分析するとき、最も多くの場合、視覚的な表現に注目します。 私たちの目に欠けているものを、私たちの他の感覚が教えてくれるのでしょうか？

人間の聴覚系は、微妙な時間的パターンを検出したり、因果関係を明らかにしたりする際に、視覚よりも優れた性能を発揮することがあります。

グラフ、写真、地図、ビデオは、視覚的に表示するためのよく知られたツールです。 しかし、人間の聴覚系は、微妙な時間的パターンを検出したり、複数のデータ ストリーム間の因果関係を明らかにしたりする際に、視覚よりも優れた性能を発揮することがあります。 研究では、データを調べる新しい方法が発見につながることがよくあります。 したがって、聴覚表示と音響化 (音によるデータの表現) は、科学者がその創造的および演繹的能力を最大限に活用できるようにすることで、科学を進歩させる大きな可能性を秘めています。

ソニフィケーションはこれまで、ソナー ディスプレイやガイガー カウンターのよく知られた音など、限られた方法で使用されてきました。 この機能を研究に広く活用する機は熟しています。 科学教育と普及活動では、没入型のマルチメディア体験を促進する現在の文化的傾向と技術開発を活用して、技術的知識を持たないより広範な聴衆が音声を使って情報にアクセスできるようにすることもできます [例、Holtzman et al.、2014]。 さらに、ソニフィケーションは、視覚障害のある科学者によって認識および評価されるデータのフレームワークを提供します[例: Song and Beilharz, 2007]。視覚障害のある科学者は、視覚障害のない科学者よりも高度に発達した聴覚知覚と認識を潜在的に持っています。

ソニフィケーションには、機械学習手法で使用されるステップと類似および補完的なデータ処理ステップが含まれており [Holtzman et al., 2018]、データセットを探索するための重要な機能と有用なワークフローを迅速に明らかにできます [Barth et al., 2020]。 聴覚的に表現することもできるモデル出力と組み合わせると、物理データの音響化によって特定された特徴は、固体地球および表面環境における複雑な自然システムの新たな理解につながる可能性があります。

直接音響化は、聴覚表示の最も単純な形式の 1 つであり、さまざまな振動データに容易に適用できます。

地球科学では、ソニフィケーションは冷戦時代から地震学に使用されてきました [Speeth、1961]。 科学者たちは、地面の揺れの記録を人間の可聴範囲（約20ヘルツから20キロヘルツ）まで高速化するだけで、人間の耳が爆弾の爆発と地殻変動の地震を区別できることを認識しました。 この直接音響化は、聴覚表示の最も単純な形式の 1 つであり、惑星軌道、地震活動、超低周波音、氷床コアまたは堆積物の記録、古地磁気の詳細を示すデータなど、さまざまな振動データに (適切な前処理を行うことで) 容易に適用できます。

最近の研究では、特別な訓練を受けていなくても、人間は聴覚的に表示される地震計の震源の特徴から地球を通る地震波の伝播の特徴を区別することができ、この能力は訓練後に向上することが実証されている[Boschi et al., 2017]。 遠隔地震データで対象となる周波数 (0.0001 ～ 10 ヘルツ) は人間の可聴範囲の下限をはるかに下回っているため、直接音波化では生データをより高い周波数にシフトする必要があります。 この周波数シフト (離散的にサンプリングされた観測時間に速度係数を乗算) は、視覚的なグラフ上のシンボルの色やサイズなど、選択する必要がある美的パラメータを表します。

地震やその他の振動データ生成イベントのカタログを音波処理する場合、研究者は複数の速度係数を使用して、カタログの時間順序を正確に維持しながら、個々のイベントを引き伸ばしたり圧縮したりできます。 音声空間化はさらに、音を区別したり、選択した観測場所に対する地震の震源などの空間パラメータを表現したりするのに役立ちます [Paté et al., 2022]。

毎週金曜日に、その週の最も魅力的な科学ニュース記事が受信箱に届きます。

ソニフィケーションは、単純に振動的ではないデータセットにも適用できますが、他のパラメータを表すには速度係数以外の追加の選択肢が必要です。 一般的なアプローチは、データ パラメータをサウンドのパラメータにマッピングするパラメータ マッピング ソニフィケーションです。 たとえば、やかんから連続的に鳴る笛のピッチは、水の沸騰速度が上がるにつれて高くなります。 音の周波数の上昇は、注ぎ口の穴を通る蒸気流束の上昇を示しており、これは沸騰速度を表す音の代用となる物理的プロセスです。 一般的なソニフィケーションのアプローチは、データを音に変換することでこれを実現します。 他のアプローチでは、たとえば、聴覚アイコンと呼ばれる特定の音で地震などの特定のイベントを描写する場合があります。 聴覚アイコンは、より低いマグニチュードの地震イベントに対してより高いピッチを使用し、より少ない残響を使用するなど、データの側面に基づいて調整できます。

音響化とアニメーションを組み合わせて、聴覚システムと視覚システムが連携できるようにすることも、しばしば役立つアプローチです。

ミュージシャンがよく知っているように、多くのパラメーターはサウンドを区別するのに役立ちます。ピッチ、ラウドネス、音色、ハーモニックおよび時間的複雑さはすべて操作してデータにマッピングできます。 オーディオ エンジニアリングやコンピューター ミュージックで一般的なグラニュラー シンセシスなどのアプローチも、多様で高次元の科学データを表現するための強力なツールとなります [Roads, 2004]。

音響化とアニメーションを組み合わせて、聴覚システムと視覚システムが連携できるようにすることも、しばしば有用なアプローチです [Holtzman et al., 2014]。 結果として得られる「データ ムービー」には通常、データ表現を生成するための聴覚および視覚的なアルゴリズム ルールを説明する視聴覚キーが含まれています。 アニメーションには視覚的なデータ表現ツールが組み込まれており、解釈を容易にするモデルだけでなく、より多くのデータ タイプを含めることができます。

さまざまなソニフィケーション技術と上記のデータ ムービー アプローチを実証するために、ハワイのキラウエア火山の火山活動を記録した複数のデータ セットを使用しました。

世界で最も活発な火山の 1 つであるキラウエア火山は、ハワイ島の他の活火山にも供給されるマントルプルームの減圧融解によ​​って供給されます (図 1)。 キラウェアの頂上噴出孔は 2008 年から 2018 年まで活動しており、当時、その下にあるマグマ系への開いた窓を提供する活発な溶岩湖がありました [Patrick et al., 2021]。

この頂上活動には、2011 年のカモアモア噴火など、キラウエアの東地溝帯に沿った断続的な噴出性 (非爆発的) 噴火が伴いました。活動は 2018 年に東地溝帯の噴火で最高潮に達し、約 1 立方キロメートルのマグマが生成され、近隣地域や近隣地域に被害を及ぼしました。インフラストラクチャーを破壊し、山頂で地震を引き起こすカルデラ崩壊現象を数か月に渡って引き起こした。 この 10 年にわたる噴火の分析と 1 世紀以上にわたる先行研究により、キラウエアは世界で最もよく理解されている活火山の 1 つとなりました。

キラウェアの浅いマグマ系の一般的な構造は何十年も前から知られていますが、研究者たちはその全体像を継続的に改良しており、重要な疑問は未解決のままです。

キラウェアの浅いマグマ系の一般的な構造は何十年も前から知られていますが、研究者たちはその全体像を継続的に改良しており、重要な疑問は未解決のままです。 下にあるマントルプルームから上昇する深部のマグマ輸送ネットワークの上で、マグマはいくつかの場所に保管されていると推測されます: 頂上のハレマウマウ火口火口の約 1 ～ 2 キロメートル下の貯留層、3 ～ 5 キロメートル離れた別の地域頂上の火道の下、そして頂上から火山の亀裂帯まで横に伸びる堤防のような構造物に沿って。 2008 年から 2018 年の大半の間、浅いマグマ溜まりと頂上の溶岩湖の間に直接の火道が存在しました。

キラウエアの地下マグマの空間構造と時間的接続性は完全には理解されていませんが、入手可能な情報をマグマ系の一連の概念的スケッチに組み込みました。 これらのスケッチは、最近の噴火期間中の 2 つの時間窓にわたる頂上の浅いマグマ システムの進化を表すデータ ムービーで、火山の最上部の配管に焦点を当てている状況を文脈化しています。

複合データ ムービーには、音響化技術と地質学的コンテキストを紹介するためのイントロダクションと音声キー (アクセシビリティのためのテキストのナレーション付き) が含まれています。 最初の時間枠は、2008 年から 2018 年までのハレマウマウ クレーターの 10 年規模のダイナミクスを示しており、その間に広範囲の活動が発生しました (図 2、左)。 2 つ目は、2018 年の山頂カルデラ崩壊シーケンスと東地溝帯下部の噴火を拡大したものです (図 2、右)。 最初のウィンドウでは、データ ムービーの 120 秒の長さは、ムービーの 1 秒がおよそ 1 か月のリアルタイムを表すことを意味します。 2018 年 5 月 11 日から 8 月 7 日までの拡大された崩壊シーケンスでは、1 秒が約 1 日を表します。 (どちらのケースでも、時間スケールによってイベントを調査できる詳細がどのように変化するかを示すために、60 秒バージョンのムービーも作成しました。)

2008 ～ 2018 年のデータ ムービー用にソニファイする 3 つのデータ セットを選択しました。 島全体の地震カタログから得られる山頂付近の地震は、時間の経過とともに変化する火山の応力状態を追跡します。 クレーター壁から溶岩湖への落石に関連した小規模地震の別のカタログ [Crozier and Karlstrom, 2021] は、10 秒を超える卓越振動周期を伴う超長周期 (VLP) 地震活動を反映しています。 また、頂上付近の全地球航法衛星システム (GNSS) センサーによって収集された放射状の地盤変形データは、地表の膨張と収縮を追跡します [Patrick et al., 2021]。 私たちは、さまざまなデータがサンプリングした物理プロセスを定性的に表すように設計された方法を使用して、これら 3 つのデータセットを音響化しました。

頂上付近の地震については、米国地質調査所のハワイ火山観測所ネットワークの観測点 (NPT/NPB) からの頂上付近の垂直地震動の単純な直接音波処理を使用しました。 各地震に対して速度係数 150 を適用しました。これは、元々約 0.13 ヘルツを超える地震周波数が映画内で聞こえることを意味します。 個々の地震の規模と継続時間の違いは、大きさや音色に反映されます。 震源の位置 (各地震の震源の直下) のアニメーションと組み合わせることで、このアプローチにより、時間の経過に伴う火山内部の応力変化と破壊パターンを明確に識別することができます。 さらに、クレーターの中心から各地震の縦方向の距離を表すために、左右のステレオ パンニング (つまり、サウンドを異なるチャネルに不均一に分割する) を使用しました。

2008 年にハレマウマウ クレーターが開くとすぐに、露出したクレーターの壁が徐々に崩壊し、激しく揺れる溶岩湖の中に落ち始めました。

一方、VLP 地震活動は、キラウェア地下のマグマ系の進化について物語ります。 2008 年にハレマウマウ クレーターが開くとすぐに、露出したクレーターの壁が徐々に崩壊し、激しく揺れる溶岩湖の中に落ち始め、2018 年までに溶岩湖の直径は 4 倍に成長しました。地震計は、マグマの減衰した共鳴スロッシングを検出しました。そして、溶岩湖の表面に落ちた大きな岩によってできた浅い（深さ 1 ～ 2 キロメートル）ハレマウマウ貯水池から出ます。 この顕著な共鳴の持続時間と周波数（基本モードと倍音の両方）は、マグマ系の形状と、温度や気泡含有量などの多相マグマの特性に依存します。 したがって、時間の経過に伴う共鳴特性の変化はマグマ系内の変化を反映しています [Crozier and Karlstrom、2022]。

これらの VLP 波形は多くの場合非常に調性的です (すなわち、倍音をほとんど示さない) が、直接可聴化すると短い音が発生し、実際の出来事の複雑さをうまく表現できません。 リスナーが VLP 地震活動の時間構造を聞くことができるようにするために、周波数が 200 ～ 500 ヘルツで持続時間が 1 秒の純粋な正弦波トーンを合成することにより、各地震図の最も強いスペクトル ピークを音響化するアプローチを使用しました。地震データの相対周波数間隔と時間エンベロープ (図 3)。

アニメーションは、サウンドを解釈する上で重要な助けとなります。各 VLP イベントを、頂上の溶岩湖と浅い配管システムのスケッチ内の色のしぶきと関連付けます。 カラー スケールは VLP 基本モードの周期に対応し、寒色系の色は短い周期を表します。 VLP 地震活動の周期と減衰率は、浅い貯留層と火道内のマグマの温度と揮発性成分を追跡するため [Crozier and Karlstrom、2022]、このアニメーションは、火山の内部力学が噴火を通じてどのように進化したと考えられるかを調べるためのツールを提供します。

最後に、キラウエア山頂付近で収集した測地（放射状 GNSS）データを音波処理し、山頂下のマグマの蓄積を追跡しました。 このマグマは溶岩湖のダイナミクスを推進し、2018 年の極致の噴火シーケンスを供給するのに役立ちました。また、GNSS データは、地震データよりも広い範囲と長い時間スケールで発生する変形を捉えています。 私たちは、合成音の和音から音をそれぞれ追加または削除することによって、放射状の変形の比較的ゆっくりとした増加または減少を表す可聴化手法を選択しました。 このコードは、3 オクターブにわたるリディアン モード (7 音の音階) の音を使用して構築されました。 2018 年の突然の崩壊に至るまでの火山の緩やかな膨張は、着実に増加する音の密度と周波数によって聴覚的に表現されます。 長期的なインフレ傾向に組み込まれた変形の小さな変動は、これらの短期的な傾向を取り除いた変動で時間の経過とともにコードの音量をスケーリングすることによって表されます。 視覚的には、変形は、マグマが蓄積していたハレマウマウ貯留層の推定重心に位置する、半径が変化する円として表されます。

2018 年のカルデラ崩壊シーケンスでは、測地と地震のカタログ データのみを音波処理し、極大噴火エピソード中の周期的挙動をより集中的に調べることが可能になりました。

2018 年のカルデラ崩壊シーケンスでは、測地と地震のカタログ データのみを音波処理し、極大噴火エピソード中の周期的挙動をより集中的に調べることが可能になりました。 この一連の地震では、ほぼ毎日発生するマグニチュード 5 程度の地震が 62 回発生し、カルデラ底部の階段状の低下が山頂近くの傾斜計 (GNSS とは異なる種類の測地測定) によって記録されました。 これらの崩壊イベントの間に何百もの小規模な地震が発生し、次の大きな崩壊に近づくにつれて応力が増加するにつれてイベント間の時間は減少しました。

Barth らが開発したコード スイープ アプローチを使用しました。 [2020] 傾斜計データを音響化し、カルデラの崩壊に伴って対称的な八音音階で上下する連続音クラスターを生成します。 速度係数 280 を使用した地震の直接音波化 (約 0.07 ヘルツを超える元の周波数が聞こえる) により、さまざまな地震の規模を明確に区別することができ、カルデラの中心を基準とした左右のステレオ パンにより、カルデラ崩壊の空間感覚が得られます。 。 信号のクリッピングを避けるために、山頂から離れた観測点（PUHI）で記録されたマグニチュード 1.5 を超えるおよそ 16,000 件の地震 [Shelly and Thelen、2019] を音波処理しました。 付随する視覚化のために、地域の地形の画像の上と地面の傾きのタイムラインの下に、地震の震源と深さをアニメーション化して色付けしました。 この視覚的なアプローチは、その後収集された地形データを使用して、2018 年のシーケンスの終わりに劇的なカルデラ崩壊を示しています。

適切に構成されたデータ ムービーは、複数のレベルで表示できます。 データ ムービーは、標準的な時系列データの静的なプロットよりも、科学的背景や訓練を受けていない視聴者であっても好奇心を刺激します。 視聴覚キーが提供されている場合、視覚的なパターンと音声により、因果関係と空間構造の迅速な評価が促進されます。 データ ムービーを、基礎となる科学から独立した純粋に美的な創造物として見たり聞いたりすることもできます。 実際、キラウェアのデータ映画用にデータを音響化する私たちのアプローチは、コンピューター音楽の作曲に使用されるデータ駆動型の技術を反映しており、火山活動の騒動のエピソードには当然、緊張と解放という説得力のある音楽要素が含まれています。

データ ムービーには、何層もの意味が含まれており、何度も視聴したり、科学的知識を深めたりすることで浮かび上がります。

ただし、優れたテクニカル グラフと同様に、データ ムービーにはその美的魅力の下に、複数の視聴や科学的知識の増加によって現れる意味の層が含まれています。 たとえば、私たちの映画を数回（または、非常に敏感であれば 1 回だけでも）視聴すると、2008 年から 2018 年の間に火山周辺で発生した他の地震や地盤の膨張のパターンと一致する VLP 周期の変化に気づくかもしれません。また、2018 年のより大きなマグニチュードの地震に先立ち、大規模なカルデラ崩壊を引き起こした複数の進化する断層構造の周囲に空間的に局在化した、一連の小規模な前震地震にも注目されるかもしれません。

これらのパターンのいくつかは、査読済みの文献ですでに取り上げられています。 しかし、その他はまだ研究も説明もされていません。 それで、何が聞こえますか？ 変形、VLP 地震活動、または地震の明確なパターンは、2018 年の噴火シーケンスまたはその他の噴火イベントに先行しているように見えますか? 2018 年の一連の噴火を通じて、地震と変形のパターンは変化するのでしょうか?

地球科学データを表現するツールとしてのソニフィケーションはまだ初期段階にあります。 ここで紹介したアプリケーション (詳細については Volcano Listening Project でご覧いただけます) が、他の人がデータを聞いて実験するきっかけになれば幸いです。 私たちは結果を見たり聞いたりすることを楽しみにしています。

複合音響化をミックスしてくれた Adam Roszkiewicz と、建設的なレビューをしてくれた Katie Mulliken に感謝します。 AB と BH は、NSF-CISE 助成金 1663893 によって支援されました。BH は、LK と共同でオレゴン大学への Meijerjergen Fellowship によって支援され、また彼のコース「データの音響および視覚表現」に対するコロンビア大学共同研究助成金によって支援されました。ここで使用されているものは開発されたものです (https://seismicsoundlab.github.io から入手可能)。 LK は NSF CAREER 助成金 1848554 によって支援されました。商号、企業名、または製品名の使用は説明のみを目的としており、米国政府による承認を意味するものではありません。

Barth、A.、他。 (2020)、間欠泉噴火のダイナミクスを解明するための多変量データの音響化とアニメーション、Comput。 Music J.、44(1)、35–50、https://doi.org/10.1162/comj_a_00551。

ボスキ、L.ら。 （2017）、監査された地震データの認識について、J. Acoust。 社会 Am.、141(5)、3,899–3,899、https://doi.org/10.1121/1.4988767。

Crozier、J.、L. Karlstrom (2021)、超長周期地震活動のウェーブレットベースの特性評価は、2008 年から 2018 年のキラウエア火山噴火にわたる浅部マグマ系の時間的進化を明らかにしています、J. Geophys。 解像度固体地球、126(6)、e2020JB020837、https://doi.org/10.1029/2020JB020837。

Crozier、J.、および L. Karlstrom (2022)、2008 ～ 2018 年のキラウェア火山山頂噴火におけるマグマの温度と揮発性内容物の進化、科学的研究。 Adv.、8(22)、eabm4310、https://doi.org/10.1126/sciadv.abm4310。

ホルツマン、B.ら。 (2014)、地震音ラボ: 音響空間としての地球の光景、音、認識、コンピューター音楽学際的研究に関する国際シンポジウム、161–174 ページ、シュプリンガー、シャム、スイス、https://doi.org/ 10.1007/978-3-319-12976-1_10。

ホルツマン、BK、他。 (2018)、機械学習は間欠泉地熱地帯の震源スペクトルの周期的変化を明らかにする、Sci. アドバンス、4(5)、eaao2929、https://doi.org/10.1126/sciadv.aao2929。

パテ、A.ら。 (2022)、オーディオとビジュアルの表示を組み合わせて時間的および空間的な地震パターンを強調、J. Multimodal User Interfaces、16(1)、125–142、https://doi.org/10.1007/s12193-021-00378-8。

パトリック、M.、他。 (2021)、キラウエアの 2008 ～ 2018 年サミット溶岩湖 - 年表と噴火の洞察、US Geol。 生き残る。 Pap 教授、1867(A)、https://doi.org/10.3133/pp1867A。

Roads、C. (2004)、Microsound、MIT Press、ケンブリッジ、マサチューセッツ州

Shelly、DR、WA Thelen (2019)、「カルデラ崩壊の解剖学: 高解像度のキラウェア 2018 頂上地震活動シーケンス」、Geophys。 解像度 Lett.、46(24)、14,395–14,403、https://doi.org/10.1029/2019GL085636。

Song、HJ、および K. Beilharz (2007)、聴覚グラフ作成における同時聴覚ストリーム識別、Int. J. コンピューター、1(3)、79–87。

Speeth、SD (1961)、地震計の音、J. Acoust。 社会午前、33(7)、909–916、https://doi.org/10.1121/1.1908843。

ワイルディング、JD、他。 (2022)、ハワイの下のマグマの巣、サイエンス、379、462–468、https://doi.org/10.1126/science.ade5755。

Leif Karlstrom ([email protected])、オレゴン大学ユージーン校、 ベン・ホルツマン、コロンビア大学、ニューヨーク州ニューヨーク。 アンナ・バース、カリフォルニア大学バークレー校。 Josh Crozier、カリフォルニア火山天文台、米国地質調査所、メンローパーク。 および Arthur Paté、ジュニア/高等電子デジタル技術研究所、リール、フランス