2014 Volume 18 Pages 73-80
海洋研究開発機構（JAMSTEC）地球情報研究センターでは，JAMSTECが保有する潜水調査船や無人探査機で取得された膨大な深海の映像や静止画像を管理し，インターネットに公開している．国際海洋環境情報センター（GODAC）にて2011年から稼働を開始しているデータベースシステム「深海映像・画像アーカイブス（J-EDI）」は，配信している深海映像や画像の撮影環境の多様さやその量において他に類を見ない．潜航調査で撮影されたオリジナルの映像や画像は公開用にフォーマット変換やサイズ変更され，公開用の映像や画像にはGODACスタッフによって被写体に応じたアノテーションが付与されている．J-EDIの稼働によりアノテーションが付与された公開映像の数は飛躍的に増加した．一方，映像利用のためには適切なフォーマットでの公開が必要であるが，オリジナル映像のフォーマットが多様化することで，公開用フォーマットへの変換処理が煩雑になる課題がある．さらに，アノテーションは，膨大な量の深海映像や画像から目的のものを探すために有効であるが，記録された物体の詳細な同定には専門的な知識が必須である．現在のJ-EDIにおけるアノテーションの多くは大まかな分類情報しか示していないため，専門家と協働したアノテーション付与体制を構築することが必要である．
海洋研究開発機構（JAMSTEC）地球情報研究センターでは，JAMSTECが保有する「しんかい6500」を始めとした潜水調査船や無人探査機で取得された膨大な深海調査における動画像（映像）や静止画像（画像・写真）を管理している．JAMSTECでは1992年にスチルカメラで撮影された深海調査の写真をデータベース化するシステムの構築が行われており（海洋科学技術センター，1993），さらに1998年からは「深海画像データベース」としてインターネットに公開してきた（Fig.1）（土屋ほか，2005）．また，2001年からJAMSTEC国際海洋環境情報センター（GODAC）において，潜航調査で撮影された映像をデジタル化してアーカイブすると共にストリーミング配信用のReal Videoファイルを生成し，撮影メタ情報を含めてデータベース化した「深海映像データベース」を通してインターネットに公開してきた（Fig.1）（園田ほか，2005）．「深海映像データベース」は映像のシーン変化を自動抽出してショットを分割するような要素技術（谷口ほか，1996）などを参考に構築されており、GODACではインターネットへの公開当初から「深海映像データベース」に登録した映像をシステム上で視聴し，システム機能を用いて映像の切り出しやアノテーション付与作業を継続して行ってきた．さらに，2009年からは映像配信サイトとして「深海ビデオキャスト」も加わり，それぞれのサイトが個別に運用されてきた．
Screenshots of the deep-sea image distribution systems of old version, the Deep-sea Video Database and the Deep-sea Image Database, on GODAC web site
図1. 旧深海映像・画像配信システム；深海映像データベースと深海画像データベース
これらのシステムはそれぞれに特徴があり，開発当時のデータ管理・公開状況に応じた機能構成であったため，サイト管理者には映像・画像の処理や公開に伴う複数フォーマットへの映像変換処理や各サイトへの同一メタ情報登録などの冗長な作業が必要であり，利用者に対しては深海環境の映像や画像が前述の3つのデータベースサイトからそれぞれに配信されていた状況であった．さらに，年間で撮影される映像テープ数に対し，アノテーションが付与されるテープ数は少なく，作業が完了しない問題を抱えていた．また，技術の進歩により船上で撮影される映像や画像には高密度記録による大容量化やデジタル化，記録媒体の変更が行われている．
本稿では，これらの様々な問題に対応しながら取り組んでいる深海映像や画像データの公開処理を紹介すると共に現在における課題について報告する．
2010年から，それまで深海画像や映像の公開サイトとして運用されてきた「深海画像データベース」，「深海映像データベース」，「深海ビデオキャスト」を統合する新たなシステムの開発に着手し，2011年11月末から深海映像・画像を配信するためのデータベースシステム「深海映像・画像アーカイブス」（J-EDI : JAMSTEC E-library of Deep-sea Images）< http://www.godac.jamstec.go.jp/jedi/> をインターネットに公開している（嘉陽ほか，2012；Kitayama et al., 2012）．J-EDIは，深海調査で撮影された映像や画像の配信を通じて，一般利用者に対して深海への興味や理解の増進と，深海調査に関わる研究者への資料の提供を行うことを目的として，各種機能の整備が進められている．
J-EDIトップページには利用者数の増加を意識して，特徴的な映像や画像への直接アクセスパスを配置すると共に，アノテーション付与作業を行うスタッフが選定した映像のギャラリーを配置している（Fig.2）．J-EDIは一般利用者と研究者の両方の利用者層を意識した映像・画像の検索機能を備えており，一般利用者が目的の映像や画像を探し出す際の利便性を考慮して，操作が容易なアイコンやフリーテキストでの検索が可能となっている．一方，研究者向けには，被写体に応じて映像に付与された学術的な内容のアノテーションをツリー化したインタフェースによる検索や地図上での潜航調査位置の範囲選択による検索，潜航メタ情報でのテキスト検索が可能となっている．
Screenshot of the top page of J-EDI web site
図2. J-EDIトップページ
映像や画像の閲覧環境には各種ブラウザで広く利用可能なFlash Playerを採用し，映像や画像の配信にあたっては意図しないデータの拡散を防止するためにユーザ認証によってログインした利用者のみが映像や画像をダウンロードできるようになっている．さらに，研究者に向けたサービスとして，映像・画像以外にも撮影時に潜水調査船で観測されたCTD/DOのデータが閲覧・ダウンロードできる機能を備えている（Fig.3）．
Functions of a deep-sea image distribution page of J-EDI
図3. 深海映像閲覧ページの機能
これらに加え，J-EDIは他システムとデータ連携する機能を有しており，特に海洋生物の分布情報を統合的に扱うシステムであるBISMaL（Biological Information System for Marine Life）< http://www.godac.jamstec.go.jp/bismal/> （田中ほか，2009；Yamamoto et al., 2012）からは生物分類群情報を取得し，アノテーションの記載内容に活用している．また，これによりBISMaLからもJ-EDI上の映像閲覧が可能になっていると共に，生物名のアノテーションが付けられた映像のメタ情報は生物観察記録としてBISMaLに取り込まれており，情報が乏しい深海における生物多様性研究に貢献している．
潜航調査により取得した映像や画像の公開は他の海洋調査機関でも行われており，潜航調査で得られたメタ情報らと合わせた公開（Woods Hole Oceanographic Institution, 2013）や，貴重な映像や画像のみを抽出し，高解像度かつ解説を付与した公開（Monterey Bay Aquarium Research Institute, 2013）の事例などがある．しかしながら，J-EDIでは取り扱う深海映像や画像の量が膨大であり，さらに撮影された被写体に応じたアノテーションを付与することで，撮影時のメタ情報のみならず撮影内容で整理されており，このように深海の映像や画像をWebで公開する大規模なデータベースは他に見当たらない．
2.2 深海画像の公開処理 2.2.1 静止画像静止画像の公開が開始された1998年から2008年までは，潜水船の船外や船内に設置されたスチルカメラで撮影された写真のネガフィルムを1コマずつスキャンしてデジタル化していた．デジタル化された画像ファイルは「深海画像データベース」に登録され，最終的には約35万コマの深海画像をこの運用手順で公開した．1982年の「しんかい2000」初潜航時の記録から保管しているため，膨大な量の写真が存在するが，それまでの手順ではその全てをデジタル化することができなかっただけでなく，スキャン作業は公開用の低解像度画像のみを生成する作業であった．その後，ネガフィルムの経年劣化への対応も兼ねて，毎年，専門業者を介して高解像度でスキャンし，2013年に全ての潜航で撮影された写真のデジタル化処理が終了している．
潜航調査における写真撮影について，2001年から徐々にデジタルカメラが使用されるようになり，2005年には各潜水調査船でJPEG形式の静止画像ファイルとして記録されるようになっている．データ・サンプル取扱規程類の施行により，デジタルカメラで撮影された静止画像の公開が急務となったため，2009年に同一カメラで撮影された静止画像ファイルを一括登録可能にするデータベースの刷新を行った．これによって，デジタル化されている静止画像のデータベースへの登録やインターネットへの公開作業を迅速に行うことが可能になり，静止画像の公開コマ数が大幅に増加すると共に，JAMSTECが保有する全ての深海写真をインターネットに公開することが可能となった．現在のJ-EDIでも静止画像ファイルの一括登録機能は引き継がれており，2013年3月末時点で90万コマ以上の静止画像が公開されている．
公開用の静止画像は，オリジナルデータや高解像度でスキャンしたデータを，600 pixel×400 pixel の幅と高さにリサイズすると共にコピーライトを示す画像を重ね合わせて生成している．一台のカメラで撮影された全静止画像を一括してリサイズ処理し，まとめてZIP化した書庫ファイルをアップロードするだけでデータベースに登録できる．データベースへの登録後は，船上で撮影されたものや人物が写っているものを抽出して非公開扱いとして設定し，他の画像は全てインターネットに公開している．
2.2.2 動画像深海映像の公開を開始した2001年から約8年間はGODACにてビデオテープから長期アーカイブ用のMpeg2フォーマット映像ファイルにエンコード処理し，さらにそれをストリーミング配信用のReal Videoフォーマットにトランスコード処理してきた．
当初は航海管理部署から受領した映像テープをJAMSTEC横浜研究所でダビングし，ダビングテープをGODACに輸送した後，GODACでエンコード処理していたが，構内ネットワーク回線帯域の増強などのインフラ整備により，2010年からは横浜研究所でエンコード処理を行っている．横浜研究所では，長期アーカイブ用Mpeg2ファイルのみを生成し，エンコード後のMpeg2ファイルは拠点間ネットワーク回線を通じてGODACに転送されている．GODACにはこれまでにエンコードされた全ての深海調査映像のMpeg2ファイルがアーカイブされており，2012年度末時点で約19,000ファイル（データ総量：約170TB）になっている．
航海管理部署から情報管理部署に提出される潜航調査の映像情報は，従来ビデオテープの記録媒体であったが，2010年から一部の潜水調査船で撮影された映像についてハードディスク録画されたデジタルファイルに変更となり，2013年には全ての映像がデジタルファイルで提出され，ハードディスクに格納されたファイルベースのオリジナル映像を取り扱うようになっている．これにより静止画像だけでなく映像もファイルベースの記録となり，ビデオテープのエンコード作業は数年後に終了する見込みとなっている．2012年にこれまでの全ての潜航で撮影されたメインカメラの映像がエンコードされており，現在は複数のカメラで撮影された潜航に対してメインカメラ以外で撮影された映像のエンコード処理を行っている．
映像配信システムをJ-EDIに更新する際，Flash Playerでの再生に対応させるため，公開用映像のフォーマットをReal VideoからMpeg4-AVC/H.264のコーデック／コンテナに変更した．さらに多様な利用者及び使用用途を考慮し，映像品質等の最適化を行っている（北山ほか，2013）．現在，このフォーマットの映像ファイル作成は横浜研究所とGODACの双方の設備で実施可能であり，横浜研究所では主に新規に公開する映像のトランスコード処理，GODACでは蓄積されたアーカイブ用Mpeg2ファイルを入力としたトランスコード処理を行っている．
Mpeg4-AVC/H.264フォーマットの公開用映像ファイルはJ-EDIに登録した時点で10分単位のショットとして機械的に分割して扱われる．映像にアノテーションを付与する際には，撮影された映像の内容や場面に応じて，作業者によるショットの結合や再分割が行われ，公開に最適な映像シーンをファイルベースで調整している．2013年3月末で総数約173,000ショットが公開され，ストリーミング配信されている．
2.3 アノテーション付与GODACでは2001年の深海映像の公開当初から，撮影された被写体に応じたアノテーションを映像ショットに付与してきた．画像に対してはアノテーションを付与する機能がデータベース側に追加された翌2010年から作業が行われている．膨大な数の映像・画像の中から様々な利用者が目的の映像や画像を探しやすくするためにアノテーションを付与することは有効であり，他機関でも潜航調査において効率的に情報を登録する仕組みが取り入れられている（Monterey Bay Aquarium Research Institute, 2013）．
「深海映像データベース」に備えられていたアノテーション付与機能は，PC端末上で動作するクライアントアプリケーションであった．このため，GODACの環境においてのみ作業が可能な状況であり，このアプリケーション上で映像を再生し，音声を含めて視聴しながらテキスト入力でアノテーションを付与する作業が行われていた．運用としては，映像が撮影された潜航の報告文献や図鑑などの書籍を参照し，高精度なアノテーションの登録を目的として進められていた．しかしながら，このシステム環境と運用方法ではアノテーション付与作業に時間がかかるため，エンコードされた映像ファイル数の方がアノテーションを付与された映像ファイル数よりも多くなり，永久に全ての記録映像にアノテーションを付与できないという重大な問題を抱えた作業となっていた．作業遅延の主な原因は，テキスト入力によるアノテーション内容の不均一とこれを低減するための運用対応，文献からのアノテーション内容抽出作業にあった．
J-EDIの構築に際し，アノテーション付与作業の効率化も考慮されている．構築に先立ち，それまで全映像のアノテーション付与作業を行う想定での運用であったが，各潜航でメインカメラの映像のみに作業対象を限定し，全潜航に渡ってアノテーションを付与する方針に変更した．また，システム運用時には律速となっていた文献調査を取りやめ，これまでにスタッフに蓄積されてきた知見を元に，アノテーション内容選定のガイドラインを作成し，これをベースに作業を進めることにした．さらに，映像を見て理解できる範囲の内容までを登録するものとし，音声の参照も取りやめている．J-EDIでアノテーション付与を行うための機能には，検索画面で用いているアイコンや分類ツリーのインタフェースを流用し，それらを選択するだけで，被写体に応じた分類種別等がアノテーションとして登録できる（Fig.4）．これにより，テキストのキーボード入力作業を最小限にし，操作性の向上やアノテーション記載内容の表現統一を果たしている．
Screenshot of an operation screen for making annotations with J-EDI
図4. アノテーション付与画面
運用上の改善とシステムの更新によって，2001年から2010年まで「深海映像データベース」上で実施された深海映像へのコメント付作業数が約32,000件（957潜航分）であったのに対し，2012年度の一年間でJ-EDIの機能を用いて付与したアノテーション作業数は約55,000件（2,171潜航分）となり，運用改善とシステム更新による大幅な作業効率向上を果たしている（伊禮ほか，2013）．2013年度中にはメインカメラで撮影された全潜航分の映像へのアノテーション付与作業が終了する見込みである（Fig.5）．
Changes in the total number of dives with annotated videos
図5. アノテーションが付与された映像を持つ潜航数累計の推移
映像データは，映像信号をデジタルデータに変換するための「コーデック」と，デジタルデータをファイルに格納するためのファイルフォーマットである「コンテナ」からなり，コンテナとコーデックの組み合わせは多岐に渡るが，アーカイブ，編集，配信などの用途によって適したコーデックとコンテナの組み合わせを選択した運用にすることが重要となる．コーデックとコンテナの組み合わせには規格上の問題は無いが，一般的には使用されないものも存在し，また，解像度やフレームレート，ヘッダー情報の違いなどによって，映像処理作業を一律に扱うことは非常に困難であるため，可能な限り，撮影記録時のフォーマットを統一する必要がある．
情報管理部署で保管している2010年以前の潜航調査で撮影された映像の記録媒体はビデオテーブであるため，記録媒体自身が一種のフォーマットであり，テープ媒体の種類の別はあるが撮影記録時のフォーマットはほぼ統一されていると言える．撮影された映像は，テープ媒体の経年劣化を除くと，撮影時の画質が維持でき，公開用の映像生成処理を行う際には，入力フォーマットが固定されていることを前提とした対応を取ることができる．一方，現在では，深海調査映像がファイルベースでハードディスクに格納された記録状態に変化している．ファイルベースの映像は，コーデックとコンテナの組み合わせが多岐に渡るだけでなく，技術的な変化が著しいため，次々と新たなフォーマットが作り出される状況にある．
潜航調査のオリジナル映像フォーマットが多岐に渡る可能性があることは，その後の再生や提供，インターネットへの配信に大きな影響を与えることになる．コーデックとコンテナの組み合わせはそれぞれの用途に適した組み合わせを採用すべきであるが，入力フォーマットが不統一の場合，各用途にトランスコードする処理方法が統一できず，安定的に深海調査映像を配信するために運用上必須の要件となる作業のルーチン化が困難になりうる課題がある．
JAMSTECの潜航調査で撮影される学術的に価値の高い映像の取扱いに際しては，オリジナル映像を出来る限り高画質で保つことの他に，利用のための再処理を想定した適切なフォーマットの選択と均一な品質，フォーマットでの保管が重要である．映像収録時を含めた映像処理フローにおいて，オリジナル映像の高画質化に伴う映像保管領域の大容量化や，映像の入力フォーマット情報・パラメータの自動検出によるトランスコードの分岐処理自動化等，映像技術の進歩に伴ったIT技術の適切な選択とシステム機能構築が不可欠である．
3.2 アノテーション内容運用方法の改善とJ-EDIの利用による作業効率化によって，メインカメラで撮影された全ての映像に対し，アノテーションを付与できる目処がついた．しかしながら，現状のアノテーションは映像や画像の被写体となっている海洋生物の大まかな分類情報に関する内容が主であり，学術的な利用においては十分なレベルに同定できていないものが多い．また，地質や地形の特徴など深海環境に関するアノテーションも同様な状況にある．
「深海映像データベース」上でアノテーションを付与していた際には，文献情報や図鑑等の書籍を参照し，より詳細な内容を付与してきた．現在は，作業者の知見とガイドラインに従ってアノテーションを付与しており，映像の被写体から作業者が確実に判別可能な内容のみを登録している．一般利用者にとっては，膨大な数の深海映像や画像から目的の被写体が撮影された映像や画像を探す際や興味のある映像や画像の被写体を説明する情報として十分な価値があるが，専門家にとってはその限りではない．また，BISMaLを介した生物多様性研究への貢献の意味でも，可能な限り，詳細に同定した内容のアノテーションを付与する必要がある．
今後，文献等を参照するなどの対応によりアノテーションをさらに詳細な内容に変更することは，再び，アノテーション付与作業を非効率にする．仮に文献の記載等を参照し，学術的な内容を映像や画像に付与したとしても，作業員は専門家ではないため，その正確性の担保が得られない懸念がある．従って，専門家にとって価値のあるアノテーションを付与するためには，専門家の知見が必要となる．
J-EDIは，付与されているアノテーションを補正する機能を有しており，スタッフが付与したアノテーションについて，専門家による正確性の担保や，学術的な知見による詳細な同定結果をアノテーションに反映することができる．しかしながら，専門家の協力を得るためにはシステムとしての利便性向上が必要である他，専門家側のインセンティブとなる動機付けが必要であり，これらを解決して専門家との協働体制を構築することが深海映像や画像に対する学術的な価値を向上させるための課題となっている．
J-EDIで公開される深海映像や画像を通じ，専門家である研究者の研究活動や成果の発信を視覚的かつ簡便に実施できる環境や，アノテーションに使われる分類を専門分野とする専門家らへの映像・画像に容易にアクセス可能である仮想的な共同作業スペースの提供など，アクティビティを支援する機能を専門家と共に開発していくことが，専門家と運用側を繋ぐ協働体制を作る一つの方策と考えられる．
全潜航において撮影された，静止画像のデジタル化の完了や動画像のエンコード処理，アノテーション付与作業の完了見込みが具体化したことなど，データ公開当初からの当面の目標が達成できる見込みとなってきた．映像や画像のような視覚的に理解が容易となるデータの発信は，調査研究の観察記録のみならず，一般への理解増進に，益々，貴重なものになるであろう．本稿で取り上げた大きな課題やその他の技術の進歩等に伴う様々な問題を解決する上では，今後も技術動向や利用者ニーズを注視し，より柔軟な運用や一層のシステム機能向上が不可欠である．
査読者の土屋利雄氏及び松本剛氏に頂いたご指摘は，本報告の改善に大変有益でした．深海映像や画像データの公開には，その撮影時から，潜航研究者や関連研究者，運航担当者，観測技術員など，多くの方々の多大な労力とデータ公開に対するご理解・ご協力の上で成り立っております．ここに記して深く感謝を申し上げます．
