The Journal of Japan Society for Laser Surgery and Medicine
Online ISSN : 1881-1639
Print ISSN : 0288-6200
ISSN-L : 0288-6200
ORIGINAL ARTICLE
Development of HyperEye Medical System
Takayuki Sato
Author information
JOURNAL FREE ACCESS FULL-TEXT HTML

2023 Volume 43 Issue 4 Pages 320-323

Details
Abstract

当初の医療用近赤外蛍光カメラの映像は白黒であった.そのため,術中には,術野を肉眼で確認しカメラ映像をモニターで確認する必要があった.そこで,筆者は,近赤外蛍光と可視光を同時に撮像できる単板のセンサーと近赤外光と可視光のセンサーへの入射光量をバランスさせる光学フィルターを開発した.これらの技術によって,外科医の視野切り替え作業が減り実用的な近赤外蛍光ガイド手術用のカメラが完成した.人の目を超えるという開発コンセプトを反映し,HyperEye Medical Systemという製品名を付けた.

Translated Abstract

We developed a new color charge-coupled device camera system for intraoperative indocyanine green fluorescence-guided surgery. The device consists of a combination of custom-made optical filters and a high-sensitive image sensor with non-Bayer color filter array, i.e., HyperEye technology, which can detect simultaneously color and near-infrared images. After practical research, this device resulted in a medical imaging system, HyperEye Medical System.

1.  緒言

2000年代に入って,近赤外光イメージングが医療分野で注目されるようになった1).特にインドシアニングリーン(ICG)を用いた蛍光観察は,センチネルリンパ節の同定や冠動脈バイパス術におけるグラフト血流の評価における有用性が次々と発表された.しかし,当時の医療用の近赤外カメラは,白黒であった.現場の外科医からは,「色情報がなければ,術中ナビゲーションには使えない」という評価が聞かれた.当時は,肉眼で患部を視て,ICG近赤外蛍光の位置を白黒カメラのモニターで確認するため,視野の切替作業が必要だったのである

2.  HyperEyeセンサーの開発

この問題を解決する方策として,多板センサー方式が考えられた.入射光を分光し,可視光をカラーセンサーで近赤外光を白黒センサーで撮像し重ね合わせるという方式は,技術的には容易であったが,小型化・ローコスト化には難点があると考えられた.内視鏡下手術が急速に普及していることを考えると電子スコープへの応用展開が可能になるよう,単板センサーで「可視光カラーと近赤外光(IR)を同時に撮像」できることが好ましい.従来のカラーCCDセンサーの表面には,Bayerカラーフィルター加工がなされているが,2つあるGフィルターの一方をIRのみを透過するIRフィルターで置き換え,単板で可視光カラーとIRを同時に撮像できるようにした(Fig.1).“ヒトの目の機能を超える”という意味からHyperEye CCDセンサーと命名した.

Fig.1 

Layout of color filter arrays on image sensor.

A conventional color image sensor has Bayer color filter arrays with 3 bandpass filters for red, green, and blue rays. On the other hand, a new sensor has HyperEye color filter arrays with 4 bandpass filters for red, green, blue, and infrared rays.

3.  信号処理法

CCDセンサー上のBayerカラーフィルターは,有機膜で構成されているため,R,G,Bの各フィルターには,IRを透過させる特性がある.したがって,各画素信号には,IRの成分が含まれることになる(Fig.2).しかし,R,G,B画像にIRの成分が含まれていると,色再現性が悪くなる.そこで,色再現性の向上のために,R,G,Bの各画像から,IRの画像を減算して,カラー映像を生成する信号処理法を考案した.HyperEye CCDセンサーでは,IRフィルターをRとBのフィルターの重ね合わせによって作成していたことから,この減算法は,色再現性の向上に非常に有効であった(Fig.3).また,単板センサーにおける単純な現像処理により「可視光カラーと近赤外光(IR)を同時に撮像」できることから,画像重畳等の複雑な信号処理が不要であり,画像出力の時間遅れは,1/30秒未満であった.

Fig.2 

Spectral sensitivity of HyperEye CCD sensor.

Fig.3 

Color correction process to obtain accurate color reproducibility.

4.  可視光とIRとのバランス調整光学系の開発

術野の可視光カラーとICGとIR蛍光の輝度の差は非常に大きい.単板センサーで両者を十分な感度で捕捉しようとするならば,センサーに入射する両者の比率を近くする必要があった.さもなければ,明るい可視光カラー映像の中で,暗すぎるIR蛍光が視認できないことになってしまう.そこで,レンズとCCDセンサーとの間に,可視光のみを減弱させる機構を考案した.絞り羽根に可視光を遮断し,IRを透過する特性を付与することにより,センサーに入射する可視光とIRの比率を任意に調整することができるようになった.絞り羽根で絞れば絞るほど,CCDセンサーに入射するIRの比率を上げることができるようになった.この効果により,CCDセンサーの露光時間を延長すると可視光像が飽和してしまう現象を回避しながら同時にIR蛍光に対する感度を格段に向上させることができた.

単板センサーで広い波長範囲(可視光~近赤外光)を受光する場合には,レンズ光学系の色収差補正が求められる.そこで,レンズには,特殊低分散レンズや複数レンズの組み合わせを施し,軸上収差の最小化を図った.

5.  HyperEye Medical Systemの開発

臨床的有用性を高めるためには,臨床医にとって実用的でなければならない.そこで試作器を用いた実用化研究を行った.乳癌センチネルリンパ節同定(Fig.4)と冠動脈グラフト血流評価(Fig.5)の症例を対象として,最適な光学ズーム,録画機,操作盤の最終仕様を決めていった2-4).なお,図中では,術野の組織・臓器の色調と区別しやすい白色で近赤外蛍光を表示している.最終的に,ミズホ株式会社が製品化し,近赤外蛍光カラーカメラシステム(HyperEye Medical System: HEMS)して販売されることになった5)(Fig.6).

Fig.4 

Identification of sentinel lymph node in breast cancer.

Fig.5 

Graft assessment in coronary artery bypass surgery.

Fig.6 

HyperEye Medical System (Mizuho Corporation, Tokyo).

6.  おわりに

近赤外蛍光ガイド手術では,ICGによるリンパ流や血流を評価することが主であった.しかし,最近では,著者が開発に携わった近赤外蛍光樹脂を用いた新たな標識具6)が製品化され,近赤外蛍光を発する消化管クリップ(ゼオクリップFS,ゼオンメディカル)や尿管カテーテル(NIRC蛍光尿管カテーテル,カーディナルヘルスジャパン)が上市され,臨床使用されるようになった.HEMSのような撮像装置の進歩と近赤外蛍光色素や標識具のような蛍光体に関する技術革新が両輪となって,より安全で正確な近赤外蛍光ガイド手術が普及することを願っている.特に,本機器の開発を通して得た新技術をより高精細な医療用撮像装置の軽量化・ローコスト化に役立てたいと考えている.また,3D視が可能な外科用内視鏡への応用は,近赤外蛍光ガイド内視鏡手術の領域に大きく貢献できるものと信じている.

利益相反

利益相反なし.

引用文献
 
© 2023 Japan Society for Laser Surgery and Medicine
feedback
Top