AIによる大腸内視鏡診断

Abstract

近年の急速な人工知能（AI）技術の進歩により，画像診断領域では多くの研究が報告されている．特に大腸内視鏡領域では，急速にAI関連の研究開発が進み，すでに医療機器として承認を受けたAIが日常臨床に導入されつつある．本稿では大腸内視鏡関連のAIに関する研究や承認されたAIに関してレビューし，本分野の今後の展望について述べる．

Translated Abstract

With the rapid advancement of artificial intelligence (AI) technology, a number of studies have been reported in the field of medical imaging. In particular, in the field of colonoscopy, AI-related research and development is rapidly progressing, and AI that has already been approved as a medical device is being introduced into daily clinical practice. In this paper, we review the research and approved AI related to colonoscopy and discuss the future prospects of this field.

1.  背景

大腸がんは，本邦だけでなく世界的に癌死の主要な原因となっている．一方，大腸内視鏡検査において腫瘍性病変を徹底切除することが，大腸癌の罹患と死亡の双方を抑制させる手段であると認識されている^1,2)．しかし，大腸内視鏡検査の質は内視鏡医の熟練度に大きく依存しており，1回の検査で約1/4の腫瘍性病変が見落とされているという研究報告もある³⁾．大腸内視鏡検査による腫瘍検出割合（adenoma detection rate: ADR）は，内視鏡医のパフォーマンスを示す指標の一つであり，スクリーニング大腸内視鏡検査（無症状で行われる大腸内視鏡検査）のうち，腫瘍性病変が発見された件数の割合である．ADRは大腸内視鏡検査後に発見される大腸癌の罹患率や死亡率と逆相関することから，大腸内視鏡検査の質そのものを示す指標（quality indicator: QI）の一つとされる⁴⁾．このような大腸内視鏡検査のQIをもとに検査の質を標準化し，それによって病変の見逃し数を減らすことが望まれている．

一方，発見された病変の内視鏡診断は別の問題である．消化器病理医の数が限られることに加え，大腸ポリープの有病率は増えており，病理医への負担，病理診断にかかるコストは膨大なものになりつつある．そこで，高精度な内視鏡診断を代替とし，病理診断を省略する考えも提唱されている．米国消化管内視鏡学会は，Preservation and Incorporation of Valuable Endoscopic Innovations（PIVI）を提案しており，直腸からS状結腸の微小腺腫に対する陰性的中率（negative predictive value: NPV）が90%以上であれば，過形成ポリープと診断できる病変に対しては切除しないこと（leave in situ）が認められ得るとしている．しかしながら，このような高い精度の内視鏡診断を，日常臨床において，一般医が達成することは難しいことも報告されている^5,6)．

人工知能（Artificial intelligence: AI）技術を活用したコンピュータ支援診断は，このようなヒューマンエラーを減らし，ヒトの持つパフォーマンスを最大化しうるツールとして注目を集めている．大腸内視鏡検査におけるCADの主な役割は，コンピュータ検出支援（computer-aided detection: CADe）とコンピュータ診断支援（computer-aided diagnosis: CADx）である．CADeは大腸内視鏡検査中に病変の存在と位置をリアルタイムで表示することで，モニターに表示されているが，目視では見落としがちなポリープの発見を支援する．さらに，検出された病変の病理学的予測や内視鏡的分類を出力することで，CADxはより正確な内視鏡診断を提供しうる．本稿では，大腸内視鏡検査におけるCADの現状について述べる．

2.  大腸病変のCADe

2.1  後方視的な研究

大腸ポリープのCADeに関する最初の研究は，2003年に報告されている^7,8)．この初期の研究では，画像から特徴を抽出するためウェーブレット変換と呼ばれる工学的な手法を使用しており，90%以上の感度が得られている．これらの研究を参考とし，他のグループはアルゴリズムに様々な技術的なアイデアと修正を適用した^9-12)．これらの研究は，公開された内視鏡画像データベースの静止画像を用いており，48%～90%の感度を達成したことが報告されている．一見するとこれらの結果は許容できる性能を示しているように思われるが，これらの公開画像データベースに含まれる病変数20個未満と少なく，この結果を一般化することはできない．一方で，Fernandez-Esparrachらは24本の動画を使用して研究を行っており，70%以上の感度と特異度が得られたと報告した¹³⁾．しかし2010年代半ばまでは，従来型の機械学習手法を採用しており，計算速度，感度の低さ，血管や残渣，ひだの存在による偽陽性など，様々な課題があった．これらの課題はディープラーニングの登場によりこの状況は一変することとなる．

2010年代後半になると，ディープラーニングが普及し，これを用いたCADeの医師主導の研究が報告されるようになっている．Misawaらは3次元畳み込みニューラルネットワークを使用したCADeを開発した¹⁴⁾．内視鏡動画135本を用いて，感度90%，特異度63%という結果を報告している．その後，Urbanらは優れた性能を持つCADeを開発している．UrbanらのCADeは感度が96%と高性能であった¹⁵⁾．最近では，Wangらが，動画ベースの解析で感度90%以上，特異度90%以上のCADeモデルを報告している¹⁶⁾．Yamadaらも病変画像1,244枚，動画から得られた891フレーム，非病変画像2,843枚を用いてCADeを学習させ，感度97.3%，特異度99.0%を達成している¹⁷⁾．このように乱立するAI研究に対して，Misawaらは，大腸内視鏡用CADeの研究・開発を容易にするために，公開された大規模な大腸内視鏡動画のデータベースを立ち上げており，今後の活用が期待される¹⁸⁾（Fig.1）．

Fig.1 

An example of computer-aided detection in colonoscopy.

The computer-aided detection developed by Misawa et al. can detect lesions such as polyps and display their location in a rectangle. It is now commercially available as EndoBRAIN^®-EYE.

2.2  CADeを使用した前向き研究

CADeを用いた前向きランダム化比較試験（RCT）がいくつか報告されている．Wangらが1,058人の患者を対象に実施したRCTでは（CADeあり；536人，CADeなし；522人），CADe群は有意に高いADRを達成した（29% vs. 20%，P < 0.001）ことを報告している¹⁹⁾．Suらの研究では，308人の患者と315人の患者をCADe群と対照群に分けて解析したところ，CADe群ではADRが有意に高かった（29% vs. 17%, P < 0.001）²⁰⁾．これらのRCTをメタ解析した報告によれば^21,22)，約10%程度のADR上乗せが報告されている．しかし，いくつかの注目すべき要素がある．第一に，これらの研究では悪性度の高いadvanced adenoma（径10 mm以上の腺腫，病理組織学的に絨毛上または管状絨毛状成分を有するもの，high-grade dysplasia［本邦の粘膜内癌にほぼ相当］と定義される）の検出率が有意に増加したわけではなく，いずれの研究でも悪性度の低い微小腺腫の検出率が増加しただけであった．第二に，これらの研究は非盲検でありバイアスが排除しきれていない．最後に，これらの研究はすべてアジアの1カ国で実施されたものである．したがって，これらの結果は欧米諸国では適用できないかもしれない．これらの欠点は最近，他の研究者によって取り組まれている．Gongらは，CADeシステムを用いて10 mm以上の腺腫検出率が有意に高いことを報告している．彼らのCADeシステムには，腸管前処置状態，スコープの抜去速度，盲腸到達をモニタリングする機能が搭載されていた．これはcomputer-aided quality assuranceともいうべき新たなカテゴリーのAIであるといえる．我々の知る限りでは，これはCADeがadvanced adenomaの検出割合を向上させる可能性を持っているという最初の報告であった²³⁾．一方Wangらは，盲検化RCTに挑戦している．彼らは，あえて偽陽性を出力するsham-AI（偽のAI）を用いCADeのADRがsham-AI群よりも有意に高いことが示している（34%対28%，P = 0.03）²⁴⁾．Repiciらは，EU当局に承認されたCADeシステム（GI Genius; Medtronic, Dublin, Ireland）を用いた多施設RCTを実施した．685人の患者をCADe群とCADeなし群に割り付け，CADe群のADRが有意に高いことを確認した（54.8%対40.4%）²⁵⁾．

2.3  各国で承認済みのCADeについて

執筆時点で，本邦では我々が開発に携わったEndoBRAIN^®-EYE（オリンパス・サイバネットシステム社），CAD-EYE（富士フィルム社），Wise Vision（NEC）の3つのCADeが薬機法承認を取得し市販されている．海外に目を向けるとメドトロニック社のGI-Geniusは世界で初めて規制をクリアしEUでの販売を開始，2021年にはアメリカFDAの承認も取得した．他にEUでは，CAD-EYE（富士フィルム社），DISCOVERY（ペンタックス社），Endo-AID（オリンパス社）が承認され臨床で使用されている．今後このような承認済みのCADeを使用して，大規模なstudyが報告されることが期待される．

2.4  Computer-aided quality assuranceについて

大腸内視鏡のQIとして回盲部到達，前処置状態，観察時間などが提唱されているが²⁶⁾，これらはすべて間接的に死角の面積に関係するものである．すなわち，回盲部に到達しなければ結腸の一部が観察されておらず，前処置状態が悪ければ残渣の死角が多い，観察時間が短ければ十分粘膜面を観察できていないことを示している．CADeは描出されている粘膜面にポリープなどの病変が存在し，かつ内視鏡医が気が付いていないときには有用である．一方死角に存在する病変は検知出来ない．したがって死角を減らすように促すシステム，もしくは死角を直接モニタリングするシステムが求められるようになってきている．前述の通りGongらは回盲部到達，抜去時間のモニタリングが可能なシステムを構築し，有用性を報告した²³⁾．また，内視鏡画像から3次元モデルを作成し，それを活用することによって死角部分を定量化する試みも始まっており^27-29)，computer-aided quality assuranceともいうべきこの分野も，今後ますます注目されていくと考える．

3.  大腸病変のCADx

3.1  白色光観察（white light imaging: WLI）用CADx

WLIは最も基本的で汎用的な内視鏡診断法である．そのため，CADxをWLIに適用することは大きなメリットがあるが，このような研究はこれまでほとんど行われていなかった．これに対しKomedaらは，大腸病変に対するディープラーニングベースのCADxを用いて，腫瘍性病変と非腫瘍性病変を区別できることを報告している³⁰⁾．しかし，その診断精度は75.1%にとどまっており，さらなる機械学習とアルゴリズムの調整が必要であると考えられた．しかし今後の研究次第では，白色内視鏡検査の精度が十分に高いCADxが利用できるようになり，色素内視鏡検査や画像強調観察は不要になるかもしれない．2021年にはTokunagaらが白色光のCADxで内視鏡的切除が可能なT1aまでの病変か，T1b以深かを鑑別する研究を報告している．前臨床段階ではあるが90%の正診率を達成しており，今後の検討が期待される³¹⁾．

3.2  画像強調観察用CADx

Narrow-band imaging（NBI）またはblue-laser imagingは，表面の血管などの詳細な評価を可能にする画像強調観察手法である．NBIにCADxを初めて適用したのは，Tischendorfら³²⁾とGrossら³³⁾であり，それぞれ86.2%と93.1%の診断精度を報告した．彼らのCADxのアルゴリズムは，拡大NBI画像から9つの血管の特徴（例えば，長さ，明るさ，周囲長）を抽出し，これらの特徴をサポートベクターマシンで2クラスの病理診断予測（すなわち，腫瘍性か非腫瘍性か）をすることに基づいている．Grossらは，CADxの精度が93.1%と非専門家よりも優れていることを示しており，CADxが初心者の内視鏡医にとって強力な支援となりうるとしている．Tamaiらは，早期大腸癌の深達度診断にCADxを応用することに取り組んだ．彼らのCADxはNBI拡大画像で観察される血管パターンの様々な特徴（例えば血管の幅，長さ，濃度など）に基づいている³⁴⁾．大腸病変121例を解析し，粘膜下層高度浸潤癌に対する正診率は82.8%を達成した．他にも本邦の広島大学グループは，CADの研究開発に大きく貢献している．彼らのアルゴリズムは，画像の特徴量を一つのベクトとして扱うことで画像分類を行うbag-of-visual-wordsという手法であった．Bag-of-visual-wordsモデルは深層学習モデルではないが，彼らのCADxはリアルタイムで動作し，前向き臨床研究では93.2%の正診率で腺腫と非腫瘍性ポリープを区別することができた³⁵⁾．

2010年後半になると，NBI画像に対するディープラーニングベースのCADxが報告されるようになってきている．Chenらは，2,157枚の画像を用いて学習した，腺腫と過形成ポリープを鑑別できるディープラーニングベースのCADxを開発した．Chenは，微小ポリープの診断性能に関してCADxと内視鏡医を比較した³⁶⁾．ChenらのCADxは正診率90.1%で腺腫を診断できたが，非専門医においては80.3%～88.0%であった．Byrneらは，病変のNICE分類をリアルタイムに推論・出力するCADxを報告している．彼らは，60,089フレームからなる223個のポリープが映っている動画を用いてCADxを学習し，連続した125の微小病変で検証を行った．腺腫に対する正診率は94%であった³⁷⁾．しかし，リアルタイムでのNBIにCADxを用いた前向きな臨床試験は行われておらず，CADxに有利なバイアスを回避し，CADxの有効性を明らかにするためには，RCTなどの質の高い前向き研究が必要であると考えられる．

3.3  色素内視鏡に対するCADx

Pit pattern分類は，Kudoら³⁸⁾によって提唱された拡大内視鏡の所見分類である．Pit patternは大腸病変の表面粘膜模様の所見に基づきI型（正常）からV型（悪性）に分類され，大腸病変の質的・量的診断において，NBIよりも優れた診断性能を有している³⁹⁾．その診断精度にもかかわらず，色素内視鏡のCADxに関する研究はほとんど発表されていない．Hafnerらは，拡大内視鏡検査のための非深層学習型特徴抽出法である局所二値化解析を報告しており，彼らのCADxは腫瘍性病変と非腫瘍性病変の鑑別において正診率85.3%を達成している⁴⁰⁾．Takemuraらはpit patternの定量的解析を可能にする独自のソフトウェアを開発し報告している．このソフトウェアは，クリスタルバイオレット染色された画像から6つの特徴（面積，周囲，円形度など）を抽出し，入力画像ごとに該当するpit patternを予測することができる．V型pit patternを除外した結果ではあるが，このCADxは98.5%の正診率驚くほど良好な性能を発揮した⁴¹⁾．しかし，pit patternを判別するには，クリスタルバイオレット染色が必要である．この染色は内視鏡医が行うものであり，判断に影響を与える色調の濃さは色素の散布量に依存するため，均一な品質の画像を得ることは困難である．そのため，現時点では，色素内視鏡観察用のロバスト性の高いCADxを得ることは困難であると考えられる．

3.4  超拡大内視鏡画像のCADx

Endocytoscopy（H290ECI；オリンパス，東京，日本）は，一つのレンズで遠景から520倍の拡大倍率で観察することが内視鏡で，生体内で細胞核を観察・評価することができる接触型顕微内視鏡である⁴²⁾．

Kodashimaらは，endocytoscopyによって可視化された細胞核をコンピュータ解析したパイロット研究を報告し，その後のCADx研究の基礎となっている⁴³⁾．Endocytoscopyに対するCADxは，我々のグループによって多く報告されている．初期にはメチレンブルーで染色された核領域を自動抽出し，6つの核の特徴（例えば面積，長さ，幅など）の定量化し分類を試みた．腫瘍性病変に対する正診率は89.2%であった⁴⁴⁾．2016年と2018年に報告された追加研究では，特徴抽出にテクスチャ解析と呼ばれる手法を追加し，分類器としてサポートベクターマシンを追加することで，診断アルゴリズムが改善され，それによって予測される病理の出力画像と診断の確率の両方が得られるようになった．また，NBIと組み合わせることで，より使いやすいCADxシステムも開発し報告している⁴⁵⁾．

Moriらはendocytoscopyに対するCADxの有効性を評価するために，791人の連続患者を対象とした前向き試験を実施した．全体では，466病変の微小病変がCADxによって評価され，直腸・S状結腸の微小腺腫に対するNPVは96.4%であった⁴⁶⁾（Fig.2）．この結果は，MoriらのCADxが病理診断を省略可能と考えられる基準として提唱されているPIVIの閾値を上回るものであったと結論付けている．さらに腫瘍性病変と非腫瘍性病変の鑑別に加えて，彼らは浸潤癌の深達度診断をするためにCADxを使用することを検討した⁴⁷⁾．このパイロット研究によると，感度89.4%，特異度98.9%，正診率94.1%で浸潤癌を鑑別することができたと報告している．なおこれらのCADxはEndoBRAIN^®，EndoBRAIN^®-Plusとして薬機法承認を取得し，現在本邦で市販されるに至っている．

Fig.2 

Computer-aided diagnosis for endocytoscopy EndoBRAIN^® analyzes the image from the endocytoscopy and instantly outputs whether the image corresponds to neoplastic or non-neoplastic.

3.5  CADeとCADxの機能を合わせて持ったシステム

臨床においてはCADeとCADxを組み合わせて使用できることが理想的と考えられる．Moriらは，これまでに彼らが開発した技術を用いて，病変検出と診断支援を同時に行うこと技術を報告している．これは（1）白色光画像に対して病変を検出するディープラーニングアルゴリズム，（2）endocytoscopy画像で得られる画像で病理診断を予測するアルゴリズムから成り立っている⁴⁸⁾．Ozawaらは，single shot multi box detectorを用いた同様のCADeとCADxの機能を併せ持ったシステムを報告している⁴⁹⁾．彼らのシステムは4,752個のポリープから撮影された16,418枚の画像を用いて学習し，検出されたポリープに対して5つの病理診断予測（腺腫，過形成，SSA/P，癌，その他）のうちの1つを予測して出力することができる．その結果，白色光画像に対して92%の感度で病変が検出でき，正しく検出された病変の83%が正しく病理診断予測されたと報告している．これらのシステムは，CADeとCADxの機能が大腸内視鏡検査の臨床に不可欠な要素であることを考えると，有望なシステムであるといえる．なお2021年にリリースされた富士フィルム社のCAD-EYEはCADeとCADx機能を併せ持った製品である．しかしながら，特にCADxの精度においては正診率が83.6%と十分ではないと考えられ，今後のアップデートが期待される⁵⁰⁾．

4.  炎症性腸疾患に対するCAD

近年，潰瘍性大腸炎の臨床転帰を予測できる因子として，内視鏡的な粘膜所見が報告され⁵¹⁾，内視鏡的なmucosal healingが潰瘍性大腸炎の治療目標とされるようになってきた．しかしながら，内視鏡的な炎症活動性評価における観察者間のばらつきは大きいことが知られている⁵²⁾．この状況を改善することを目的に，潰瘍性大腸炎患者の炎症活動性を客観的に評価するためのCADシステムがいくつか報告されている．Ozawaらは，841人の患者から撮影した26,304枚の画像を用いて学習したディープラーニングベースのMayoスコアが予測できるCADを開発した．114人の患者から3,981枚の画像を用いた後ろ向き解析では，Mayoスコア0に対するAUROC = 0.86と高い性能を示した⁵³⁾．Stidhamらは，3,082人の患者から得られた16,514枚の画像を用いて，Mayoスコアを予測するためのCADを開発し，同様の結果を報告している⁵⁴⁾．この研究の特筆すべき点は，精度の検証にあたり，大腸内視鏡検査の動画を使用して完全な外部データに対する検証を行ったことである．驚くべきことにこの外部検証に対するAUROCは0.97であった．Bossuytらディープラーニング全盛の時代にも拘わらず従来の機械学習を用いてこの問題に取り組み，素晴らしい結果を得た⁵⁵⁾．彼らのアルゴリズムは，血管パターン検出とカラーデータに基づいている．このアルゴリズムの出力スコアは，Robartsの組織学的指標（r = 0.74），Mayoスコア（r = 0.76），UC Endoscopic Index of Severity（UCEIS）スコア（r = 0.74）と相関していた．一方Maedaらは，UCには別の方法で取り組んでいる．Maedaらは内視鏡検査による潰瘍性大腸炎の組織学的治癒の予測を可能にするCADを開発し，報告した⁵⁶⁾．MaedaらのCADは87人の患者から得られた12,900枚のendocytoscopy画像を用いてAIの学習を行い，100人の患者から得られた525枚の画像を用いてその性能を評価した．MaedaらのCADは組織学的治癒を予測するもので，内視鏡的粘膜治癒の予測よりも難易度が高いと思われたが，正診率91%と比較的正確な予測が可能であったTakenakaらは潰瘍性大腸炎に対するCADの前向き試験の結果を報告している⁵⁷⁾．彼らのディープラーニングを用いたアルゴリズムは，1枚の内視鏡画像から内視鏡的寛解，組織学的寛解，UCEISスコア3つの変数について予測を出力することが可能である．このシステムを用いたUC患者875名を対象とした前向き試験では，内視鏡的寛解は90.1%，組織学的寛解は92.9%の正診率で予測可能であった．

潰瘍性大腸炎に対するAIの研究については，これまでのところ，真の外部検証（他の病院や他国との評価）を前向きに検討した研究はない．したがって，この分野におけるCADの価値を判断するためには，さらなる研究が必要であると考えられる．

5.  終わりに

大腸内視鏡AIに関する研究報告や，医療機器として承認されたAIについてレビューした．大腸内視鏡AIについては開発フェーズが終わりつつあり，臨床での真の有用性を前向きに検証していく段階に入った．2000年代前半に乳がんのマンモグラフィーに対するAIが米国で承認され使用されるようになった．しかしながら，実はこのAIを使用しても不要な生検が増えるだけで乳がんに対する感度は向上しなかったという衝撃的な報告がある⁵⁸⁾．AIは万能であるという楽観論はすてて，臨床での有用性や費用対効果を検討していく時期にあることは間違いない．

利益相反の開示

利益相反，三澤将史（講演料：オリンパス株式会社，報酬額：サイバネットシステム株式会社），森悠一（講演料：オリンパス株式会社，報酬額：サイバネットシステム株式会社）

引用文献

• 1)   Zauber  AG,  Winawer  SJ,  O’Brien  MJ,  Lansdorp-Vogelaar  I,  van Ballegooijen  M,  Hankey  BF,  Shi  W,  Bond  JH,  Schapiro  M,  Panish  JF,  Stewart  ET,  Waye  JD. Colonoscopic polypectomy and long-term prevention of colorectal-cancer deaths. N Engl J Med. 2012; 366: 687-696.
• 2)   Nishihara  R,  Wu  K,  Lochhead  P,  Morikawa  T,  Liao  X,  Qian  ZR,  Inamura  K,  Kim  SA,  Kuchiba  A,  Yamauchi  M,  Imamura  Y,  Willett  WC,  Rosner  BA,  Fuchs  CS,  Giovannucci  E,  Ogino  S,  Chan  AT. Long-term colorectal-cancer incidence and mortality after lower endoscopy. N Engl J Med. 2013; 369: 1095-1105.
• 3)   van Rijn  JC,  Reitsma  JB,  Stoker  J,  Bossuyt  P,  van Deventer  SJ,  Dekker  E. Polyp miss rate determined by tandem colonoscopy: a systematic review. Am J Gastroenterol. 2006; 101: 343-350.
• 4)   Corley  DA,  Jensen  CD,  Marks  AR,  Zhao  WK,  Lee  JK,  Doubeni  CA,  Zauber  AG,  de Boer  J,  Fireman  BH,  Schottinger  JE,  Quinn  VP,  Ghai  NR,  Levin  TR,  Quesenberry  CP. Adenoma detection rate and risk of colorectal cancer and death. N Engl J Med. 2014; 370: 1298-1306.
• 5)   Ladabaum  U,  Fioritto  A,  Mitani  A,  Desai  M,  Kim  JP,  Rex  DK,  Imperiale  T,  Gunaratnam  N. Real-time optical biopsy of colon polyps with narrow band imaging in community practice does not yet meet key thresholds for clinical decisions. Gastroenterology. 2013; 144: 81-91.
• 6)   Rees  CJ,  Rajasekhar  PT,  Wilson  A,  Close  H,  Rutter  MD,  Saunders  BP,  East  JE,  Maier  R,  Moorghen  M,  Muhammad  U,  Hancock  H,  Jayaprakash  A,  MacDonald  C,  Ramadas  A,  Dhar  A,  Mason  JM. Narrow band imaging optical diagnosis of small colorectal polyps in routine clinical practice: the Detect Inspect Characterise Resect and Discard 2 (DISCARD 2) study. Gut. 2017; 66: 887-895.
• 7)   Karkanis  SA,  Iakovidis  DK,  Maroulis  DE,  Karras  DA,  Tzivras  M. Computer-aided tumor detection in endoscopic video using color wavelet features. Information technology in biomedicine. IEEE Trans Inf Technol Biomed. 2003; 7: 141-152.
• 8)   Maroulis  DE,  Iakovidis  DK,  Karkanis  SA,  Karras  DA. CoLD: a versatile detection system for colorectal lesions in endoscopy video-frames. Comput Methods Programs Biomed. 2003; 70: 151-166.
• 9)   Park  SY,  Sargent  D,  Spofford  I,  Vosburgh  KG,  A-Rahim  Y. A colon video analysis framework for polyp detection. IEEE Trans Biomed Eng. 2012; 59: 1408-1418.
• 10)  Tajbakhsh N, Gurudu SR, Liang J. Automatic Polyp Detection Using Global Geometric Constraints and Local Intensity Variation Patterns. Medical Image Computing and Computer-Assisted Intervention―MICCAI 2014: Springer, 2014. p.179-187.
• 11)   Tajbakhsh  N,  Gurudu  SR,  Liang  J. A comprehensive computer-aided polyp detection system for colonoscopy videos. Inf Process Med Imaging. 2015; 24: 327-338.
• 12)   Bernal  J,  Sánchez  FJ,  Fernández-Esparrach  G,  Gil  D,  Rodríguez  C,  Vilariño  F. WM-DOVA maps for accurate polyp highlighting in colonoscopy: validation vs. saliency maps from physicians. Comput Med Imaging Graph. 2015; 43: 99-111.
• 13)   Fernandez-Esparrach  G,  Bernal  J,  Lopez-Ceron  M,  Cordova  H,  Sanchez-Montes  C,  de Miguel  CR,  Sanchez  FJ. Exploring the clinical potential of an automatic colonic polyp detection method based on the creation of energy maps. Endoscopy 2016; 48: 837-842.
• 14)   Misawa  M,  Kudo  SE,  Mori  Y,  Cho  T,  Kataoka  S,  Yamauchi  A,  Ogawa  Y,  Maeda  Y,  Takeda  K,  Ichimasa  K,  Nakamura  H,  Yagawa  Y,  Toyoshima  N,  Ogata  N,  Kudo  T,  Hisayuki  T,  Hayashi  T,  Wakamura  K,  Baba  T,  Ishida  F,  Itoh  H,  Roth  H,  Oda  M,  Mori  K. Artificial intelligence-assisted polyp detection for colonoscopy: initial experience. Gastroenterology 2018; 154: 2027-2029 e3.
• 15)   Urban  G,  Tripathi  P,  Alkayali  T,  Mittal  M,  Jalali  F,  Karnes  W,  Baldi  P. Deep learning localizes and identifies polyps in real time with 96% accuracy in screening colonoscopy. Gastroenterology 2018; 155: 1069-1078 e8.
• 16)   Wang  P,  Xiao  X,  Glissen Brown  JR,  Berzin  TM,  Tu  M,  Xiong  F,  Hu  X,  Liu  P,  Song  Y,  Zhang  D,  Yang  X,  Li  L,  He  J,  Yi  X,  Liu  J,  Liu  X. Development and validation of a deep-learning algorithm for the detection of polyps during colonoscopy. Nat Biomed Eng. 2018; 2: 741-748.
• 17)   Yamada  M,  Saito  Y,  Imaoka  H,  Saiko  M,  Yamada  S,  Kondo  H,  Takamaru  H,  Sakamoto  T,  Sese  J,  Kuchiba  A,  Shibata  T,  Hamamoto  R. Development of a real-time endoscopic image diagnosis support system using deep learning technology in colonoscopy. Sci Rep. 2019; 9: 14465.
• 18)   Misawa  M,  Kudo  SE,  Mori  Y,  Hotta  K,  Ohtsuka  K,  Matsuda  T,  Saito  S,  Kudo  T,  Baba  T,  Ishida  F,  Itoh  H,  Oda  M,  Mori  K. Development of a computer-aided detection system for colonoscopy and a publicly accessible large colonoscopy video database (with video). Gastrointest Endosc. 2021; 93: 960-967 e3.
• 19)   Wang  P,  Berzin  TM,  Glissen Brown  JR,  Bharadwaj  S,  Becq  A,  Xiao  X,  Liu  P,  Li  L,  Song  Y,  Zhang  D,  Li  Y,  Xu  G,  Tu  M,  Liu  X. Real-time automatic detection system increases colonoscopic polyp and adenoma detection rates: a prospective randomised controlled study. Gut. 2019; 68: 1813-1819.
• 20)   Su  JR,  Li  Z,  Shao  XJ,  Ji  CR,  Ji  R,  Zhou  RC,  Li  GC,  Liu  GQ,  He  YS,  Zuo  XL,  Li  YQ. Impact of a real-time automatic quality control system on colorectal polyp and adenoma detection: a prospective randomized controlled study (with videos). Gastrointest Endosc. 2020; 91: 415-424 e4.
• 21)   Barua  I,  Vinsard  DG,  Jodal  HC,  Loberg  M,  Kalager  M,  Holme  O,  Misawa  M,  Bretthauer  M,  Mori  Y. Artificial intelligence for polyp detection during colonoscopy: a systematic review and meta-analysis. Endoscopy 2021; 53: 277-284.
• 22)   Misawa  M,  Kudo  SE,  Mori  Y,  Maeda  Y,  Ogawa  Y,  Ichimasa  K,  Kudo  T,  Wakamura  K,  Hayashi  T,  Miyachi  H,  Baba  T,  Ishida  F,  Itoh  H,  Oda  M,  Mori  K. Current status and future perspective on artificial intelligence for lower endoscopy. Dig Endosc. 2021; 33: 273-284.
• 23)   Gong  D,  Wu  L,  Zhang  J,  Mu  G,  Shen  PL,  Liu  J,  Wang  Z,  Zhou  W,  An  P,  Huang  X,  Jiang  X,  Li  Y,  Wan  X,  Hu  S,  Chen  Y,  Hu  X,  Xu  Y,  Zhu  X,  Yu  H. Detection of colorectal adenomas with a real-time computer-aided system (ENDOANGEL): a randomised controlled study. Lancet Gastroenterol Hepatol. 2020; 5: 352-361.
• 24)   Wang  P,  Liu  X,  Berzin  TM,  Glissen Brown  JR,  Liu  P,  Zhou  C,  Lei  L,  Li  L,  Guo  Z,  Lei  S,  Xiong  F,  Wang  H,  Song  Y,  Pan  Y,  Zhou  G. Effect of a deep-learning computer-aided detection system on adenoma detection during colonoscopy (CADe-DB trial): a double-blind randomised study. Lancet Gastroenterol Hepatol. 2020; 5: 343-351.
• 25)   Repici  A,  Badalamenti  M,  Maselli  R,  Correale  L,  Radaelli  F,  Rondonotti  E,  Ferrara  E,  Spadaccini  M,  Alkandari  A,  Fugazza  A,  Anderloni  A,  Galtieri  PA,  Pellegatta  G,  Carrara  S,  Leo  MD,  Craviotto  V,  Lamonaca  L,  Lorenzetti  R,  Andrealli  A,  Antonelli  G,  Wallace  M,  Sharma  P,  Rosch  T,  Hassan  C. Efficacy of Real-Time Computer-aided detection of colorectal neoplasia in a randomized trial. Gastroenterology 2020; 159: 512-520 e7.
• 26)   Rex  DK,  Schoenfeld  PS,  Cohen  J,  Pike  IM,  Adler  DG,  Fennerty  MB,  Lieb II  JG,  Park  WG,  Rizk  MK,  Sawhney  MS,  Shaheen  NJ,  Wani  S,  Weinberg  DS. Quality indicators for colonoscopy. Am J Gastroenterol. 2015; 110: 72-90.
• 27)   McGill  SK,  Rosenman  J,  Wang  R,  Ma  R,  Frahm  JM,  Pizer  S. Artificial intelligence identifies and quantifies colonoscopy blind spots. Endoscopy 2021.
• 28)  Itoh H, Oda M, Mori Y, Misawa M, Kudo SE, Hotta K, Hirotsugu T, Mori M, Natori H, Mori K. Single-shot three-dimensional reconstruction for colonoscopic image analysis, In Medical Imaging 2021: Image-Guided Procedures, Robotic Interventions, and Modeling, International Society for Optics and Photonics, 2021.
• 29)   Freedman  D,  Blau  Y,  Katzir  L,  Aides  A,  Shimshoni  I,  Veikhernan  D,  Golany  T,  Gordon  A,  Corrado  G,  Matias  Y,  Rivlin  E. Detecting deficient coverage in colonoscopies. IEEE Trans Med Imaging 2020; 39: 3451-3462.
• 30)   Komeda  Y,  Handa  H,  Watanabe  T,  Nomura  T,  Kitahashi  M,  Sakurai  T,  Okamoto  A,  Minami  T,  Kono  M,  Arizumi  T,  Takenaka  M,  Hagiwara  S,  Matsui  S,  Nishida  N,  Kashida  H,  Kudo  M. Computer-aided diagnosis based on convolutional neural network system for colorectal polyp classification: preliminary experience. Oncology 2017; 93 Suppl 1: 30-34.
• 31)   Tokunaga  M,  Matsumura  T,  Nankinzan  R, Suzuki T, Oura  H,  Kaneko  T,  Fujie  M,  Hirai  S,  Saiki  R,  Akizue  N,  Okimoto  K,  Arai  M,  Kato  J,  Kato  N. Computer-aided diagnosis system using only white-light endoscopy for the prediction of invasion depth in colorectal cancer. Gastrointest Endosc. 2021; 93: 647-653.
• 32)   Tischendorf  JJ,  Gross  S,  Winograd  R,  Hecker  H,  Auer  R,  Behrens  A,  Trautwein  C,  Aach  T,  Stehle  T. Computer-aided classification of colorectal polyps based on vascular patterns: a pilot study. Endoscopy 2010; 42: 203-207.
• 33)   Gross  S,  Trautwein  C,  Behrens  A,  Winograd  R,  Palm  S,  Lutz  HH,  Schirin-Sokhan  R,  Hecker  H,  Aach  T,  Tischendorf  JJW. Computer-based classification of small colorectal polyps by using narrow-band imaging with optical magnification. Gastrointest Endosc. 2011; 74: 1354-1359.
• 34)   Tamai  N,  Saito  Y,  Sakamoto  T,  Nakajima  T,  Matsuda  T,  Sumiyama  K,  Tajiri  H,  Koyama  R,  Kido  S. Effectiveness of computer-aided diagnosis of colorectal lesions using novel software for magnifying narrow-band imaging: a pilot study. Endosc Int Open 2017; 5: E690-E694.
• 35)   Takemura  Y,  Yoshida  S,  Tanaka  S,  Kawase  R,  Onji  K,  Oka  S,  Tamaki  T,  Raytchev  B,  Kaneda  K,  Yoshihara  M,  Chayama  K. Computer-aided system for predicting the histology of colorectal tumors by using narrow-band imaging magnifying colonoscopy (with video). Gastrointestinal Endosc. 2012; 75: 179-185.
• 36)   Chen  PJ,  Lin  MC,  Lai  MJ,  Lin  JC,  Lu  HHS,  Tseng  VS. Accurate classification of diminutive colorectal polyps using computer-aided analysis. Gastroenterology. 2018; 154: 568-575.
• 37)   Byrne  MF,  Chapados  N,  Soudan  F, ByrneMF,  Chapados  N,  Soudan  F,  Oertel  C,  Pérez  ML,  Kelly  R,  Iqbal  N,  Chandelier  F,  Rex  DK. Real-time differentiation of adenomatous and hyperplastic diminutive colorectal polyps during analysis of unaltered videos of standard colonoscopy using a deep learning model. Gut. 2019; 68: 94-100.
• 38)   Kudo  S,  Hirota  S,  Nakajima  T,  Hosobe  S,  Kusaka  H,  Kobayashi  T,  Himori  M,  Yagyuu  A. Colorectal tumours and pit pattern. J Clin Pathol. 1994; 47: 880-885.
• 39)   Sakamoto  T,  Nakajima  T,  Matsuda  T,  Murakami  Y,  Ishikawa  H,  Yao  K,  Saito  Y. Comparison of the diagnostic performance between magnifying chromoendoscopy and magnifying narrow-band imaging for superficial colorectal neoplasms: an online survey. Gastrointest Endosc. 2018; 87: 1318-1323.
• 40)   Hafner  M,  Liedlgruber  M,  Uhl  A,  Vécseic  A,  Wrba  F. Color treatment in endoscopic image classification using multi-scale local color vector patterns. Med Image Anal. 2012; 16: 75-86.
• 41)   Takemura  Y,  Yoshida  S,  Tanaka  S,  Onji  K,  Oka  S,  Tamaki  T,  Kaneda  K,  Yoshihara  M,  Chayama  K. Quantitative analysis and development of a computer-aided system for identification of regular pit patterns of colorectal lesions. Gastrointestinal Endosc. 2010; 72: 1047-1051.
• 42)   Kudo  SE,  Mori  Y,  Ikehara  N,  Kutsukawa  M,  Wakamura  K,  Wada  Y,  Miyachi  H,  Yamamura  F,  Ohtsuka  K,  Hamatani  S. Diagnosis of colorectal lesions with a novel endocytoscopic classification—a pilot study. Endoscopy. 2011; 43: 869-875.
• 43)   Kodashima  S,  Fujishiro  M,  Takubo  K,  Kammori  M,  Nomura  S,  Kakushima  N,  Muraki  Y,  Goto  O,  Ono  S,  Kaminishi  M,  Omata  M. Ex vivo pilot study using computed analysis of endo-cytoscopic images to differentiate normal and malignant squamous cell epithelia in the oesophagus. Dig Liver Dis. 2007; 39: 762-766.
• 44)   Mori  Y,  Kudo  S-E,  Wakamura  K,  Misawa  M,  Ogawa  Y,  Kutsukawa  M,  Kudo  T,  Hayashi  T,  Miyachi  H,  Ishida  F,  Inoue  H. Novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy (with videos). Gastrointestinal Endosc. 2015; 81: 621-629.
• 45)   Misawa  M,  Kudo  SE,  Mori  Y,  Nakamura  H,  Kataoka  S,  Maeda  Y,  Kudo  T,  Hayashi  T,  Wakamura  K,  Miyachi  H,  Katagiri  A,  Baba  T,  Ishida  F,  Inoue  H,  Nimura  Y,  Mori  K. Characterization of colorectal lesions using a computer-aided diagnostic system for narrow-band imaging endocytoscopy. Gastroenterology. 2016; 150: 1531-1532 e3.
• 46)   Mori  Y,  Kudo  SE,  Misawa  M,  Saito  Y,  Ikematsu  H,  Hotta  K,  Ohtsuka  K,  Urushibara  F,  Kataoka  S,  Ogawa  Y,  Maeda  Y,  Takeda  K,  Nakamura  H,  Ichimasa  K,  Kudo  T,  Hayashi  T,  Wakamura  K,  Ishida  F,  Inoue  H,  Itoh  H,  Oda  M,  Mori  K. Real-time use of artificial intelligence in identification of diminutive polyps during colonoscopy: a prospective study. Ann Intern Med. 2018; 169: 357-366.
• 47)   Takeda  K,  Kudo  SE,  Mori  Y,  Misawa  M,  Kudo  T,  Wakamura  K,  Katagiri  A,  Baba  T,  Hidaka  E,  Ishida  F,  Inoue  H,  Oda  M,  Mori  K. Accuracy of diagnosing invasive colorectal cancer using computer-aided endocytoscopy. Endoscopy. 2017; 49: 798-802.
• 48)   Mori  Y,  Kudo  SE,  Misawa  M,  Mori  K. Simultaneous detection and characterization of diminutive polyps with the use of artificial intelligence during colonoscopy. VideoGIE. 2019; 4: 7-10.
• 49)   Ozawa  T,  Ishihara  S,  Fujishiro  M,  Kumagai  Y,  Shichijo  S,  Tada  T. Automated endoscopic detection and classification of colorectal polyps using convolutional neural networks. Therap Adv Gastroenterol. 2020; 13: 1756284820910659.
• 50)   Weigt  J,  Repici  A,  Antonelli  G,  Afifi  A,  Kliegis  L,  Correale  L,  Hassan  C,  Neumann  H. Performance of a new integrated CADe/CADx system for detection and characterization of colorectal neoplasia. Endoscopy 2021.
• 51)   Froslie  KF,  Jahnsen  J,  Moum  BA,  Vatn  MH. Mucosal healing in inflammatory bowel disease: results from a Norwegian population-based cohort. Gastroenterology. 2007; 133: 412-422.
• 52)   Osada  T,  Ohkusa  T,  Yokoyama  T,  Shibuya  T,  Sakamoto  N,  Beppu  K,  Nagahara  A,  Otaka  M,  Ogihara  T,  Watanabe  S. Comparison of several activity indices for the evaluation of endoscopic activity in UC: inter- and intraobserver consistency. Inflamm Bowel Dis. 2010; 16: 192-197.
• 53)   Ozawa  T,  Ishihara  S,  Fujishiro  M,  Saito  H,  Kumagai  Y,  Shichijo  S,  Aoyama  K,  Tada  T. Novel computer-assisted diagnosis system for endoscopic disease activity in patients with ulcerative colitis. Gastrointest Endosc. 2019; 89: 416-421.e1.
• 54)   Stidham  RW,  Liu  W,  Bishu  S,  Rice  MD,  Higgins  PDR,  Zhu  J,  Nallamothu  BK,  Waljee  AK. Performance of a deep learning model vs human reviewers in grading endoscopic disease severity of patients with ulcerative colitis. JAMA Netw Open. 2019; 2: e193963.
• 55)   Bossuyt  P,  Nakase  H,  Vermeire  S,  de Hertogh  G,  Eelbode  T,  Ferrante  M,  Hasegawa  T,  Willekens  H,  Ikemoto  Y,  Makino  T,  Bisschops  R. Automatic, computer-aided determination of endoscopic and histological inflammation in patients with mild to moderate ulcerative colitis based on red density. Gut. 2020.
• 56)   Maeda  Y,  Kudo  SE,  Mori  Y,  Misawa  M,  Ogata  N,  Sasanuma  S,  Wakamura  K,  Oda  M,  Mori  K,  Ohtsuka  K. Fully automated diagnostic system with artificial intelligence using endocytoscopy to identify the presence of histologic inflammation associated with ulcerative colitis (with video). Gastrointest Endosc. 2019; 89: 408-415.
• 57)   Takenaka  K,  Ohtsuka  K,  Fujii  T,  Negi  M,  Suzuki  K,  Shimizu  H,  Oshima  S,  Akiyama  S,  Motobayashi  M,  Nagahori  M,  Saito  E,  Matsuoka  K,  Watanabe  M. Development and validation of a deep neural network for accurate evaluation of endoscopic images from patients with ulcerative colitis. Gastroenterology. 2020; 158: 2150-2157.
• 58)   Fenton  JJ,  Taplin  SH,  Carney  PA,  Abraham  L,  Sickles  EA,  D’Orsi C,  Berns  EA,  Cutter  G,  Hendrick  RE,  Barlow  WE,  Elmore  JG. Influence of computer-aided detection on performance of screening mammography. N Engl J Med. 2007; 356: 1399-1409.