行列・テンソル分解によるヘテロバイオデータ統合解析の数理

―第3回 テンソル分解―

Abstract

生命科学分野で取得されるデータ集合は、雑多（ヘテロ）な構造になり、ヘテロなデータ構造を扱える理論的な枠組みがもとめられている。本連載では、汎用的なヘテロバイオデータの解析手法である行列・テンソル分解を紹介していく。第3回では、行列を一般化したデータ表現であるテンソルと、行列分解の発展型であるテンソル分解手法について説明する。

テンソルとは

これまでの連載［1, 2］では、行列データを想定して、複雑なデータ構造を扱ってきた。本稿では、さらに柔軟にデータを扱えるようにテンソルを利用する。なお本稿で用いるテンソルという用語は、物理学・数学における作用素、多重線形写像といった意味合いは無く、単に多次元配列を意味する。例えば、スカラ値は0階テンソル、ベクトルは1階テンソル、行列は2階テンソルと、n次元配列のことを、n階テンソルと言う（図1）。通常あえてテンソルと言う場合は、3階以上のテンソルを指すため、本稿でも3階以上の高階テンソルを単にテンソルと呼ぶことにする。慣習的に、スカラやベクトルは小文字、行列は大文字、3階以上のテンソルはカリグラフィー（筆記体、飾り文字）で記述されることが多い（図1）。

図1：テンソルとは

行列をより高いオーダーにまで拡張したもの。通常、あえてテンソルと言う場合、3階以上の場合が多い。

テンソル分解の用語は時として統一されておらず、ややこしい場合があるため、以降は縦、横、奥行きの様なテンソルの各方向のことをモード（相）、各モードが持つ要素数を次元、テンソルの各モードの次元を全て掛け合わせたものをサイズ、テンソルが持つモード数をオーダー（階数）と呼ぶこととする。例えば、添字が3つあるテンソルχ∈R^I×J×Kのオーダーは3（3階テンソル）であり、サイズはI×J×K、1つ目のモードの次元はI、2つ目のモードの次元はJ、3つ目のモードの次元はKである。後述するように、テンソル分解という手法で、行列分解と同様、データテンソルを次元圧縮するが、その際に、モードごとに何次元まで次元を圧縮するか事前に設定するパラメーターがあり、これをランクという。

論文によっては、3階テンソルを3次元配列と言ったり、ランクの方を階数と言ったりする場合もあるため、注意が必要である。また、厳密には、同じ要素を持つ方向が重複している場合、重複を除いてユニークな方向が幾つあるのかを数えた値がモードであり、重複を許して単に方向が幾つあるのかを数えた値は元（way）として区別される。例えば、N個のデータ間の総当たりの距離関係を表すN×Nの対称行列（距離行列）は、1相2元データとなる。

データとしてのテンソル

生命科学において、観測データとしてテンソルが発生する場合は少なくとも2つある。1つは、データが自然と高階なテンソル構造を持っている場合である。生命科学においては、実験条件を振った場合に相当する。例えば、通常、複数のサンプルで複数の生体分子を計測するオミックスデータを、さらに複数の異なる条件で取得した場合、サンプル（例：臓器、個人）×生体分子（例：DNA、RNA）×実験条件（健常者/患者、試薬投与、時空間）のように3階テンソルとなる。または、メタデータに記述された属性情報（例：集団、性別、バッチ）をもとに、後からデータを層別化する場合も同様に、サンプル×生体分子×属性のような3階テンソルになる。ただし生命科学の実験は基本的に高コストであるため、そのようなリッチなデータは、ENCODE［3, 4, 5, 6］やGTEx［7, 8］、ICGA/TCGA［9, 10］、GWAS Catalog［11］など、大規模プロジェクトデータによるものが多い。なお、このようなオミックスデータにおいて、生体分子の異なる条件下での計測値は、非侵襲的に計測されない限りは、異なる細胞から得られることになる。しかしながら、共通性を考慮して（例：共通の細胞株から培養した細胞集団や共通の細胞型から得られているので）、同じ細胞から得られたものとみなすことが通例になっている。

もう一つは、なんらかの操作によってデータのオーダーを上げる、テンソル化（Tensorization）を行った場合である。例えば、行を共有する2つ以上の行列で、直積（Outer product）をとる場合が挙げられる［10, 12, 13］。2行列X（n×p、例えば細胞×遺伝子）、Y（n×q、例えば細胞×タンパク質）において、i行目の行ベクトル同士の直積$x_i\circ y_i=x_i{y}_i^T$はp×qの2階テンソル（行列）になる。この操作をn行分繰り返し行うことで、n個の2階テンソルが生成されるためオーダーが1つ上がり、p×q×nの3階テンソルになる。また、時系列データでは、時間遅れを考慮して、データ間の相関関係をとらえる必要があり、Sliding Window方式で、時刻を一つずつずらしてはテンソルに格納する、ハンケル化（Hankelization）という操作がよく利用され、これもオーダーが大きくなる操作である［14, 15］。それ以外にも、Löwnerizationという操作や、最適化アルゴリズム内での高階モーメントの算出などでもテンソルが発生する［14, 15］。

テンソル分解

第1回［1］で紹介した、行列データにおける行列分解と同様、データテンソルにもテンソル分解のアルゴリズムがある［16, 17, 18, 19, 20, 21, 22］。パターンの和としての行列分解のイメージに倣うと、テンソル分解もまたデータテンソルχに含まれる少数のパターン（ランク1テンソル）を取り出すことに相当する（図2）。射影としてのテンソル分解をイメージすることも可能だが、紙面の関係から［23, 24］の文献を参照してほしい。テンソル分解では、細かい工夫により行列分解以上に数多くのアルゴリズムが存在する。そこで、ここでは、幾つかの項目に分けて、これまで提案されたテンソル分解に、どのような工夫がなされているのかを紹介する。なおここでは、データテンソルχは3階テンソルを想定するが、さらに高階なテンソルにも拡張可能であることに留意してほしい。

図2：パターンの和としてのテンソル分解

行列分解と同様、テンソル分解もデータテンソルを少数のパターン（ランク1テンソル）の和として近似することに相当。

1．コアテンソルの設定：第1回［1］の行列分解の式（1）の中央の対角行列Λは、取り出したパターンの大きさを示していたが、テンソル分解でそれに相当するものは、コアテンソルという。コアテンソルの設定の仕方で、テンソル分解アルゴリズムは、CANDECOMP/PARAFAC（CP）分解とTucker分解に大別される［16, 17, 18, 19, 20, 21, 22］。CP分解は、コアテンソルが対角、すなわち、縦、横、奥行きのパターンの数が同じであり、かつそれらが1対1対1の対応関係であることを制約としており（図3上）、データテンソルχを以下のように分解する。

  

$$\begin{array}{}\text{（30）}& \underset{U,V,W}{\min }\parallel \chi -\sum _{i=1}^J{g}_i{u}_i\circ v_i\circ w_i\parallel {}_F^2\end{array}$$

図3：CP分解とTucker分解

CP分解（上）の場合は、コアテンソルが対角で、縦・横・奥行きのパターンの数が同じであり、かつそれらが1対1対1の対応関係。Tucker分解の場合は、コアテンソルが密で、縦・横・奥行きのパターンの数を別々の値に設定することが可能で、それらが多対多対多の関係。

ただし、データテンソルのサイズはI₁×I₂×I₃、コアテンソルgのサイズはJ×J×J（J≤min（I₁,I₂,I₃））、因子行列U、V、WのサイズはそれぞれI₁×J、I₂×J、I₃×J、∘は直積である。${\Sigma }_{i=1}^J{g}_i{u}_i\circ v_i\circ w_i$の部分は、モード積×_m（テンソルと行列間の演算の一種、mは作用するテンソルのモード［16, 17, 18, 19, 20, 21, 22］）を利用してg×₁U×₂V×₃Wと書く場合もある。CP分解の最適化手法としては、データテンソルをモードごとに行列状に引き伸ばし（行列化）、最小二乗法ベースのAlternating Least Squares（ALS）を適用する手法CP-ALSや、固有値分解アルゴリズムの一つであるべき乗法（Power method）などがあり、U、V、Wを逐次的に最適化する。

一方、Tucker分解の場合は、コアテンソルは対角要素意外にも値を持つ密テンソルであり、縦、横、奥行きのパターンの数を別々の値に設定することが可能である（図3下）。Tucker分解では、データテンソルχを以下のように分解する。

  

$$\begin{array}{}\text{（31）}& \underset{U,V,W}{\min }\parallel \chi -\sum _{i=1}^{J_1}\sum _{j=1}^{J_2}\sum _{k=1}^{J_3}{g}_{i,j,k}{u}_i\circ v_j\circ w_k\parallel {}_F^2\end{array}$$

ただし、コアテンソルgのサイズはJ₁×J₂×J₃、因子行列U、V、Wのサイズはそれぞれ、I₁×J₁（J₁≤min（I₁,I₂×I₃））、I₂×J₂（J₂≤min（I₂,I₃×I₁））、I₃×J₃（J₃≤min（I₃,I₁×I₂））である。Tucker分解の最適化手法としては、CP分解と同様、データテンソルをモードごとに行列化し、Singular Value Decomposition（SVD、第1回［1］を参照）を適用することで、モードごとの因子行列をとりだすHigher-Order SVD（HOSVD）や、ALSベースのTucker分解であるHigher-Order Orthogonal Iteration of Tensors（HOOI）などが利用される。HOSVDは、CP-ALSやHOOIなど、他のテンソル分解アルゴリズムの初期値としても利用される。

2．各因子行列の推定に利用される行列分解手法：多くの場合、因子行列は、行列化されたテンソルに対して、行列分解手法を適用することで推定される。CP-ALS、HOSVD、HOOIで利用される最小二乗法やSVD以外にも、様々な行列分解手法が適用され、利用した手法の性質が反映された結果になる。例えば、Non-negative Matrix Factorization（NMF、第1回［1］を参照）ベースのCP分解であるNon-negative Tensor Factorization（NTF［17］）や、NMFベースのTucker分解Non-negative Tucker Decomposition（NTD［17］）では、非負値の因子行列が得られる。また、互いに独立な成分を取り出すIndependent Component Analysis（ICA、第1回［1］を参照）をベースとした、テンソル分解であるMultilinear ICA［25］やTensorial ICA［26］もある。さらに、また縦の因子行列はSVD、横の因子行列はICA、奥行きの因子行列はNMFという風に、複数の行列分解を自由に組み合わせてテンソル分解に適用するMulti-way Component Analysis（MCA［16］）という手法もある。

3．分解しないモードの設定：あるテンソルの全モードごとに因子行列を1つずつ設定するだけでなく、ある方向には分解をしないでおくことも可能である。例えば、Tucker-2分解では、3階テンソルのうち、2つのモードでの因子行列だけを取り出し、1つのモードでは分解を行わない［17］。これは、m番目の分解しないモードでの因子行列は単位行列I_Im×Im（I_mはm番目のモードの次元）とした上で、その因子行列の推定ステップはスキップすることに相当する。同様に、Tucker-1では、縦、横、奥行きのどれか1方向だけ因子行列を取り出し、2つのモードでは分解を行わない［17］。このような分解は、あるモードのパターンには興味が無かったり、内在するパターンがそもそも無い（全ての要素がばらばらで似ていない）ことが事前にわかっている場合に有効である。

4．対称なモードの設定：例えば、あるデータテンソルχが、サイズがI×I×Jの2相3元データであった場合、1番目と2番目のモードからは、同じ因子行列が推定される。その場合、2番目のモードでの因子行列の推定ステップは省略される。DEDICOM［16, 17, 18, 19, 20, 21, 22, 27, 28］、RESCAL［16, 17, 18, 19, 20, 21, 22, 27, 28, 29］、INDSCAL［16, 17, 18, 19, 20, 21, 22］、IMSCAND［16, 17, 18, 19, 20, 21, 22］といった、テンソル分解モデルでそのような工夫がなされる。

5．因子行列のさらなる分解：テンソル分解で得られた因子行列をさらに分解することで、より小さい因子行列の積にできる。それによりモデルをより複雑化させたものとしては、H-Tucker［16, 17, 18, 19, 20, 21, 22］、Tensor Train［16, 17, 18, 19, 20, 21, 22, 30, 31］といったものがある。欠損値補完のような問題設定では、深層学習と同様、モデルが複雑になるほど、予測精度も向上するため、このような複雑な分解の仕方が提案されていると思われる。

テンソル分解の適用事例

テンソル分解は、当初ヒトの脳波（Electroencephalogram、EEG）解析分野で発展したが［16, 17, 20, 21］、近年は幅広い分野で利用されるようになり、オミックスデータ解析（遺伝子発現［8, 9, 12, 13, 32, 33, 34］、一塩基多型（Single Nucleotide Polymorphism: SNP）［10］、エピジェネティクス［3, 5, 6, 7, 8, 35］、マルチオミックス［25］、Quantitative Trait Locus（QTL）［8, 11］、マイクロバイオーム［35］）、血清学データ（新型コロナウイルスに対する中和抗体価）［37］、医療情報解析［38］、文献情報解析［39, 40］、ドラッグリポジショニング［12, 26, 27, 28, 31］、時空間情報を伴う生態学データの解析［41］、神経活動データ［42, 43］など、様々な分野でその有用性が示されている。テンソル分解を利用した研究では、モード間の複雑な関係性を可視化したり、分解して得た因子行列を特徴量としてその後の解析（クラスタリングなど）に活用したりする話が多い。因子行列やコアテンソルでテンソルを再構築することで、欠損値補完にも利用でき、まだ計測されたことがない変数の組み合わせでの値（例：ある薬剤がある疾患に効くかどうか）を推定することも可能である［31］。情報検索の分野では、手元のデータテンソルを事前にテンソル分解をしておいてデータベースとし、新たに得られるデータ（またはユーザーの知りたいこと）をクエリとして検索を行うことにも利用されており、Folding-in（第1回［1］を参照）のテンソル拡張という位置づけで、Higher-order Folding-in［44, 45］と呼ばれている。

よりヘテロな行列・テンソル同時分解

Partial Least Squares Regression（PLS-R、第2回［2］を参照）やPartial Least Squares Discriminant Analysis（PLS-DA、第2回［2］を参照）のように、複数の行列・テンソル間を関連付けるように因子行列を学習し、新たに得られるデータに対する予測モデルを構築するということも、テンソル分解の枠組みで行える。例えば、説明変数がn（≥3）階テンソルで、目的変数は行列としたN-way PLS（Multi-way PLS、Multilinear PLS、またはTensor PLSとも言う）や、説明変数も目的変数も高階テンソルとしたHigher-order PLSといった手法があり、マルチオミックス解析に利用されている［46, 47, 48, 49］。Linear Discriminant Analysis（LDA、第2回［2］を参照）をデータテンソルに拡張したMultilinear Discriminant Analysisという手法もあり、EEGデータを用いたBrain-Computer Interfaceのデータ解析に利用されている［50］。

1つのテンソルだけでなく、Collective Matrix Factorization（CMF、第2回［2］を参照）のように、縦、横、奥行きのどれかのモードをテンソルと共有する行列が付加情報として与えられていた場合、それらとも関連づけて行列・テンソルの同時分解が行える。このような問題設定をCoupled Matrix Tensor Factorization（CMTF［51］）という（図4）。CMTFはまだ、バイオインフォマティクス分野での利用実績がそれほど多くは無いが、MRIとLC-MSの統合解析［51］や、ドラッグリポジショニング［52］、遺伝子発現データ解析［53］、血清学データ［36］で利用されたことがある。

図4：CMTF

CMFと同様、共有するモードがあるデータ同士は、共通因子を設定し、この共通因子の最適化にそれらデータを参加させることで、複数のデータで再現があるパターンだけを取り出す。

テンソルネットワークとeinsum関数

複数のテンソルで構成されるヘテロなデータや、4階以上の高階なデータテンソルはモデリング作業が煩雑になりやすい。なぜならば、どのテンソルのどのモードは分解するか、どのデータからどの因子行列を取り出すか、どの因子行列をどのテンソル間で共有させるか、データテンソルや因子行列やコアテンソルのサイズや次元は幾つか…といった詳細な情報を把握しづらくなり、モデリングの見通しが立てづらくなるためである。そのため、ここではテンソルネットワークというテンソルの図示の仕方［16, 54, 55, 56, 57］を紹介しておく。テンソルネットワークは、複雑なデータ構造におけるモデリングの設計図として利用できる強力なツールである。テンソルネットワークでは、1つのテンソルを1つのノードとし、テンソルのモードはノードに接続されたエッジ（テンソルの“脚”という）で表現する。例えば、ベクトル、行列、3階テンソルはそれぞれ、脚が1本、2本、3本生えたノードとして表現される（図5）。長さ1の脚は省略するため、スカラ値は脚の無いノードとなる。脚には、そのモードの次元（脚の長さ）を書く場合もあれば、添字を書く場合もある。

図5：テンソルネットワーク

ノードは各テンソルデータを、エッジはテンソルの各モードを、エッジの本数はテンソルのオーダーを意味する。脚には脚の長さを書く場合と、テンソルの添字を書く場合とがある。

2つのテンソルに同じ脚（共通するモード）がある場合、積をとることで1つのテンソルにマージできる（図6a）。この時に、そのモードの添字に対して和をとる（脚を消す）ことも、和をとらずにそのまま脚を残しておくこともできる。同じサイズのテンソル同士で積をとり、全ての脚を消す演算は内積（スカラ積）、2つのテンソルの脚を全て残す演算は直積、共通する脚は消し、残りの脚はそのままとする操作は縮約積（contracted product）という［16, 54, 55, 56, 57］。行列分解で頻出するトレースは、両端の脚を繋げることに相当する。

図6：複数のテンソルのマージ

テンソルネットワークを利用して、行列・テンソルに対する各種演算を図示できる。（a）テンソルネットワークによる各種演算の図示化、（b）アインシュタインの縮約記法、（c）einsum関数による演算の実行。

数式でこのような操作を記述すると、テンソルの数やオーダーが増えるに従い、和記号が増えて煩雑になりやすい。そのため、和記号を省略し、単に添字だけで演算を表現することもできる。考案者の名前をもじり、この記法をアインシュタインの縮約記法という（図6b）。einsumは、この縮約記法をベースにした関数であり、縮約記法と同様、添字だけを記述することで、その演算をシンプルに記述できる（図6c）。einsumは元々Pythonパッケージであるnumpyの関数の一つとして実装されたが、現在では、PythonのTensorFlow［58］、Pytorch［59］、Chainer［60］、Rのeinsum［61］、著者が開発したDelayedTensor［62］やJuliaのEinsum.jl［63］、ITensors.jl［64］など、様々なツール内でも実装されている。einsumで表現できる演算は非常に多いので、是非［65, 66］の文献を確認してほしい。

テンソルネットワークを利用して、これまで紹介してきたヘテロなデータ解析手法を再考してみる。例えば、行を共有した2行列X（n×p）、Y（n×q）に共通するパターンを調べたいとする。最も単純なやり方は、2行列の連結（concatenate）である（図7a）。これは、長さpと長さqの2つの脚がマージされて、新たに長さp＋qの脚が生えることに相当する。連結した後は、第1回［1］で紹介したような、行列分解を適用すれば良い。Multiple Factor Analysis（MFA［67］）という手法では、複数の行列に重みをかけてから連結してPrincipal Component Analysis（PCA、第1回［1］を参照）を適用することで、行列ごとのスケールの違いを補正する工夫が入る。

図7：ヘテロな行列・テンソル分解手法

テンソルネットワークを利用して、各種行列・テンソル分解を図示できる。（a）1行列における行列分解（第1回を参照）。（b）2行列における射影としての行列同時分解（第2回を参照）。（c）2行列におけるパターンの和としての行列同時分解（第2回を参照）。（d）直積による2行列のテンソル化とテンソル分解。

第2回［2］で紹介したCo-inertia Analysis（CIA）、PLS、Canonical Correlation Analysis（CCA）のような行列同時分解では、2つの行列を互いに関連付けながらそのまま分解する（図7b）。これらは一度行列積X^TYを計算してから、特異値分解（体格化、トレース最大化）を適用する操作に当たり、トレースはテンソルネットワーク上では、前述したように両端の脚を繋げる操作に相当する。また、第2回［2］で紹介したJoint Non-negative Matrix Factorization（JointNMF）、Group Independent Component Analysis（GroupICA）、Generalized Singular Value Decomposition（GSVD）のような行列同時分解では、各々の行列で分解する際に、共通因子行列を仮定する（図7c）。

直積でオーダーを上げてテンソル化し、テンソル分解を適用する方法［8, 10, 11］では、奥行き方向の脚を消してしまう行列積とは異なり、奥行き方向のパターンも後から取得できることがわかる（図7d）。

今後の展開

最後に、行列・テンソル分解の発展的なトピックにも触れておくことにする。ヘテロなデータを互いに繋ぎ合わせて解析する際に、以下のような部分が問題になると考えられる。まだそれほど解決されていない問題も含まれているため、熱意ある読者にもぜひ挑戦して欲しい。

データやモデルの任意性問題　行列・テンソル分解を実データに適用する際に、どういったデータを入力とするかというところで任意性がある。上記のeinsumによって、複数のテンソルを1つのテンソルに縮約することは、簡便な方法ではあるが、データサイズが雪だるま式に膨れ上がってしまい、それを防ぐために脚を消す場合は、どの脚を残すべきかが自明ではない。また、テンソルの数やオーダーが大きくなると、数値がオーバーフロー（またはアンダーフロー）したり、積をとる演算が誤差分布に悪影響を及ぼす可能性はある。

一方で、行列同時分解のように、複数のテンソルをマージせずに、複雑なデータ構造を複雑なまま分解する方針では、データサイズは小さいままで済むが、モデルが複雑になることで、最適化がうまく収束しない可能性もある［53］。また、そのような複雑な分解をサポートするOpen Source Software（OSS）が少ないため、自分でスクラッチからモデルを実装することになるが、かなり煩雑な作業になりやすく、ソースコードにバグを含みやすくなる。著者は現在このようなモデリングを支援すべく、RパッケージmwTensorを開発している。深層学習分野におけるフレームワークと同様、今後はこの分野でも幾つもフレームワーク開発が行われるかもしれない。

Semi-paired/Unpaired問題　本稿で紹介したCMFやCMTFのように、複数の行列・テンソルを同時に分解する解析では、行や列や奥行きのモードの少なくともどれかは完全に共有することを想定していた。しかしながら、実世界では、モードの一部の要素だけを共有するようなSemi-pairedなデータセットも考えられる。このような問題設定では、対応付けがついている要素間では行列同時分解とし、それ以外の部分は付加情報としてグラフ正則化で関連づけさせる方法が幾つか提案されている［68］。また、列が共有されていなくても、行が共有されていた場合、個々に次元圧縮した後にMutual Nearest Neighbors（MNN、双方向BLASTベストヒットのアナロジー）でペアリングしたり［69］、CCAで射影された低次元空間上で、Dynamic Time Warping（DTW、ペアワイズアライメントのアナロジー）でペアリングした例もある［70, 71］。

さらに難しい問題設定として、共有するモードが存在しない（ただし、何かしら互いに関連したサンプルからデータは取られている）Unpairedなデータセットの統合も考えられる（［71］の文献では、このようなデータ構造をDiagonalと呼んでいる）。このような解析を可能とするアプローチとして、データを別々に次元圧縮しておき、圧縮次元先でのデータの分布形状で、データ点間の対応付けを行う、多様体アライメント［72］や、最適輸送問題［73］、オートエンコーダー［74］が提案されている。CCAをこのようなデータ構造向けに拡張したBi-CCAという手法も提案されている［75］。また、データを別々に次元圧縮して、コアテンソルを互いに共有・転移学習するという方法も提案されている［76, 77］。

共通/独自因子の分離問題　本稿で紹介したアルゴリズムでは、複数のデータ行列・テンソル間で共通の因子行列を仮定し、その因子行列の推定に複数のデータ行列・テンソルを参加させることで、互いに再現性がある因子行列を推定する。しかしながら、データの種類が異なり、共通しないパターンも個々のデータに含まれる場合、誤差項でそれらを吸収できず、最適化がうまく収束しない場合もある。このような状況では、共通因子行列とは別に、個々のデータが独自に持っているパターン（独自因子行列）を設定することで、最適化が改善する場合がある。または、共通因子の方は取り除きたい交絡バイアスとして各データから分離し、独自因子のほうを注目して解析する問題設定もある。共通/独自因子を考慮したモデルを利用した手法やツールとしてOmicsPLS（O2PLS）［78］、JIVE［79］、CSMF［80］、LIGER［81］、GroupICA［82］、scPLS［83］、Differential PCA［84］、Contrastive PCA［85］などがある。

重みづけ問題　本稿では、複数のデータを扱う際には、基本的にどのデータもそのまま統合していた。しかしながら、実際はよりパターンが大きい、またはパターンが多いデータや、サイズが大きいデータが最適化において支配的となり、複数のデータを平等に扱えない場合もある。または、クオリティが低いデータを混ぜると、全体の最適化の性能が落ちるので、最適化に参加させたくない場合も考えられる。どちらの場合にせよ、第2回［2］で紹介したグラフ正則化のように、最適化時に個々のデータの分解項に重みをかけてから、同時に最適化する必要があるだろう。

現在まで、重み付けの根拠として採用されている尺度としては、各テンソルのL2ノルム［86］、要素数［87, 88］、分散［89］、再構築誤差［90］、第一固有値［91］、情報量基準［67］、外的尺度との相関係数［92］などが挙げられる。または重みを自動的に推定できるテンソル分解手法も存在する［93］。その分解で得られた因子行列を利用した下流のタスクを事前に設定できれば、そのタスクの精度を最大にする重み付けを後述するCross Validation（CV）で推定するという方針も考えられる。

ランク推定・欠損値補完問題　本連載ではそれほどとりあげなかったが、行列・テンソル分解では事前に設定する必要があるパラメーターとしてランクがある。ランクが小さいと扱いやすいが、その分生物学的なシグナルを取りこぼす危険性がある一方（未学習）、ランクが大きいほど、ノイズのパターンも取り出すことになり、誤った結論を導きやすくなる（過学習）。これらのトレードオフの関係の中で、適切なランクを推定することは、実用上重要な問題である。

ad hocな解決法として、PCAでは、データ行列が持つ分散のうち8～9割程度を保持する次元までを保持するようにランクを決定するやり方が採用される場合が多いが、特に強い根拠がある訳ではない。似たような考え方で、NMFやICAでは、誤差をある程度取り除ける次元までをランクに設定したり、スパース性、計算結果の安定性を利用してランク推定する［94, 95］。テンソル分解の場合は、CP分解ではCORCONDIA、Tucker分解ではDIFFITといったランク推定法が利用されている［18］。

もう少し体系化された方法としては、モデルが確率モデルである場合に利用できるモデル選択基準［96］や、データを部分的に欠損させて、その部分をモデルから推定することで、モデルの汎化性能が最大となるランクを推定するCV［97］が挙げられる。CVを行列・テンソル分解で行う場合、データの欠損位置を1、そうではない部分に0を代入した、マスク行列・テンソルを利用する。このマスク行列・テンソルをデータテンソルにかけ、データをわざと欠損させて、後から推定させるCVと、データが最初から欠損している時に、その部分を推定したい欠損値補完問題は、本質的に同じことをしているため、両タスクはマスク行列・テンソルで統一的に扱える［28, 30, 41, 97］。著者の経験上は、Akaike Information Criterion（AIC）は、大きいランクを選ぶ傾向があり、一方Bayesian Information Criterion（BIC）やCVは、逆に小さいランクを選びがちであり、どちらも常に生物学的解釈に有効なランクを設定できるとは限らず、理論的方面でもう少し工夫が必要だと思われる。

多くのデータを統合していく過程で、自ずと分解モデル自体も複雑になり、扱うパラメーター数が増加する。その場合、どのようなランク推定法であれ、パラメーターの全探索がそもそも不可能になる。そのため、限られた計算資源の中でなるべく最善な解を得ようとする試みとして、ベイズ最適化［4］などのアプローチが提案されている。

おわりに

今回は、第1回で紹介した行列分解の発展型である、テンソル分解を紹介した。また、第2回で紹介した行列同時分解と同様に、複数のテンソルを互いに関連づけながら、同時に分解できることを示した。考え方としては、複数のテンソル間で共有するモードがあった場合に、共通因子行列を仮定し、その因子行列の推定に、それらテンソルを参加させることで、複数のテンソルで再現するようなパターンを抽出するというものであり、これまで解説してきた「パターンの和としての行列分解」の発展型に相当する。

生命科学で得られるデータは、背後にあるシステム自体が複雑に絡み合っているということもあり、データ間にも複雑な繋がりがある。数あるデータサイエンス分野の中でも、生命科学のこのデータ構造の複雑さはトップレベルであり、どのようにこれら繋がりを考慮したモデリングをしていくのかは、今後のバイオインフォマティクス研究の重要な課題となるだろう。そのようなタスクにおいて、行列・テンソル分解を利用するメリットとしては、あらゆるデータ構造に対して統一的、汎用的に適用できることだと著者は考えている。一方で、同時に扱えるデータが増えることで、今後新たに発生する課題もあることを紹介した。

これまでの連載で紹介したデータは、何かしらの実験装置の実測値を想定していたが、行列・テンソル分解が適用できるデータはそれにとどまらない。第4回では、アンケートのようなカテゴリカルなデータや、データ間の距離、ノードとエッジで構成されるグラフといったデータにも利用できるように拡張された行列・テンソル分解手法を紹介する。

References

• [1]  Tsuyuzaki, K. (2021/4/24). Mathematics for Heterogeneous Biological Data Fusion Analysis with Matrix-Tensor Factorization - Part I. Matrix Factorization -. JSBi Bioinformatics Review, 1(2), 18-25. 10.11234/jsbibr.2021.1
• [2]  Tsuyuzaki, K. (2021/10/5). Mathematics for Heterogeneous Biological Data Fusion Analysis with Matrix-Tensor Factorization - Part II. Simultaneous Matrix Factorization -. JSBi Bioinformatics Review, 2(1), 15-29. 10.11234/jsbibr.2021.6
• [3]  Schreiber, J. & Durham, T. & Bilmes, J. & Noble, W.S. (2020/3/30). Avocado: a multi-scale deep tensor factorization method learns a latent representation of the human epigenome. BMC Genome Biology, 21(1), 81. 10.1186/s13059-020-01977-6
• [4]  Ye, Y. & Gao, L. & Zhang, S. (2017/9/28). Integrative Analysis of Transcription Factor Combinatorial Interactions Using a Bayesian Tensor Factorization Approach. Frontiers of Genetics, 8, 140. 10.3389/fgene.2017.00140
• [5]  Zhu, Y. & Chen, Z. & Zhang, K. & Wang, M. & Medovoy, D. & Whitaker, J.W. & Ding, B. & Li, N. & Zheng, L. & Wang, W. (2016/3/10). Constructing 3D interaction maps from 1D epigenomes. Nature Communications, 7, 10812. 10.1038/ncomms10812
• [6]  Durham, T.J. & Libbrecht, M.W. & Howbert, J.J. & Bilmes, J. & Noble, W.S. (2018/4/11). PREDICTD PaRallel Epigenomics Data Imputation with Cloud-based Tensor Decomposition. Nature Communications, 9(1), 1402. 10.1038/s41467-018-03635-9
• [7]  Wang, M. & Fischer, J. & Song, Y.S. (2019/11/2). Three-way clustering of multi-tissue multi-individual gene expression data using semi-nonnegative tensor decomposition. Annals of Applied Statistics, 13(2), 1103-1127
• [8]  Hore, V. & Viñuela, A. & Buil, A. & Knight, J. & McCarthy, M.I. & Small, K. & Marchini, J. (2016/9). Tensor decomposition for multiple-tissue gene expression experiments. Nature Genetics, 48(9), 1094-100. 10.1038/ng.3624
• [9]  Lee, J. & Oh, S. & Sael, L. & (2018_12_15). GIFT: Guided and Interpretable Factorization for Tensors with an application to large-scale multi-platform cancer analysis. Bioinformatics, 34(24), 4151-4158. 10.1093/bioinformatics/bty490
• [10]  Vöhringer, H, & Hoeck, A.V. & Cuppen, E. & Gerstung, M. (2021/6/15). Learning mutational signatures and their multidimensional genomic properties with TensorSignatures. Nature Communications, 10.1038/s41467-021-23551-9
• [11]  Ramdhani, S. & Navarro, E. & Udine, E. & Efthymiou, A.G. & Schilder, B.M. & Parks, M. & Goate, A. & Raj, T. (2020/2/3). Tensor decomposition of stimulated monocyte and macrophage gene expression profiles identifies neurodegenerative disease-specific trans-eQTLs. PLOS Genetics, 16(2), e1008549. 10.1371/journal.pgen.1008549
• [12]  Taguchi, Y.H. (2020). Unsupervised Feature Extraction Applied to Bioinformatics A PCA Based and TD Based Approach, Springer
• [13]  Tsuyuzaki, K. & Ishii, M. & Nikaido, I. (2019/3/4). Uncovering hypergraphs of cell-cell interaction from single cell RNA-sequencing data. bioRxiv, 10.1101/566182
• [14]  Vervliet, N. & Debals, O. & Sorber, L. & Barel, M.V. & Lathauwer, L.D. (2017/5/9). Tensorization techniques — Tensorlab 3.0 documentation, https://www.tensorlab.net/doc/tensorization.html
• [15]  Debals, O. (2017/8). Tensorization and applications in blind source separation. A Doctrial thesis in KU KEUVEN
• [16]  Cichocki, A. & Mandic, D. & Phan, A.-H. & Caiafa, C. & Zhou, G. & Zhao, Q & Lathauwer, L.D. (2015/3). Tensor Decompositions for Signal Processing Applications: From two-way to multiway component analysis. IEEE Signal Processing Magazine, 32(2), 145-163. 10.1109/MSP.2013.2297439
• [17]  Cichocki, A. & Zdunek, R. & Phan, A.H. & Amari, S. (2009/10/12). Nonnegative Matrix and Tensor Factorizations: Applications to Exploratory Multi-way Data Analysis and Blind Source Separation. Wiley
• [18]  石黒勝彦＆林浩平. (2016/12/7). 関係データ学習（機械学習プロフェッショナルシリーズ）
• [19]  Kolda, T.G. (2006). Multilinear Operators for Higher-order Decompositions. Sandia National Laboratories, Technical Report. SAND2006-2081. 10.2172/923081
• [20]  Fanaee-T, H. and Gama, J. (2016/4). Tensor-based anomaly detection. Knowledge-Based Systems. 98(C), 130-147. 10.1016/j.knosys.2016.01.027
• [21]  Hunyadi, B. & Dupont, P. & Van Paesschen, W. & Van Huffel, S. (2017), Tensor decompositions and data fusion in epileptic electroencephalography and functional magnetic resonance imaging data. WIREs Data Mining Knowledge Discovery, 7, e1197. 10.1002/widm.1197
• [22]  Kolda, T.G. & Bader, B.W. (2009). Tensor Decompositions and Applications. SIAM Review, 51(3), 455-500. 10.1137/07070111X
• [23]  Phan, A.H. & Cichocki, A. (2010). Tensor decompositions for feature extraction and classification of high dimensional datasets. Nonlinear Theory and Its Applications, IEICE, 1(1), 37-68. 10.1587/nolta.1.37
• [24]  Lu, H. & Plataniotis, K.N. & Venetsanopoulos, A.N. (2011). A survey of multilinear subspace learning for tensor data, Pattern Recognition, 44(7), 10.1016/j.patcog.2011.01.004
• [25]  Vasilescu, M.A.O. & Terzopoulos, D. (2005). Multilinear independent components analysis,” 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 1, 547-553 10.1109/CVPR.2005.240
• [26]  Teschendorff, A.E. & Jing, H. & Paul, D.S. & Virta, J. & Nordhausen, K. (2018/6/8). Tensorial blind source separation for improved analysis of multi-omic data. BMC Genome Biology, 19(1), 76. 10.1186/s13059-018-1455-8
• [27]  Yang, X. & Wang, W. & Ma, J.L. & Qiu, Y.L. & Lu, K. & Cao, D.S. & Wu, C.K. (2022/1/17). BioNet: a large-scale and heterogeneous biological network model for interaction prediction with graph convolution. Briefings in Bioinformatics, 23(1), bbab491. 10.1093/bib/bbab491
• [28]  Zitnik, M. & Agrawal, M. & Leskovec, J. (2018/6/1). Modeling polypharmacy side effects with graph convolutional networks. Bioinformatics. 34(13), i457-i466. 10.1093/bioinformatics/bty294
• [29]  Zhou, K.Y. & Wang, Y.X. & Zhang, S. & Gachloo, M. & Kim, J.D. & Luo, Q. & Cohen, K.B. & Xia, J.B. (2019/2/20). GOF/LOF knowledge inference with tensor decomposition in support of high order link discovery for gene, mutation and disease. Mathematical Biosciences and Engineering. 16(3), 1376-1391. 10.3934/mbe.2019067
• [30]  Oseledets, I.V. (2011). Tensor-Train Decomposition. SIAM Journal on Scientific Computing, 33(5), 2295-2317. 10.1137/090752286
• [31]  Iwata, M. & Yuan, L. & Zhao, Q. & Tabei, Y. & Berenger, F. & Sawada, R. & Akiyoshi, S. & Hamano, M. & Yamanishi, Y. (2019/7/15). Predicting drug-induced transcriptome responses of a wide range of human cell lines by a novel tensor-train decomposition algorithm. Bioinformatics, 35(14), i191-i199. 10.1093/bioinformatics/btz313
• [32]  Omberg, L. & Golub, G.H. & Alter, O. (2007/11/20). A tensor higher-order singular value decomposition for integrative analysis of DNA microarray data from different studies. PNAS, 104(47), 18371-6. 10.1073/pnas.0709146104
• [33]  Yener, B. & Acar, E. & Aguis, P. & Bennett, K. & Vandenberg, S.L. & Plopper, G.E. (2008/7/14). Multiway modeling and analysis in stem cell systems biology. BMC System Biology, 2, 63. 10.1186/1752-0509-2-63
• [34]  Li, W. & Liu, C-C. & Zhang, T. & Li, H. & Waterman, MS. & Zhou, X.J. (2011) Integrative Analysis of Many Weighted Co-Expression Networks Using Tensor Computation. PLOS Computational Biology, 7(6), e1001106. 10.1371/journal.pcbi.1001106
• [35]  Zhu, L. & Guo, W.L. & Deng, S.P. & Huang, D.S. (2016/1). ChIP-PIT: Enhancing the Analysis of ChIP-Seq Data Using Convex-Relaxed Pair-Wise Interaction Tensor Decomposition. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 13(1), 55-63. 10.1109/TCBB.2015.2465893
• [36]  Martino, C. & Shenhav, L. & Marotz, C.A. & Armstrong, G. & McDonald, D. & Vázquez-Baeza, Y. & Morton, J.T. & Jiang, L. & Dominguez-Bello, M.G. & Swafford, A.D. & Halperin, E. & Knight, R. (2020/8/31). Context-aware dimensionality reduction deconvolutes gut microbial community dynamics. Nature Biotechnology, 10.1038/s41587-020-0660-7
• [37]  Tan, Z.C. & Murphy, M.C. & Alpay. H.S. & Taylor, S.D. & Meyer, A.S. (2021/9). Tensor-structured decomposition improves systems serology analysis. Molecular Systems Biology. 17(9), e10243. 10.15252/msb.202110243
• [38]  Luo, Y. & Wang, F. & Szolovits, P. (2017/3/1). Tensor factorization toward precision medicine. Briefings in Bioinformatics, 18(3):511-514. 10.1093/bib/bbw026
• [39]  Roy, S. & Yun, D. & Madahian, B. & Berry, M.W. & Deng, L.Y. & Goldowitz, D. & Homayouni, R. (2017/8/28). Navigating the Functional Landscape of Transcription Factors via Non-Negative Tensor Factorization Analysis of MEDLINE Abstracts. Frontiers of Bioengineering and Biotechnology, 5, 48. 10.3389/fbioe.2017.00048
• [40]  Gachloo, M. & Wang, Y. & Xia, J. (2019/6/17). A review of drug knowledge discovery using BioNLP and tensor or matrix decomposition. Genomics & Informatics, 17(2), e18. 10.5808/GI.2019.17.2.e18
• [41]  Frelat, R. & Lindegren, M. & Dencker, T.S. & Floeter, J. & Fock, H.O. & Sguotti, C. & Stäbler, M. & Otto, S.A. & Möllmann, C. (2017/11/14). Community ecology in 3D: Tensor decomposition reveals spatio-temporal dynamics of large ecological communities. PLOS One, 12(11), e0188205. 10.1371/journal.pone.0188205
• [42]  Williams, A.H. & Kim, T.H. & Wang, F. & Vyas, S. & Ryu, S.I. & Shenoy, K.V. & Schnitzer, M. & Kolda, T.G. & Ganguli, S. (2018/6/27). Unsupervised Discovery of Demixed, Low-Dimensional Neural Dynamics across Multiple Timescales through Tensor Component Analysis. Neuron, 98(6), 1099-1115.e8. 10.1016/j.neuron.2018.05.015
• [43]  Onken, A. & Liu, J.K. & Karunasekara, P.P. & Delis, I. & Gollisch, T. & Panzeri, S. (2016/11/4). Using Matrix and Tensor Factorizations for the Single-Trial Analysis of Population Spike Trains. PLOS Computational Biology, 12(11), e1005189. 10.1371/journal.pcbi.1005189
• [44]  Frolov, E. & Oseledets, I. (2016/3). Tensor Methods and Recommender Systems. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 7, e1201. 10.1002/widm.1201
• [45]  Kolda, T.G. & Bader, B.W. & Kenny, J.P. (2005). Higher-order Web link analysis using multilinear algebra. Fifth IEEE International Conference on Data Mining (ICDM'05), 8 10.1109/ICDM.2005.77
• [46]  Cong, F. & Lin, Q.H. & Kuang, L.D. & Gong, X.F. & Astikainen, P. & Ristaniemi, T. (2015/6/15). Tensor decomposition of EEG signals: a brief review. Journal of Neuroscience Methods, 248, 59-69. 10.1016/j.jneumeth.2015.03.018
• [47]  Chitforoushzadeh, Z. & Ye, Z. & Sheng, Z. & LaRue, S. & Fry, R.C. & Lauffenburger, D.A. & Janes, K.A. (2016/6/7). TNF-insulin crosstalk at the transcription factor GATA6 is revealed by a model that links signaling and transcriptomic data tensors. Science Signaling. 9(431), ra59. 10.1126/scisignal.aad3373
• [48]  Zhao, Q. & Zhang, L. & Cichocki, A. (2014), Multilinear and nonlinear generalizations of partial least squares: an overview of recent advances. WIREs Data Mining Knowledge Discovery, 4, 104-115. 10.1002/widm.1120
• [49]  Sun, S. & Sun, X. & Zheng, Y. (2018/4/11). Higher-order partial least squares for predicting gene expression levels from chromatin states. BMC Bioinformatics, 19(Suppl 5), 113. 10.1186/s12859-018-2100-y
• [50]  Frølich, L. & Andersen, T.S. & Mørup, M. (2018/3/30). Rigorous optimization of multilinear discriminant analysis with Tucker and PARAFAC structures. BMC Bioinformatics, 19(1), 197. 10.1186/s12859-018-2188-0
• [51]  Acar, E. & Papalexakis, E.E. & Gürdeniz, G. & Rasmussen, M.A. & Lawaetz, A.J. & Nilsson, M. & Bro, R. (2014/7/12). Structure-revealing data fusion. BMC Bioinformatics, 15(1), 239. 10.1186/1471-2105-15-239
• [52]  Wang, R. & Li, S. & Cheng, L. & Wong, M.H. & Leung, K.S. (2019/12/16). Predicting associations among drugs, targets and diseases by tensor decomposition for drug repositioning. BMC Bioinformatics, 20 (Suppl 26), 628. 10.1186/s12859-019-3283-6
• [53]  Taguchi, Y.H. & Turki, T. (2020). Neurological Disorder Drug Discovery from Gene Expression with Tensor Decomposition. Current Pharmaceutical Design. 25(43), 4589-4599. 10.2174/1381612825666191210160906
• [54]  Cichocki, A. (2014/8/24). Era of Big Data Processing: A New Approach via Tensor Networks and Tensor Decompositions, arXiv, 1403.2048v4
• [55]  Cichocki, A. & Lee, N. & Oseledets, I. & Phan, A.-H. & Zhao, Q. & Mandic, D.P. (2016/12/19). Tensor Networks for Dimensionality Reduction and Large-Scale Optimization: Part 1 Low-Rank Tensor Decompositions (Foundations and Trends in Machine Learning), Now Publishers
• [56]  Cichocki, A. & Lee, N. & Oseledets, I. & Phan, A.-H. & Zhao, Q. & Mandic, D.P. (2017/5/30). Tensor Networks for Dimensionality Reduction and Large-Scale Optimization: Part 2 Applications and Future Perspectives (Foundations and Trends in Machine Learning), Now Publishers
• [57]  Tensor Network, https://tensornetwork.org
• [58]  https://www.tensorflow.org/api_docs/python/tf/einsum
• [59]  https://pytorch.org/docs/stable/generated/torch.einsum.html
• [60]  https://docs.chainer.org/en/stable/reference/generated/chainer.functions.einsum.html
• [61]  https://cran.r-project.org/web/packages/einsum/index.html
• [62]  https://www.bioconductor.org/packages/release/bioc/html/DelayedTensor.html
• [63]  https://github.com/ahwillia/Einsum.jl
• [64]  https://github.com/ITensor/ITensors.jl
• [65]  A basic introduction to Numpy's einsum https://ajcr.net/Basic-guide-to-einsum/
• [66]  Einsum operation by DelayedTensor https://bioconductor.org/packages/release/bioc/vignettes/DelayedTensor/inst/doc/DelayedTensor_4.html
• [67]  Sankaran, K. & Holmes, S.P. (2019/8/28). Multitable Methods for Microbiome Data Integration, Frontiers in Genetics, 10(627), 10.3389/fgene.2019.00627
• [68]  Chen, X. & Chen, S. & Xue, H. & Zhou, X. (2012). A unified dimensionality reduction framework for semi-paired and semi-supervised multi-view data. Pattern Recognition, 45(5), 2005-2018, 10.1016/j.patcog.2011.11.008
• [69]  Haghverdi, L. & Lun, A.T.L. & Morgan, M.D. & Marioni, J.C. (2018/6). Batch effects in single-cell RNA-sequencing data are corrected by matching mutual nearest neighbors. Nature Biotechnology, 36(5), 421-427. 10.1038/nbt.4091
• [70]  Butler, A. & Hoffman, P. & Smibert, P. & Papalexi, E. & Satija, R. (2018/6). Integrating single-cell transcriptomic data across different conditions, technologies, and species. Nature Biotechnology, 36(5), 411-420. 10.1038/nbt.4096
• [71]  Argelaguet, R. & Cuomo, A.S.E. & Stegle, O. & Marioni, J.C. (2021/10). Computational principles and challenges in single-cell data integration. Nature Biotechnology, 39(10), 1202-1215. 10.1038/s41587-021-00895-7
• [72]  Cao, K. & Bai, X. & Hong, Y. & Wan, L. (2020/7/1). Unsupervised topological alignment for single-cell multi-omics integration. Bioinformatics, 36(Supplement₁), i48-i56. 10.1093/bioinformatics/btaa443
• [73]  Schiebinger, G. & Shu, J. & Tabaka, M. & Cleary, B. & Subramanian, V. & Solomon, A. & Gould, J. & Liu, S. & Lin, S. & Berube, P. & Lee, L. & Chen, J. & Brumbaugh, J. & Rigollet, P. & Hochedlinger, K. & Jaenisch, R. & Regev, A. & Lander ES. (2019/2/7). Optimal-Transport Analysis of Single-Cell Gene Expression Identifies Developmental Trajectories in Reprogramming. Cell, 176(4), 928-943.e22. 10.1016/j.cell.2019.01.006
• [74]  Stark, S.G. & Ficek, J. & Locatello, F. & Bonilla, X. & Chevrier, S. & Singer, F, Tumor Profiler Consortium & Rätsch, G. & Lehmann, K.V. (2020/12/30). SCIM: universal single-cell matching with unpaired feature sets. Bioinformatics, 36(Suppl₂), i919-i927. 10.1093/bioinformatics/btaa843
• [75]  Dou, J. & Liang, S. & Mohanty, V. & Cheng, X. & Kim, S. & Choi, J. & Li, Y. & Rezvani, K. & Chen, R. & Chen, K. (2020/12/11). Unbiased integration of single cell multi-omics data. bioRxiv, 10.1101/2020.12.11.422014
• [76]  Pan, W. & Yang, Q. (2013). Transfer learning in heterogeneous collaborative filtering domains. Artificial Intelligence, 197, 39-55. 10.1016/j.artint.2013.01.003
• [77]  Zink, R. & Hunyadi, B. & De Vos, M. & Van Huffel, S. (2017). Data-Driven Clustering of P300 Eeg Data Using Coupled Tensor Decompositions. Paper presented at Sinteza 2017 - International Scientific Conference on Information Technology and Data Related Research. 10.15308/Sinteza-2017-9-18
• [78]  Bouhaddani, S.E. & Uh, H.W. & Jongbloed, G. & Hayward, C. & Klarić, L. & Kiełbasa, S.M. & Houwing-Duistermaat, J. (2018/10/11). Integrating omics datasets with the OmicsPLS package. BMC Bioinformatics, 19(1), 371. 10.1186/s12859-018-2371-3
• [79]  Lock, E.F. & Hoadley, K.A. & Marron, J.S. & Nobel, A.B. (2013/3/1). Joint and Individual Variation Explained (JIVE) for Integrated Analysis of Multiple Data Types. Annals of Applied Statics, 7(1), 523-542. 10.1214/12-AOAS597
• [80]  Zhang, L. & Zhang, S. (2019/6/26). Learning common and specific patterns from data of multiple interrelated biological scenarios with matrix factorization. Nucleic Acids Research. 47(13), 6606-6617. 10.1093/nar/gkz488
• [81]  Welch, J.D. & Kozareva, V. & Ferreira, A. & Vanderburg, C. & Martin, C. & Macosko, E.Z. (2019/6/13). Single-Cell Multi-omics Integration Compares and Contrasts Features of Brain Cell Identity. Cell, 177(7), 1873-1887.e17.10.1016/j.cell.2019.05.006
• [82]  Pfister, N. & Weichwald, S. & Buhlmann, P. & Scholkopf, B. (2018/6/4). groupICA: Independent component analysis for grouped data. arXiv, 1806.01094v1
• [83]  Chen, M. & Zhou, X. (2017/10/19). Controlling for Confounding Effects in Single Cell RNA Sequencing Studies Using both Control and Target Genes. Scientific Reports, 7(1), 13587 10.1038/s41598-017-13665-w
• [84]  Ji, H. & Li, X. & Wang, Q.F. & Ning, Y. (2013/4/8). Differential principal component analysis of ChIP-seq. PNAS, 110(17), 6789-94. 10.1073/pnas.1204398110
• [85]  Abid, A. & Zhang, M.J. & Bagaria, V.K. & Zou, J. (2018/3). Exploring patterns enriched in a dataset with contrastive principal component analysis. Nature Communication, 9(1), 2134. 10.1038/s41467-018-04608-8
• [86]  Badea, L. (2008). Extracting gene expression profiles common to colon and pancreatic adenocarcinoma using simultaneous nonnegative matrix factorization. Pacific Symposium on Biocomputing. 279-290
• [87]  Kim, H. & Choo, J. & Kim, J. & Reddy, C.K. & Park, H. (2015). Simultaneous Discovery of Common and Discriminative Topics via Joint Nonnegative Matrix Factorization. In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD'15). 567-576. 10.1145/2783258.2783338
• [88]  Sorber, L. & Barel, M.V. & Lathauwer, L.D. (2015/6). Structured Data Fusion, IEEE Journal of Selected Topics in Signal Processing, 9(4), 586-600. 10.1109/JSTSP.2015.2400415.
• [89]  Doostparast Torshizi, A. & Duan, J. & Wang, K. (20221/6/22). A computational method for direct imputation of cell type-specific expression profiles and cellular compositions from bulk-tissue RNA-Seq in brain disorders. NAR Genomics and Bioinformatics. 3(2), lqab056. 10.1093/nargab/lqab056
• [90]  Samat, A. & Persello, C. & Gamba, P. & Liu, S. & Abuduwaili, J. & Li, E. (2017/4/1). Supervised and Semi-Supervised Multi-View Canonical Correlation Analysis Ensemble for Heterogeneous Domain Adaptation in Remote Sensing Image Classification. Remote Sensing. 9(4), 337. 10.3390/rs9040337
• [91]  Jiang, B. & Ding, C. & Luo. B. & Tang, J. (2013). Graph-Laplacian PCA: Closed-Form Solution and Robustness. IEEE Conference on Computer Vision and Pattern Recognition, 3492-3498. 10.1109/CVPR.2013.448
• [92]  Dong, M. & Thennavan, A. & Urrutia, E. & Li, Y. & Perou, C.M. & Zou, F. & Jiang, Y. (2021/1/18). SCDC: bulk gene expression deconvolution by multiple single-cell RNA sequencing references. Briefings in Bioinformatics. 22(1), 416-427. 10.1093/bib/bbz166
• [93]  Liu, X. & Ji, S. & Glänzel, W. & Moor, B.D. (2013/3). Multiview Partitioning via Tensor Methods, IEEE Transactions on Knowledge and Data Engineering, 25(5), 1056-1069, 10.1109/TKDE.2012.95.
• [94]  Gaujoux. R. (2013/6/14). An introduction to NMF package. Vignettes of NMF package
• [95]  Pamilo, S. & Malinen, S. & Hlushchuk, Y. & Seppä, M. & Tikka, P. & Hari, R. (2012). Functional subdivision of group-ICA results of fMRI data collected during cinema viewing. PLOS One, 7(7), e42000. 10.1371/journal.pone.0042000
• [96]  Mørup, M. (2009/1/1). Bayesian and Non-linear Multi-way modeling. Three-way methods in Chemistry and Psychology
• [97]  Williams, A. (2019/9/17). How to cross-validate PCA, clustering, and matrix

略語リスト

・CP分解

CANDECOMP/PARAFAC分解

・ALS

Alternative Least Square

・CP-ALS

CANDECOMP/PARAFAC- Alternative Least Square

・SVD

Singular Value Decomposition

・HOSVD

Higher-Order Singular Value Decomposition

・HOOI

Higher-Order Orthogonal Iteration of Tensors

・NMF

Non-negative Matrix Factorization

・NTF

Non-negative Tensor Factorization

・NTD

Non-negative Tucker Decomposition

・ICA

Independent Component Analysis

・MCA

Multi-way Component Analysis

・EEG

Electroencephalogram

・SNP

Single Nucleotide Polymorphism

・QTL

Quantitative Trait Locus

・PLS-R

Partial Least Squares Regression

・PLS-DA

Partial Least Squares Discriminant Analysis

・LDA

Linear Discriminant analysis

・CMF

Collective Matrix Factorization

・CMTF

Coupled Matrix Tensor Factorization

・MFA

Multiple Factor Analysis

・PCA

Principal Component Analysis

・CIA

Co-inertia Analysis

・CCA

Canonical Correlation Analysis

・JointNMF

Joint Non-negative Matrix Factorization

・GroupICA

Group Independent Component Analysis

・GSVD

Generalized Singular Value Decomposition

・OSS

Open Source Software

・MNN

Mutual Nearest Neighbors

・DTW

Dynamic Time Warping

・CV

Cross Validation

・AIC

Akaike Information Criterion

・BIC

Bayesian Information Criterion

著者略歴

露崎 弘毅 2015年、東京理科大学生命創薬科学科博士後期課程終了。博士（薬科学）。同年より、理化学研究所情報基盤センターバイオインフォマティクス研究開発ユニット（現在の所属1）に在籍。現在、基礎科学特別研究員及びJSTさきがけ研究員を兼任。パッケージングに特化したハッカソンBio “Pack” athonを主催。 ホームページ：https://sites.google.com/view/kokitsuyuzaki