状態空間モデルの隠れ変数が連続的なモデルである線形動的システム(linear dynamical system, LDS)について紹介します。状態遷移確率、出力確率が条件付き線形ガウス分布で書けるという仮定が必要です。 具体的には以下の形でかけます。 ここで、は観測変数…

今回は隠れマルコフモデル(Hidden Markov Model, HMM)についてです。 ここではEMアルゴリズムによるパラメーターの最適化について取り上げます。 EMについてはGMMとEMアルゴリズム - 情報学関連の備忘録を参照。 概要 1. パラメーターの最適化 フォーワード…

GMM導入 - 情報関連の備忘録 と GMMとEMアルゴリズム - 情報関連の備忘録 から引き続きの話題です。 EMアルゴリズムで推定した時のモデル化では、混合されているガウス分布の個数を固定して推定をしました。 しかし、実際には事前に個数が予測できないことの…

前回GMM(Gaussian Mixture Model)の形について取り上げましたが(GMM導入 - 情報関連の備忘録)、今回はパラメーターの推定方法について取り上げます。 EMアルゴリズムを用いてパラメーターの最適化を行います。 EM algorithm EM algorithm for GMM E step of …

混合ガウス分布(Gaussian Mixture Model, GMM)は文字通り複数のガウス分布で構成されているモデルです。 具体的には以下のような２次元のデータを考えてみれば良いです。 これを３つのガウス分布からできると考えてモデル化すればGMMです。 このモデルの目標…