機械学習、深層学習に必要な数学についてざっくりしたまとめ
深層学習に必要な数学
深層学習、機械学習に必要な数学についてまとめます。 参考書籍は下に貼り付けておきます。
- ジャンル: 本・雑誌・コミック > PC・システム開発 > その他
- ショップ: 楽天Kobo電子書籍ストア
- 価格: 4,968円
目次
微積分
参考書籍では微積分については各自で習熟しているものとされています。 微積分について必要な知識は
ベクトルと行列の微分については知識がなかったため、下記のサイトを参考にしました。 基本公式を押さえておけば式変形にはついていけます。
線形代数
スカラー、ベクトル、行列、テンソル
線型従属と張る空間
ノルム
Lpノルムの定義
最大値ノルム
フロベニウスノルム(行列のノルム)
固有値分解
固有値分解
]
実対称行列の固有値分解
固有値
- 全ての なら正定値
- 全ての なら半正定値
- 全ての なら負定値
- 全ての なら半負定値
特異値分解(Singular Value Decomposition, SVD)
SVDの最も有用な特徴は逆行列法を非正方行列に部分的に一般化できること
ムーア・ペンローズ擬似逆行列
- m < n なら は全ての解で最小の
- m > n なら解が存在しない可能性、 が最小
トレース演算子
確率
確率変数、確率分布
観測される定義域の値を確率変数、確率変数が従う分布を確率分布
- 離散変数の場合、確率質量関数
- 連続変数の場合、確率密度関数
周辺確率分布
条件付き確率
条件付き確率の連鎖律
条件付き確率の定義を用いれば、同時確率が条件付き確率の積で表せる
独立と条件付き独立
条件付き確率分布が独立であることを条件付き独立分布という
期待値、分散、共分散
]
一般的な確率分布
一般的な関数の有用な性質
- ロジスティックシグモイド関数
- ソフトマックス関数
ベイズ則
連続変数の保証
- 測度論と呼ばれる理論に裏付けされる
- 測度零やほとんど至るところで(almost everywhere)の概念
情報理論
自己情報量
底が なら 、底が なら
シャノンエントロピー
カルバックライブラーダイバージェンス
と の並びによって意味合いが異なる