問題設定 情報を"0"と"1"の二つの記号を用いて伝達するときの最適なエンコード方法について考察する。 そしてその方法とは、シグナルの発生確率に反比例した語長（具体的には）のコードワードを割り当てることであることをこれから説明する。 最後に情報量と…

イェンセンの不等式 ここでを満たし、は凸関数であるとする。 イェンセンの不等式と期待値 凸関数に対して上が成立する。 であり、であるから、に注目するとイェンセンの不等式が適用できて、である。 上に凸な関数についての補足 が凸関数のとき（下に凸な…

拡張子.h5のファイルはh5pyをインストールして操作することができる github.com

tf.kerasのSequentialモデルAPIにおいてverbose=1とするとログを吐いてくれえるが、verbose=0として消しても問題ない

情報量 確率で起こる事象の情報量はで表現される。(底は2) 情報量 情報量は「ある事象が起こった」という情報のインパクトを定量的に表す。 の形は事象が起きる確率が高ければ小さく、低ければ非常に大きくなるように設計されている。起こる確率0の事象が起…

カーネルの設定は特に指定しなけてば自動でtf.Kerasがしてくれる。ユーザーがカーネルをカスタマイズすることも可能 ストライドは次元それぞれに対してセッティングすることができる Conv2D(64,(5,5),の意味:5*5のカーネルを64枚使う(フィルター数64) 参考 q…

Pythonのスライス +---+---+---+---+---+---+ | P | y | t | h | o | n | +---+---+---+---+---+---+ 0 1 2 3 4 5 6 -6 -5 -4 -3 -2 -1 インデックスは上のように表現される numpy arrayを切り取る from keras.datasets import mnist import numpy as np (X_…

データのロード部分の実装を読む 次元をひとつ追加している (60000, 28, 28)->(60000, 28, 28,1) (X_train, y_train), (_, _) = mnist.load_data() X_train = (X_train.astype(np.float32) - 127.5)/127.5 X_train = X_train.reshape(X_train.shape[0], X_tr…

Input layerについて このKerasテンソルはTensorFlowのシンボリックテンソルオブジェクトで、モデルの入力と出力を知るだけでKerasモデルを構築できるように、Input属性を付与する。 例えば、a, b, cがKerasテンソルの場合、次のようになる： model = Model(…