Tensorflow2（２）微分計算で立ち止まるわたくし

Tensor計算してますか？ 添え字が多いのでわたしには出来ません．

いつものように入門書「TensorFlow2プログラミング実装ハンドブック」の通りに動かしています．PythonとJupyter NBの使い方をあまり判っていません．

まだ３章「勾配降下法」のところです．TensorFlowオブジェクトが判らんちんです．

勾配降下法について少し説明します．

excelグラフの「XY散布図」に近似関数を表示させる機能があるでしょう．あれをやる計算方法の一つが勾配降下法です．（他のやり方もあるのでexcelが勾配降下法を活用しているとは思ってません）

「近似関数を作る」とは「近似関数の誤差を小さくする」事で達成されます．

それには誤差を計算せないけません．誤差は２乗誤差を採用します．他の誤差を使っても勾配降下法は動くでしょうけど、２乗誤差は分散や標準偏差に則った数式になるのと、２乗を微分するのはさほど苦労しないからだろうねぇ．

２乗誤差とはこういう物です．

散布図のXYペアはたくさんあります．それらを(Xi,Yi)とします．

ここでは近似関数を最も簡単な Y = a X + b  とします．直線近似ですね．

aとbを最適化するのが勾配降下法の仕事です．

すると誤差は、ei = Yi - ( a Xi + b) と定義されます．近似バッチリならei=0になる．

２乗誤差は ei を２乗したものです．

ただし、XYペアはたくさんあるので個々の２乗誤差eiを全て足したものを「２乗誤差」として採用します．

（式１）

次に「aを最適化する」とは「２乗誤差が小さくなるようにaを修正する事」ですから、

  （式２a）

このようにaを修正すればOKです．0.01は少しづつ修正する意味があり、このa修正式を100回ぐらい繰り返せば最適なaになるだろうとの目論見です．

bの修正式も同様です．

  （式２b）

修正後のaとbを使って求め直したEは次第にゼロに近づいてゆくはずです．実際にはE=0にはならなくて、減少ペースがサチったところで計算を打ち切ります．

a修正式とb修正式に登場する偏微分はやってみれば案外簡単に（高校数学で）解けます．具体的な修正式はこうなります．この式を見ると、for-next文で書きやすい形式だと判るでしょう．またhard logicに実装するのも楽な形式です．

 （式３）

以上が勾配降下法のアバウトな考え方です．

書籍ではこの修正式を動かすsample programがTensorFlowオブジェクトを活用して書かれています．なのですがブラックボックス的でかな～りイミフです．

１）近似関数y=ax+bのサブルーチン

def model(x):

    y = a*x + b

    return y

２）２乗誤差関数のサブルーチン．式１を記述している

def loss(y_pred, y_true):

    return tf.math.reduce_mean(tf.math.square(y_pred - y_true))

３）近似値配列を生成

    y_pred = model(train_x_std) 

４）２乗誤差配列を生成

    tmp_loss = loss(y_pred, train_y_std)

５）偏微分、さっぱり判らないのがここ．

    gradients = tape.gradient(tmp_loss, [a, b])

gradientへ渡しているのは２乗誤差配列と微分変数のaとbのみ．式３を計算するのに材料が不足しているのは何故ですか？

６）aとbの修正．learning_rate は上で述べた0.01のこと．

    a.assign_sub(learning_rate * gradients[0])

    b.assign_sub(learning_rate * gradients[1])

いったい何をやってるんだろうねぇ？

TensorFlowオブジェクトのソースを読む気はありません．

想像するに、式３の処理をやってるのでは無いんじゃないかね？

式２の処理を数値演算的にやってるのではないかな？

  （式２a）

  （式２b）

すなわち、TensorFlowオブジェクトにはloop各回のE,a,b,x,yのすべてがwork areaに記録されていると仮定する．そして微分の代わりに差分で計算しているんじゃないだろうか？ この式のように．

  （式２’）

LSIにhard logicで実装するのならこのようなメモリを喰う実装はしないものですが、リソースリッチなPCならこういう実装もありなのでしょう．汎用性が高まって便利だし．

↓sample programをいじって２次関数近似にしてみました．なんかいい感じ～

小さなことをコツコツと．

かしこ