ベルマン方程式、状態価値関数、
行動価値関数のサイトから
抜粋したものです。
サイトアドレスを記載しているので
オリジナルに当たってみてください。