batchnormalization算法原理

输入：批次大小为m的B：B={x_1,x_2,x_3,…,x_m};可训练的参数：γ，β
输出：{y_i=BN_{γ,β}(x_i)}

过程：
求B的平均值： μ_B=1/m\sum_{i=1}^mx_i
求B的方差：σ^2_B=1/m\sum_{i=1}^m(x_i-μ_B)^2
规范化：\widehat{x_i}={x_i-μ_B}/\sqrt{σ^2_B+ε}
学习更好地批规范化：y_i=γ\widehat{x_i}+β≡BN_{γ,β}(x_i)

参考链接：什么是批标准化 (Batch Normalization)

创建于2023.3.9/22.10，修改于2023.3.9/22.10