由perceptron线性组成的一个神经网络：

   通过赋予g不同的权值，来实现不同的切分功能：

  

  但有的切分只通过一次特征转换是不够的，需要多次转换，如下：

 

 Neural Network Hypothesis：为了便于优化，将sign（离散）变成tanh，这个函数相当于regression的拉伸与平移：

 

 然后给了一个物理解释：衡量x与权值向量在模式上的的相似程度

 

那么怎么得到权值w呢：可以在最后的错误上对各个权值求偏微分，得到权值变化的方向：

 

 直接求微分不好求，可先求最后一个：

 

 给了一个算法：

 

 这样的类神经网络容易陷于局部最优，解决方法是使用随机的较小的权值

 

 这个模型的复杂度，要小心overfit

为了防止overfit，可以采用regularization，关于正则化项的选取：

还介绍了另外一种regularization的方法：

版权声明：本文为573177885qq原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/573177885qq/p/4702643.html