joyvan
6 years ago
| 223 | 223 | " </tr>\n", |
| 224 | 224 | "</tbody>\n", |
| 225 | 225 | "</table>" |
| 226 | ] | |
| 227 | }, | |
| 228 | { | |
| 229 | "cell_type": "markdown", | |
| 230 | "metadata": {}, | |
| 231 | "source": [ | |
| 232 | "### 扩展内容\n", | |
| 233 | "\n", | |
| 234 | "**梯度下降法**\n", | |
| 235 | "\n", | |
| 236 | "\n", | |
| 237 | "\n", | |
| 238 | "梯度下降是一个用来求函数最小值的算法。\n", | |
| 239 | "\n", | |
| 240 | "我们把上面的残差改一个名字，叫做代价函数。\n", | |
| 241 | "\n", | |
| 242 | "梯度下降背后的思想是：开始时我们随机选择一个参数的组合$(\\theta_{0},\\theta_{1},......,\\theta_{n})$ ，计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到抵达一个局部最小值，因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小值是否便是全局最小值，选择不同的初始参数组合，可能会找到不同的局部最小值。 \n", | |
| 243 | " \n", | |
| 244 | " <img src='https://i.loli.net/2018/11/30/5c00c262c5885.png' width=350 >\n", | |
| 245 | "\n", | |
| 246 | "想象一下你正站立在山的这一点上，站立在你想象的公园这座红色山上，在梯度下降算法中，我们要做的就是旋转 360 度，看看我们的周围，并问自己要在某个方向上，用小碎步尽快下山。这些小碎步需要朝什么方向？如果我们站在山坡上的这一点，你看一下周围，你会发现最佳的下山方向，你再看看周围，然后再一次想想，我应该从什么方向迈着小碎步下山？然后你按照自己的判断又迈出一步，重复上面的步骤，从这个新的点，你环顾四周，并决定从什么方向将会最快下山，然后又迈进了一小步，并依此类推，直到你接近局部最低点的位置。\n" | |
| 247 | ] | |
| 248 | }, | |
| 249 | { | |
| 250 | "cell_type": "markdown", | |
| 251 | "metadata": {}, | |
| 252 | "source": [ | |
| 253 | "<img src='https://i.loli.net/2018/11/30/5c00c5fe7ce53.png' width=350 >\n", | |
| 254 | " \n", | |
| 255 | "其中 α 是学习率，它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大。 " | |
| 226 | 256 | ] |
| 227 | 257 | }, |
| 228 | 258 | { |