导语

AI网红Andrej Karpathy最新力作，倾囊相授神经网络的33条训练技巧，干货必看。

1) 天猫神经网络训练是一种“抽象泄漏”(leaky abstraction)

我总是建议先找到最相关的一些论文，先把其中最简单的架构原样照搬过来，以获得良好的性能。比如你做得是图像分类，不要想着当英雄，先把ResNet-50拿过来用。后面可以做一些更自定义设置和改进，并实现比它更好的性能。

优点

我们专注于前馈神经网络，因为它们是应用于计算机视觉的现代深度学习的基石。卷积神经网络只是前馈神经网络的一个特例。

DyNet,动态神经网络工具箱,离开了卡内基梅隆大学,过去被称为CNN。它引人注目的特点是动态计算图，它考虑了不同长度的贡献，这对NLP来说非常棒。PyTorch和Chainer也是如此。

一批预先训练好的模型可供使用。

 

参考论文：
https://arxiv.org/pdf/1801.06889.pdf

更多知识点请详见arXiv>>
https://arxiv.org/pdf/1801.06889.pdf

这取决于一个不是很突出的语言，Lua。

速度问题。

没有合适的代码，可以快速使用。

三位大神选择性地讨论了深度学习的一些最新进展，如软注意力（soft attention）和Transformer 架构。

模型有两个输入（input1 和 input2），我们可以线性地区分或门的两类情况：即同时为 0 时在左下角，其它情况在右上角；与门的情况也可以线性地区分，即输出同时为 1 时在右上角，其它情况在左下角。但异或门呢？这种情况是无法作出线性区分的，也就是说，单层感知器无法实现异或门。

 

神经元为什么精确度那么高？

 

通常来说，计算机通常看到的和处理的事物与人类有所不同，无论是图片、声音、文字，他们都只能以数字0或1出现在神经网络里。如果当你想问电脑“嘿，你看这张图片是不是只猫？”，其实它能看到的只是一堆数字。对这些数字加工处理，生成另外一堆数字。而生成出来的数字也有了认知上的意义，通过一点点的处理，我们就能得知计算机到底判断这张图片到底是猫，还是狗。

神经网络有个很关键的特征，它的学习过程是迭代的。也就是说，在学习期间，处理数据的过程会不断重复，而且为了准确预测输入值的分类，每次都会调整和输入数据有关的权重。

处处连续且可微。

（3）[…..]=zscore（X，1）

权重衰减。增加权重衰减惩罚。

% xzstd=std(xz,0,2) %求标准化后矩阵xz的各列的标准差

缺点

“博观而约取，厚积而薄发。”今天，我们看到了MATLAB/Simulink在人工智能的加持下迎来了又一个发展的春天，但这背后，却是MathWorks几十年如一日的专注和坚守，正是这种看上去欠缺灵活性的长期主义给予了MATLAB/Simulink新一轮科技革命带来的时代机遇。确幸的是，我们也看到了MathWorks志存高远，正在以科技赋能的方式帮助科学家和工程师“拯救地球”，而这正是一个科技企业走向“星辰大海”未来之选。

这里，min为变量 Xj 的观测值的最小值，max-min为变量 Xj 的观测值的极差。通过极差归一化变换后，矩阵

（4）[……]=zscore（X，flag，dim）

与其指定神经网络最后放大的特征，还不如让神经网络自己得出来。

图 12: 单个参数的损失函数示例

新结构并不特别。

原文链接：

图1 整体框架(完全在协同子空间中运行)

在CPU和GPU上运行完美无瑕。

 

我们的感知器将根据输出大于或小于 0 来对输入进行分类：

缺点

其中：

图3 前馈结构

一个简单的神经网络，它采用输入x和权重w的加权和。这个加权和然后通过激活函数来确定神经元是否激活。

而最受欢迎的神经网络算法，是反向传播算法。

在回归模型中，损失函数是平方误差函数（最小二乘法）：

设计构成

所以说，人的大脑才是最牛掰的神经网络。

相反，神经网络更常见的激活函数是 sigmoid 函数它遵循以下等式：

不要过于相信默认的学习率衰减。如果是重用来自其他领域的代码，那么在处理学习速度衰减时一定要非常小心。您不仅希望针对不同的问题使用不同的衰减计划，而且 – 更糟糕的是 – 在典型的实施中，计划将基于当前的epoch数，该值会根据数据集的大小而广泛变化。

 

听完三位的探讨，大家是不是觉得在AI之路上，光明无限呢？

与门AND、或门OR

• f ( w 1 x 1 + w 2 x 2 + … + w n x n )

大量的主要算法的可访问性。

如此复杂的函数如何构造呢？我们可以从简单的函数开始，最简单且最成功的的例子就是数字电路。

雷锋网

循环神经网络可以生成序列。每次处理单组的真实数据序列之后，就预测接下来会发生什么。那这种模型是怎么一步一步搭起来的呢？

神经网络已经成功解决了多个金融类的问题，比如衍生类的保值型理财产品，未来价值的预测，外汇汇率的预测，以及股票市场的表现。以前，是数据技术驱动着软件的发展；现在，神经网络驱动着大家做出更优的理财选择。

xzstd =

但预测分析也正在许多其他领域感受到它的存在。例如，在医疗保健领域，人工智能增强软件通过建议药物和治疗方法来指导医生和其他从业人员获得相关结果。在制造业中，机器视觉可帮助制造商检测人眼无法察觉的错误和缺陷。在车队管理和物流中，软件决定路线以及如何优化设备和燃料——实时适应天气或交通。在网络安全中，神经网络越来越多地用于检测网络上的恶意软件和其他可疑行为。

虽然神经网络松散地反映了人类大脑的工作方式，但随着时间的推移，它们变得更加专业化。今天，存在四种主要类型的人工神经网络。根据预期目的和实际用例，每个都有优点和缺点。这些包括：