置顶
你好，泰拉大陆！——本站正式开张
博客正式开张：一篇文章验证打字机、提示块、公式、图表与剧透块的完整 Markdown 管线。
#公告#日常
Kept you waiting, hun?
9.1 序列模型
让我们先来看看这些场景：
#深度学习#PyTorch#动手学深度学习#循环神经网络
12.5-12.6 多 GPU 训练
假设一台机器有 $k$ 个GPU。 给定需要训练的模型，虽然每个GPU上的参数值都是相同且同步的，但是每个GPU都将独立地维护一组完整的模型参数。
#深度学习#PyTorch#动手学深度学习#多GPU
7.7 稠密连接网络（DenseNet）
DenseNet 使用了一种极简的连接模式：为了确保网络中最大程度的信息流动，将所有层（以匹配的特征图大小）直接连接起来。
#深度学习#PyTorch#动手学深度学习#卷积神经网络
7.6 残差网络（ResNet）
随着网络层数加深，一个关键问题浮现：新添加的层到底能不能提升网络性能？
#深度学习#PyTorch#动手学深度学习#卷积神经网络
7.5 批量归一化
批量归一化（Batch Normalization） 的首次提出，是为了减少内部协变量偏移（Internal Covariate Shift）。
#深度学习#PyTorch#动手学深度学习#卷积神经网络
7.4 含并行连结的网络（GoogLeNet）
在GoogLeNet中，基本的卷积块被称为Inception块（Inception block）。这很可能得名于电影《盗梦空间》（Inception），因为电影中的一句话“我们需要走得更深”（“We need to go deeper”）。
#深度学习#PyTorch#动手学深度学习#卷积神经网络
7.2 使用块的网络（VGG）
AlexNet比LeNet更深更大，获得了更大的精度，那我们能不能更深更大？这是一种自然而然的想法。
#深度学习#PyTorch#动手学深度学习#卷积神经网络
7.3 网络中的网络（NiN）
LeNet、AlexNet和VGG都有一个共同的设计模式：通过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。其中，AlexNet和VGG对LeNet做出了朴素的改进，即做得 “更深更大”。然而，如果使用了全连接层，会带来一些问题：
#深度学习#PyTorch#动手学深度学习#卷积神经网络
7.1 AlexNet
2012年，AlexNet横空出世。它首次证明了学习到的特征可以超越手工设计的特征。它一举打破了计算机视觉研究的现状。 AlexNet使用了8层卷积神经网络，并以很大的优势赢得了2012年ImageNet图像识别挑战赛。
#深度学习#PyTorch#动手学深度学习#卷积神经网络