微调 微调步骤 在源数据集（例如ImageNet数据集）上预训练神经网络模型，即源模型。 创建一个新的神经网络模型，即目标模型。这将复制源模型上的所有模型设计及其参数（输出层除外）。我们假定这些模型参数包含从源数据集中学到的知识，这些知识也将适用于目标数据集。我们还假设源模型的输出层与源数据集的标签密切相关；因此不在目标模型中使用该层。 向目标模型添加输出层，其输出数是目标数据集中的类别数。然后随机初始化该层的模型参数。 在目标数据集（如椅子数据集）上训练目标模型。输出层将从头开始进行训练，而所有其他层的参数将根据源模型的参数进行微调。 ![...

图像增广 常用图像增广方法 d2l.set_figsize() img = d2l.Image.open('../img/cat1.jpg') d2l.plt.imshow(img); def apply(img, aug, num_rows=2, num_cols=4, scale=1.5): Y = [aug(img) for _ in range(num_rows * num_cols)] d2l.show_images(Y, num_rows, num_cols, scale=scale) 翻转和裁剪 ![]...

全卷积网络FCN FCN与CNN FCN:FCN是对图像进行像素级的分类（也就是每个像素点都进行分类），从而解决了语义级别的图像分割问题。将这3层表示为卷积层，卷积核的大小(通道数，宽，高)分别为（4096,1,1）、（4096,1,1）、（1000,1,1） CNN: 在最后的卷积层之后会连接上若干个全连接层，将卷积层产生的特征图（feature map）映射成为一个固定长度的特征向量。一般的CNN结构适用于图像级别的分类和回归任务，因为它们最后都期望得到输入图像的分类的概率 ...

区域卷积神经网络（R-CNN）系列 区域卷积神经网络（region-based CNN或regions with CNN features，R-CNN） R-CNN R-CNN首先从输入图像中选取若干（例如2000个）提议区域（如锚框也是一种选取方法），并标注它们的类别和边界框（如偏移量）。 然后，用卷积神经网络对每个提议区域进行前向传播以抽取其特征。 用每个提议区域的特征来预测类别和边界框。 R-CNN的主要性能瓶颈在于，对每个提议区域，卷积神...

锚框 以每个像素为中心，生成多个缩放比和宽高比（aspect ratio）不同的边界框。 这些边界框被称为锚框（anchor box） 生成多个锚框 指定输入图像、尺寸列表和宽高比列表，然后此函数将返回所有的锚框 #@save def multibox_prior(data, sizes, ratios): """生成以每个像素为中心具有不同形状的锚框""" ...

单发多框检测（SSD）与yolo 通过多尺度特征块，单发多框检测生成不同大小的锚框，并通过预测边界框的类别和偏移量来检测大小不同的目标 yolo 也是一个 single-stage 的算法，只有一个单神经网络来做预测 yolo 也需要锚框，这点和 SSD 相同，但是 SSD 是对每个像素点生成多个锚...

参数服务器-分布式计算 ![]...

多GPU训练 方法 第一种方法，在多个GPU之间拆分网络。 也就是说，每个GPU将流入特定层的数据作为输入，跨多个后续层对数据进行处理，然后将数据发送到下一个GPU。 与单个GPU所能处理的数据相比，我们可以用更大的网络处理数据。 此外，每个GPU占用的显存（memory footprint）可以得到很好的控制，虽然它只是整个网络显存的一小部分。 第二种方法，拆分层内的工作。 例如，将问题分散到4个GPU，每个GPU生成16个通道的数据，而不是在单个GPU上计算64个通道。 对于全连接的层，同样可以拆分输出单元的数量。 第三种方法，跨多个GPU对数据进行拆...

硬件、CPU、GPU 概念 一个处理器（也被称为CPU），它除了能够运行操作系统和许多其他功能之外，还能够执行我们给它的程序，通常由8个或更多个核心组成。 内存（随机访问存储，RAM）用于存储和检索计算结果，如权重向量和激活参数，以及训练数据。 一个或多个以太网连接，速度从1GB/s到100GB/s不等。在高端服务器上可能用到更高级的互连。 高速扩展总线（PCIe）用于系统连接一个或多个GPU。服务器最多有个加速卡，通常以更高级的拓扑方式连接，而桌面系统则有个或个加速卡，具体取决于用户的预算和电源负载的大小。 持久性存储设备，如磁盘驱动器、固...

语言模型和数据集 语言模型 用途： 预测文本出现的概率 生成文本 判断哪个序列更常见 小结 语言模型是自然语言处理的关键。 n元语法通过截断相关性，为处理长序列提供了一种实用的模型。 长序列存在一个问题：它们很少出现或者从不出现。 齐普夫定律支配...