别着急，坐和放宽
优化算法 分别为（4096,1,1）、（4096,1,1）、（1000,1,1） CNN: 在最后的卷积层之后会连接上若干个全连接层，将卷积层产生的特征图（feature map）映射成为一个固定长度的特征向量。一般的CNN结构适用于图像级别的分类和回归任务，因为它们最后都期望得到输入图像的分类的概率 ...
图像增广 常用图像增广方法 d2l.set_figsize() img = d2l.Image.open('../img/cat1.jpg') d2l.plt.imshow(img); def apply(img, aug, num_rows=2, num_cols=4, scale=1.5): Y = [aug(img) for _ in range(num_rows * num_cols)] d2l.show_images(Y, num_rows, num_cols, scale=scale) 翻转和裁剪 ![]...
微调 微调步骤 在源数据集（例如ImageNet数据集）上预训练神经网络模型，即源模型。 创建一个新的神经网络模型，即目标模型。这将复制源模型上的所有模型设计及其参数（输出层除外）。我们假定这些模型参数包含从源数据集中学到的知识，这些知识也将适用于目标数据集。我们还假设源模型的输出层与源数据集的标签密切相关；因此不在目标模型中使用该层。 向目标模型添加输出层，其输出数是目标数据集中的类别数。然后随机初始化该层的模型参数。 在目标数据集（如椅子数据集）上训练目标模型。输出层将从头开始进行训练，而所有其他层的参数将根据源模型的参数进行微调。 ![...
样式迁移 什么是样式迁移 自动将一个图像中的风格应用在另一图像之上 一张是内容图像，另一张是风格图像，使用神经网络修改内容图像，使其在风格上接近风格图像 样式迁移方法 正向传播（实线箭头方向） 反向传播（虚线箭头方向） 第一层和第三层的输出被作为图像的样式特征 第二层输出图像的内容特征 ![](https://qiniu.kanes.top/blog/c1c3bb3...
语义分割和数据集 语义分割可以识别并理解图像中每一个像素的内容：其语义区域的标注和预测是像素级的 语义分割与目标检测 应用场景 ![](https://qiniu.kanes.top/blog...
转置卷积 在空间维度被卷积神经网络层缩小后，可以使用转置卷积用于逆转下采样导致的空间尺寸减小。 基本操作 填充、步幅和多通道 与矩阵变换的联系 小结 与通过卷积核减少输入元素的常规卷积相反，转置卷积通过卷积核广播输入元素，从而产生形状大于输入的输出。 !...
BERT来自Transformers的双向编码器表示 在预训练之后，输出可以被认为是一个矩阵，其中每一行都是一个表示预定义词表中词的向量。事实上，这些词嵌入模型都是与上下文无关的。 BERT 是“Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两个任务来预训练该模型。 第一个任务是采用 MaskLM 的方式来训练语言模型，通俗地说就是在输入一句话的时候，随机地选一些要预测的词，然后用一个特殊的符号[MASK]来代替它们，之后...
微调BERT 一方面，在提出时，BERT改进了各种自然语言处理任务的技术水平。 另一方面，原始BERT模型的两个版本分别带有1.1亿和3.4亿个参数。 因此，当有足够的计算资源时，我们可以考虑为下游自然语言处理应用微调BERT。 单文本分类 单文本分类将单个文本序列作为输入，并输出其分类结果。 语言可接受性语料库（Corpus of Linguistic Acceptability，COLA）也是一个单文本分类的数据集，它的要求判断给定的句子在语法上是否可以接受。例如，“I should study.”是可以接受的，但是“I should studying....