别着急，坐和放宽
NLP自监督学习 各种任务上都可以做 Self-supervised Learning “自监督学习”数据本身没有标签，所以属于无监督学习；但是训练过程中实际上“有标签”，标签是“自己生成的”。把训练数据分为“两部分”，一部分作为作为“输入数据、另一部分作为“标注”。 BERT 输入一排，输出一排，长度一致。输入换成语音也是一样的 BERT是一个transformer的Encod...
作业六：Homework 6 - Generative Adversarial Network——使用GAN生成动漫人物脸 This is the sample code for hw6 of 2022 Machine Learning course in National Taiwan University. In this sample code, there are 5 sections: Environment setting Dataset preparation Model setting Train Inference Your...
摘要： 比赛记录总结：经过六次修改模型参数和结构，从初始分数0.60875提高到0.79425。关键修改包括调整d_model在224-512之间，使用Conformer模型结合Transformer和CNN，以及增加训练次数。最终改动包括ConformerBlock、self_Attentive_pooling和AMsoftmax。论文提到d_model不宜过高也不易过低。
比赛记录 初始分数 0.60875 Conformer d_model=80, n_spks=600, dropout=0.1 第一次修改 0.72950 更改模型参数 d_model=160, n_spks=600, dropout=0.1 使用TransformerEncoder层 self.encoder = nn.TransformerEncoder(self.encoder_layer, num_layers=2) 第二次修改 0.71850 ...
Lecture 2:What to do if my network fails to train PRE1 训练的三个过程 写出有未知数的function： \theta表示未知的参数 定义Loss：Loss的输入是一组参数，判断这组参数好不好 找\theta：使得Loss的值越小越好 优化训练 检查training data的loss，los...
机器学习-深度学习介绍 机器学习基本概念 机器学习目标： 寻找一个函数function，这个函数往往是人类计算起来很复杂的 输入： 向量、矩阵、序列 输出： 数值、类别、文档 任务： Regression（回归）：函数输出一个标量 Clssification（分类）：给一些类别，函数输出正确的类别 。阿尔法狗可以看作19×19类别的分类 ...
层和块 块 块（block）：描述单个层、由多个层组成的组件或整个模型本身。使用块进行抽象的一个好处是可以将一些块组合成更大的组件， 这一过程通常是递归的。 通过定义代码来按需生成任意复杂度的块， 我们可以通过简洁的代码实现复杂的神经网络。 代码实现： 从编程的角度来看，块由类（class）表示。 它的任何子类都必须定义一个将其输入转换为输出的前向传播函数，并且必须存储任何必需的参数（有些块不需要任何参数）。 下面的代码生成一个网络，其中包含一个具有256个单元和ReLU激活函数的全连接隐藏层， 然后是一个具有10个隐藏单元且不带激活函数的全连接输出层...
网络中的网络（NiN） LeNet、AlexNet和VGG共同的设计模式：过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。AlexNet和VGG对LeNet的改进主要在于如何扩大和加深这两个模块 网络中的网络（NiN）提供了一个非常简单的解决方案：在每个像素的通道上分别使用多层感知机 卷积层的输入和输出由四维张量组成，张量的每个轴分别对应样本、通道、高度和宽度 全连接层的输入和输出通常是分别对应于样本和特征的二维张量 NiN块 在每个像素位置（针对每个高度和宽度）应用一个全连接...
自定义层、读写文件、GPU 自定义曾 深度学习成功背后的一个因素是神经网络的灵活性： 我们可以用创造性的方式组合不同的层，从而设计出适用于各种任务的架构。 例如，研究人员发明了专门用于处理图像、文本、序列数据和执行动态规划的层。 未来，你会遇到或要自己发明一个现在在深度学习框架中还不存在的层。 不带参数的层 CenteredLayer类要从其输入中减去均值。 要构建它，我们只需继承基础层类并实现前向传播功能。 import torch import torch.nn.functional as F from torch imp...
图像卷积 互相关运算 严格来说，卷积层是个错误的叫法，因为它所表达的运算其实是互相关运算（cross-correlation），而不是卷积运算。在卷积层中，输入张量和核张量通过互相关运算产生输出张量。 import torch from torch import nn from d2l import torch as d2l def corr2d(X, K): #@...
从全连接层到卷积 多层感知机适合处理表格数据，其中行对应样本，列对应特征。对于表格数据，我们寻找的模式可能涉及特征之间的交互，但是不能预先假设任何与特征交互相关的先验结构。 积神经网络（convolutional neural networks，CNN）是机器学习利用自然图像中一些已知结构的创造性方法。 不变性 平移不变性（translation invariance）：不管检测对象出现在图像中的哪个位置，神经网络的前面几层应该对相同的图像区域具有相似的反应，即为“平移不变性”。 局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在...