Chinese Extractive Question Answering
HW7 抽取式问答 Task description Chinese Extractive Question Answering Input: Paragraph + Question Output: Answer Objective: Learn how to fine tune a pretrained model on downstream task using transformers了解如何使用转换器对下游任务的预训练模型进行微调 Todo *...
Homework 6 - Generative Adversarial Network
作业六：Homework 6 - Generative Adversarial Network——使用GAN生成动漫人物脸 This is the sample code for hw6 of 2022 Machine Learning course in National Taiwan University. In this sample code, there are 5 sections: Environment setting Dataset preparation Model setting Train Inference Your...
Python Class for RNN Encoder
class RNNEncoder(FairseqEncoder): def init(self, args, dictionary, embed_tokens): super().init(dictionary) self.embed_tokens = embed_tokens self.embed_dim = args.encoder_embed_dim self.hidden_dim = args.encoder_ffn_embed_dim self.num_layers = args.encoder_layers ...
Sequence to sequence
Sequence to sequence Batch Normalization Transformer Transformer和Bert有很大联系 Sequence-to-sequence (Seq2seq) 不知道output的长度，需要机器自行决定，例如语音辨识输入语音信号，输出是语音辨识的结果 语音合成 语音辨识反过来就是语音合成 聊...
HW8
HW8 任务介绍 无监督异常检测：Anomaly Detection异常图片的识别，输入一张图片，判别这张图片时异常还是正常 baseline | 难易程度 | 精确度 | | -------- | -------------- | | simple | AUC >= 0.52970 | | medium | AUC >= 0.72895 | | strong | AUC >= 0.77196 | | boss | AUC >= 0.79...
开始介绍-Machine Learning Spring 2022
MachineLearning 介绍 机器学习春季：https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php 学习计划 7月11日 Lecture 1:Introduction of Deep Learning 7月14日 Lecture 2:What to do if my network fails to train 7月17日 Lecture 3:Image as input 7月20日 Lecture 4:Sequence as input 7月23日 Lecture 5:Seque...
NLP自监督学习
NLP自监督学习 各种任务上都可以做 Self-supervised Learning “自监督学习”数据本身没有标签，所以属于无监督学习；但是训练过程中实际上“有标签”，标签是“自己生成的”。把训练数据分为“两部分”，一部分作为作为“输入数据、另一部分作为“标注”。 BERT 输入一排，输出一排，长度一致。输入换成语音也是一样的 BERT是一个transformer的Encod...
比赛记录
摘要： 比赛记录总结：经过六次修改模型参数和结构，从初始分数0.60875提高到0.79425。关键修改包括调整d_model在224-512之间，使用Conformer模型结合Transformer和CNN，以及增加训练次数。最终改动包括ConformerBlock、self_Attentive_pooling和AMsoftmax。论文提到d_model不宜过高也不易过低。
比赛记录 初始分数 0.60875 Conformer d_model=80, n_spks=600, dropout=0.1 第一次修改 0.72950 更改模型参数 d_model=160, n_spks=600, dropout=0.1 使用TransformerEncoder层 self.encoder = nn.TransformerEncoder(self.encoder_layer, num_layers=2) 第二次修改 0.71850 ...
李宏毅第二节
Lecture 2:What to do if my network fails to train PRE1 训练的三个过程 写出有未知数的function： \theta表示未知的参数 定义Loss：Loss的输入是一组参数，判断这组参数好不好 找\theta：使得Loss的值越小越好 优化训练 检查training data的loss，los...
机器学习-深度学习介绍
机器学习-深度学习介绍 机器学习基本概念 机器学习目标： 寻找一个函数function，这个函数往往是人类计算起来很复杂的 输入： 向量、矩阵、序列 输出： 数值、类别、文档 任务： Regression（回归）：函数输出一个标量 Clssification（分类）：给一些类别，函数输出正确的类别 。阿尔法狗可以看作19×19类别的分类 ...