李宏毅第二节
Lecture 2:What to do if my network fails to train PRE1 训练的三个过程 写出有未知数的function： \theta表示未知的参数 定义Loss：Loss的输入是一组参数，判断这组参数好不好 找\theta：使得Loss的值越小越好 优化训练 检查training data的loss，los...
比赛记录
摘要： 比赛记录总结：经过六次修改模型参数和结构，从初始分数0.60875提高到0.79425。关键修改包括调整d_model在224-512之间，使用Conformer模型结合Transformer和CNN，以及增加训练次数。最终改动包括ConformerBlock、self_Attentive_pooling和AMsoftmax。论文提到d_model不宜过高也不易过低。
比赛记录 初始分数 0.60875 Conformer d_model=80, n_spks=600, dropout=0.1 第一次修改 0.72950 更改模型参数 d_model=160, n_spks=600, dropout=0.1 使用TransformerEncoder层 self.encoder = nn.TransformerEncoder(self.encoder_layer, num_layers=2) 第二次修改 0.71850 ...
NLP自监督学习
NLP自监督学习 各种任务上都可以做 Self-supervised Learning “自监督学习”数据本身没有标签，所以属于无监督学习；但是训练过程中实际上“有标签”，标签是“自己生成的”。把训练数据分为“两部分”，一部分作为作为“输入数据、另一部分作为“标注”。 BERT 输入一排，输出一排，长度一致。输入换成语音也是一样的 BERT是一个transformer的Encod...
开始介绍-Machine Learning Spring 2022
MachineLearning 介绍 机器学习春季：https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php 学习计划 7月11日 Lecture 1:Introduction of Deep Learning 7月14日 Lecture 2:What to do if my network fails to train 7月17日 Lecture 3:Image as input 7月20日 Lecture 4:Sequence as input 7月23日 Lecture 5:Seque...
Sequence to sequence
Sequence to sequence Batch Normalization Transformer Transformer和Bert有很大联系 Sequence-to-sequence (Seq2seq) 不知道output的长度，需要机器自行决定，例如语音辨识输入语音信号，输出是语音辨识的结果 语音合成 语音辨识反过来就是语音合成 聊...
Python Class for RNN Encoder
class RNNEncoder(FairseqEncoder): def init(self, args, dictionary, embed_tokens): super().init(dictionary) self.embed_tokens = embed_tokens self.embed_dim = args.encoder_embed_dim self.hidden_dim = args.encoder_ffn_embed_dim self.num_layers = args.encoder_layers ...
Homework 6 - Generative Adversarial Network
作业六：Homework 6 - Generative Adversarial Network——使用GAN生成动漫人物脸 This is the sample code for hw6 of 2022 Machine Learning course in National Taiwan University. In this sample code, there are 5 sections: Environment setting Dataset preparation Model setting Train Inference Your...
Chinese Extractive Question Answering
HW7 抽取式问答 Task description Chinese Extractive Question Answering Input: Paragraph + Question Output: Answer Objective: Learn how to fine tune a pretrained model on downstream task using transformers了解如何使用转换器对下游任务的预训练模型进行微调 Todo *...
HW8
HW8 任务介绍 无监督异常检测：Anomaly Detection异常图片的识别，输入一张图片，判别这张图片时异常还是正常 baseline | 难易程度 | 精确度 | | -------- | -------------- | | simple | AUC >= 0.52970 | | medium | AUC >= 0.72895 | | strong | AUC >= 0.77196 | | boss | AUC >= 0.79...
Explainable AI
Explainable AI 白马做出算术题是因为它察觉到周围观众的情绪而做对，并不是因为真的会做数学题 Why we need Explainable ML? 法律要求贷款发行人解释他们的模型。 医疗诊断模式对人的生命负责。 它可以是一个黑匣子吗？ 如果在法庭上使用模型，我们必须确保模型以非歧视的方式行事 如果自动驾驶汽车突然出现异常，我们需要解释原因。 ![](htt...