感知机 单层感知机 什么是感知机 感知机为二分类,非黑即白 softmax多分类,输出可能为某类别的概率 感知机训练算法 这里的判断负负得正、正正得正。得正说明训练正常。同时也引出了异或的问题 收敛定理 异或问题 ,在深度学习框架中被广泛应用。张量支持GPU加速计算和自动微分,相较于NumPy的ndarray更适合深度学习任务。数据操作包括创造张量、运算符、张量连结与比较、广播机制与切片索引以及节省内存与转换对象。数据预处理包括读取数据集、处理缺失值(使用fillna()填充缺失值和利用get_dummies函数处理离散值)以及转换为张量格式。
数据操作及数据预处理 定义 n维数组,也称为张量(tensor)。张量类(在MXNet中为ndarray,在PyTorch和TensorFlow中为Tensor) 都与Numpy的ndarray类似。但深度学习框架⼜⽐Numpy的ndarray多⼀些重要功能:⾸先,GPU很好地⽀持加速计算,⽽NumPy仅⽀持CPU计算;其次,张量类⽀持⾃动微分。这些功能使得张量类更适合深度学习。 数据操作 创造张量 x = torch.arange(12) print(x) print(x.shape) print(x.numel()) ...
线性代数、微积分、概率 线性代数 标量 标量变量由普通⼩写字⺟表⽰(例如,x、y和z) 定义两个标量与标量的运算 向量 将向量视为标量值组成的列表。标量的值称为向量的元素(element)或分量(component)。 例如: x = torch.arange(4) ⻓度、维度和形状 向量只是⼀个数字数组,就像每个数组都有⼀个⻓度⼀样,每个向量也是如此。向量的⻓度通常称为向量维度(dimension)。 len(x)输出向量长度,`x.s...
线性回归 难点、疑点 梯度下降 线性回归的代码实现 定义 回归(regression)是能为一个或多个自变量与因变量之间关系建模的一类方法。在自然科学和社会科学领域,回归经常用来表示输入和输出之间的关系。 y = w1x1 + w2x2 + w3x3 + b 损失评估 梯度下降 ,并且其设计了两个任务来预训练该模型。 第一个任务是采用 MaskLM 的方式来训练语言模型,通俗地说就是在输入一句话的时候,随机地选一些要预测的词,然后用一个特殊的符号[MASK]来代替它们,之后...
微调BERT 一方面,在提出时,BERT改进了各种自然语言处理任务的技术水平。 另一方面,原始BERT模型的两个版本分别带有1.1亿和3.4亿个参数。 因此,当有足够的计算资源时,我们可以考虑为下游自然语言处理应用微调BERT。 单文本分类 单文本分类将单个文本序列作为输入,并输出其分类结果。 语言可接受性语料库(Corpus of Linguistic Acceptability,COLA)也是一个单文本分类的数据集,它的要求判断给定的句子在语法上是否可以接受。例如,“I should study.”是可以接受的,但是“I should studying....