One cycle学习率策略 Batch size num workers & pin memory 自动混合精度训练 torch.backends.cudnn.benchmark torch.nn.parallel.DistributedDataParallel 梯度累加 梯度裁剪 BN前卷积层中的bias 陋习改正 在使用 PyTorch 进行深度

生成模型和判别模型是机器学习和统计建模中两种主要的模型类型，它们在目标、方法和应用上有显著的区别。以下是生成模型和判别模型的详细比较： 生成模型（Generative Model） 目标 生成模型的主要目标是建模数据的生成过程，即学习数据的联合分布 ( P(X, Y) )，其中 ( X ) 是输入数据，( Y ) 是标签或输出。 方法 联合概率分布：生成模型试图学习输入数据和输出标

使用jieba分词，wordcoloud词云可视化

BERT和T5怎么了？关于Transformer编码器、PrefixLM和去噪目标 那些在五年前就从事自然语言处理的人们，现在都在困惑：所有的编码器模型（encoder models）去哪了？如果BERT表现得如此出色，为什么不进行扩展？编码器-解码器模型（ encoder-decoders）或仅编码器模型（encoder-only models）到底发生了什么？ 今天，我试图解开这一切

一、什么是激活函数？ 在接触到深度学习（Deep Learning）后，特别是神经网络中，我们会发现在每一层的神经网络输出后都会使用一个函数（比如sigmoid，tanh，Relu等等）对结果进行运算，这个函数就是激活函数（Activation Function）。那么为什么需要添加激活函数呢？如果不添加又会产生什么问题呢？

基于上篇文章的简单入门，这里重点梳理了一下神经网络的核心知识点，并以图片的方式呈现（点击放大哦~）： 神经网络核心知识点梳理 1.网络结构 1.1 输入层 1x2矩阵的输入数据X1和X2 Bias(偏置)项作为额外输入,增强模型表达能力 1.2 隐藏层 6维度的神经元结构 每个神经元包含加权求和(Σ)和激活函数(f) 常用激活函数: Sigmoid:

深度学习框架中，动态图（Dynamic Computation Graph）和静态图（Static Computation Graph）是两种构建和执行计算图的方式。他们一个面向开发,一个面向部署,各有优势。

TensorFlow和PyTorch是两种流行的深度学习框架，它们各自具有独特的优缺点和优势领域。以下是对它们的比较：

文本关系抽取的研究工作本身可以划分为很多类别，根据抽取的文本范围以划分为句子级关系抽取、文档级关系抽取和语料级关系抽取；数据集中样本的多少可以划分为正常关系抽取、少样本关系抽取和零样本关系抽取；根据是否定义关系类别和抽取领域可以划分为限定域关系抽取和开放域关系抽取；本文中的关系抽取方法内容仅关注限定域关系抽取中的句子级关系抽取。 本文关注的工作主要是关系三元组抽取（Relational Trip

仿照生物的稀疏神经网络, 将大型网络中的稠密连接变成稀疏的连接, 并同样达到SOTA的效果, 就是模型剪枝的原动力.