一文读懂Bert预训练模型 BERT模型作为自然语言处理领域的重大突破,其核心优势在于创新性地采用了双向注意力机制和大规模无监督预训练方法。该模型通过深度双向上下文编码,有效捕捉了语言的复杂语义关系和长程依赖,显著提升了对语言理解的深度和广度。 2022-02-20 transformer #深度学习 #transformer #预训练模型
GPU版pytorch安装指南 1. 安装或更新NVIDA显卡驱动 官方驱动下载地址:https://www.nvidia.cn/Download/index.aspx?lang=cn img 2. 安装CUDA Toolkit + cudnn: 1)CUDA安装 在CUDA Toolkit 安装前用以下命令查询机器上显卡最高支持的CUDA 版本: 终端输入: 1nvidia-smi 下图中CUD 2022-02-04 深度学习 #笔记整理 #环境搭建 #pytorch
分类问题与回归问题的损失函数 分类问题损失函数 多分类交叉熵损失Softmax img 其中: 1.y 是样本 x 属于某一个类别的真实概率[用0,1表示] 2.而 f(x) 是样本属于某一类别的预测分数 3.S 是 softmax 激活函数,将属于某一类别的预测分数转换成概率 4.L 用来衡量真实值 y 和预测值 f(x) 之间差异性的损失结果 公式鼓励模型对正确类别给出高概率,对错误类别给出低 2022-01-11 深度学习 #深度学习 #机器学习 #损失函数
爬虫与反爬虫技术点梳理 1 爬虫与反爬攻防的12层境界 步骤 攻击者 防守者 说明 1. 初学者 不管三七二十一,直接用 requests 模块开始抓取,不作任何反爬措施。 发现同一 IP 和 UA 都是 Python 程序,开始限制访问。 初学者不了解反爬技术,直接用简单方法抓取。网站会检测到这种异常访问并限制。 2. 小白入门 学会设置 UA 模拟浏览器, 2022-01-01 数据获取 #数据工程 #爬虫 #数据挖掘
矩阵乘法、点乘、点积与bmm 在机器学习和深度学习中,向量和矩阵运算是核心的数学操作。PyTorch作为一个流行的深度学习框架,提供了高效的张量操作接口,包括点乘、点积和矩阵乘法。下面详细讲解这些概念及其在PyTorch中的实现和应用。 点乘 (Element-wise Product) 概念: - 点乘是指两个相同形状的向量或矩阵对应元素逐个相乘,得到一个相同形状的向量或矩阵。 - 也称为哈达玛积(Hadamard 2021-05-08 categories #笔记整理 #机器学习
Tensor基础3——张量的索引与变形 1. 张量的索引操作 在操作张量时,经常要去获取某些元素进行处理或者修改操作,在这里需要了解torch中的索引操作。 准备数据: 12345678import torch# 随机生成数据data = torch.randint(0, 10, [4, 5])print(data)>>> tensor([[0, 7, 6, 5, 9], [6, 8 2021-02-13 深度学习 #笔记整理 #张量
Tensor基础2——张量的计算 1. 张量的数值计算 1)张量基本运算 加减乘除取负号: add、sub、mul、div、neg add_(其中带下划线的版本会修改原数据) 123456789101112131415161718192021222324252627282930313233data = torch.randint(0, 10, [2, 3])print(data)>>> tens 2021-02-12 深度学习 #笔记整理 #张量
ROC曲线原理及绘制 ROC曲线(Receiver Operating Characteristic Curve)是一种用于评价二分类模型性能的图形工具。它展示了模型在不同阈值下的分类性能,通过绘制假阳性率(FPR)和真阳性率(TPR)之间的关系来表现。 2021-02-11 机器学习 #ROC曲线 #模型评估