爬虫与反爬虫技术点梳理 1 爬虫与反爬攻防的12层境界 步骤 攻击者 防守者 说明 1. 初学者 不管三七二十一,直接用 requests 模块开始抓取,不作任何反爬措施。 发现同一 IP 和 UA 都是 Python 程序,开始限制访问。 初学者不了解反爬技术,直接用简单方法抓取。网站会检测到这种异常访问并限制。 2. 小白入门 学会设置 UA 模拟浏览器, 2022-01-01 数据获取 #数据工程 #爬虫 #数据挖掘
矩阵乘法、点乘、点积与bmm 在机器学习和深度学习中,向量和矩阵运算是核心的数学操作。PyTorch作为一个流行的深度学习框架,提供了高效的张量操作接口,包括点乘、点积和矩阵乘法。下面详细讲解这些概念及其在PyTorch中的实现和应用。 点乘 (Element-wise Product) 概念: - 点乘是指两个相同形状的向量或矩阵对应元素逐个相乘,得到一个相同形状的向量或矩阵。 - 也称为哈达玛积(Hadamard 2021-05-08 categories #机器学习 #笔记整理
Tensor基础3——张量的索引与变形 1. 张量的索引操作 在操作张量时,经常要去获取某些元素进行处理或者修改操作,在这里需要了解torch中的索引操作。 准备数据: 12345678import torch# 随机生成数据data = torch.randint(0, 10, [4, 5])print(data)>>> tensor([[0, 7, 6, 5, 9], [6, 8 2021-02-13 深度学习 #笔记整理 #张量
Tensor基础2——张量的计算 1. 张量的数值计算 1)张量基本运算 加减乘除取负号: add、sub、mul、div、neg add_(其中带下划线的版本会修改原数据) 123456789101112131415161718192021222324252627282930313233data = torch.randint(0, 10, [2, 3])print(data)>>> tens 2021-02-12 深度学习 #笔记整理 #张量
ROC曲线原理及绘制 ROC曲线(Receiver Operating Characteristic Curve)是一种用于评价二分类模型性能的图形工具。它展示了模型在不同阈值下的分类性能,通过绘制假阳性率(FPR)和真阳性率(TPR)之间的关系来表现。 2021-02-11 机器学习 #ROC曲线 #模型评估
Tensor基础1——张量的创建与转换 1. 张量的创建 1)张量的基本创建方式 torch.tensor 根据指定数据创建张量 torch.Tensor 根据形状创建张量, 其也可用来创建指定数据的张量 torch.IntTensor、torch.FloatTensor、torch.DoubleTensor 创建指定类型的张量 1、torch.tensor() 根据指定数据创建张量 123456789101112 2021-02-11 深度学习 #笔记整理 #张量
CatBoost简明教程 一 CatBoost简介 CatBoost和XGBoost、LightGBM并称为GBDT的三大主流神器,都是在GBDT算法框架下的一种改进实现。 正如其名字所说那样,CatBoost主要是在类别特征上的处理上做了很多的改进。 2020-10-11 集成学习 #机器学习 #模型框架 #集成学习
XGBoost参数调优 在机器学习中,参数调优是一门玄学,因为模型的最优参数可能依赖于许多场景。因此,不可能为参数调优创建一个全面的指南。本文尝试为XGBoost中的参数提供一些指导。 2020-10-01 集成学习 #机器学习 #回归模型 #参数调优
模型调优指南--过拟合 过拟合是机器学习模型在训练数据上表现很好,但在新数据上表现不佳的一种现象。它的发生通常是由于模型过于复杂,以至于能够记住训练数据的噪声和细节,而不是学习到数据的普遍模式和特征。以下是导致过拟合的常见原因以及相应的解决方法: 2020-06-21 AI基础 #机器学习 #笔记整理 #模型训练