人工智能与智能计算的发展 这是孙凝晖院士给正国级、副国级讲课的万字长稿,全面深入地梳理了人工智能行业的发展情况,行文高屋建瓴,见微知著,读完收获良多,在此与诸位分享。

xinference是一款流行度很高的本地模型部署框架，它可以非常方便地赋能本地RAG和Agent的构建，与ollama相比，它自带了web ui管理界面，除了TEXT EMBEDDING LLM之外，它还支持SPEECH2TEXT，TTS，RERANK模型的部署，可谓功能非常强大，但是美中不足的是，它的安装却一波三折，现整理下来供诸君避坑。 建议在linux系统安装，win下推理存在问

从零开始学习大语言模型-Lyi 林亦是我比较喜欢的一个UP，视频讲述了他对深度学习基本范式的回顾和梳理。主要介绍了神经网络模型的结构和训练过程，以及当前流行的大语言模型——基于神经网络的技术。视频指出，构建一个能力强、学习效率高的模型是影响学习效果的关键，也是深度学习研究的核心问题。整个视频围绕着数据和模型展开，梳理了深度学习的核心概念和基本流程。

程序配置 1234567891011121314151617181920212223242526272829303132333435// 自动保存文件，延迟一定时间后保存"files.autoSave": "afterDelay", // 自动猜测文件编码格式"files.autoGuessEncoding": true, // 在工作

1.经验评估 推理显存估算：7B-float 是 28 GB，7B-BF16 是 14GB，7B-int8 是 7GB；其他版本以此类推即可。 训练的参数类型，只能是 float / BF16 训练 所需显存 保守估算 是 同参数同类型llm 推理 的 4倍。 例子：7B-float 训练 显存：28 * 4 = 112 GB 方法 bits 7B 1

大型语言模型(LLM) 是强大的工具，不仅可以生成类似人类的文本，还可以创建高质量的合成数据。这种能力正在改变我们进行 AI 开发的方式，特别是在现实世界数据稀缺、昂贵或隐私敏感的情况下。在本综合指南中，我们将探索 LLM 驱动的合成数据生成，深入探讨其方法、应用和最佳实践。 image-20240812092339558 使用 LLM 进行合成数据生成简介 综合数据

One cycle学习率策略 Batch size num workers & pin memory 自动混合精度训练 torch.backends.cudnn.benchmark torch.nn.parallel.DistributedDataParallel 梯度累加 梯度裁剪 BN前卷积层中的bias 陋习改正 在使用 PyTorch 进行深度

生成模型和判别模型是机器学习和统计建模中两种主要的模型类型，它们在目标、方法和应用上有显著的区别。以下是生成模型和判别模型的详细比较： 生成模型（Generative Model） 目标 生成模型的主要目标是建模数据的生成过程，即学习数据的联合分布 ( P(X, Y) )，其中 ( X ) 是输入数据，( Y ) 是标签或输出。 方法 联合概率分布：生成模型试图学习输入数据和输出标

使用jieba分词，wordcoloud词云可视化

BERT和T5怎么了？关于Transformer编码器、PrefixLM和去噪目标 那些在五年前就从事自然语言处理的人们，现在都在困惑：所有的编码器模型（encoder models）去哪了？如果BERT表现得如此出色，为什么不进行扩展？编码器-解码器模型（ encoder-decoders）或仅编码器模型（encoder-only models）到底发生了什么？ 今天，我试图解开这一切