AI Agent：多模态交互前沿调查-李飞飞团队

AI Agent：多模态交互前沿调查-李飞飞团队

cdd602f68a7c5a1414d69d136a39ac8d 多模态AI系统很可能会在我们的日常生活中无处不在。将这些系统具身化为物理和虚拟环境中的代理是一种有前途的方式，以使其更加互动化。目前，这些系统利用现有的基础模型作为构建具身代理的基本构件。将代理嵌入这样的环境中，有助于模型处理和解释视觉和上下文数据的能力，这是创建更复杂且具备上下文感知的AI系统的关键。例如，一个能够感
categories
#AI agent #论文 #前沿
选择RLHF还是SFT
RAG中的rerank技术

RAG中的rerank技术

[检索增强生成]（RAG）是解决大语言模型（LLM）实际使用中的一套完整的技术，它可以有效解决LLM的三个主要问题：[数据时效性]、幻觉和数据安全问题（在我之前的文章《大模型主流应用RAG的介绍——从架构到技术细节》中有详细介绍）。但是随着RAG越来越火热，使用者越来越多，我们也会发现用的好的人/团队其实还是不多的。这也是RAG常被人吐槽的一点：入门简单，用好却非常难！ 对于RAG的效果，我们之
RAG
#LLM #rerank
RAG效果评估

RAG效果评估

随着 LLM(Large Language Model)的应用逐渐普及，人们对 RAG(Retrieval Augmented Generation)场景的关注也越来越多。然而，如何定量评估 RAG 应用的质量一直以来都是一个前沿课题。 很显然，简单的几个例子的对比，并不能准确地衡量出 RAG 应用的整体的回答的好坏，必须采用一些有说服力的指标，定量地、可复现地、来评估一个 RAG 应
大模型应用
#大模型应用 #方法框架 #笔记整理
分布式训练架构相关知识

分布式训练架构相关知识

1.背景 随着chatGPT的火爆出圈，大模型也逐渐受到越来越多研究者的关注。有一份来自OpenAI的研究报告(Scaling laws for neural language models)曾经指出模型的性能常与模型的参数规模息息相关，那么如何训练一个超大规模的LLM也是大家比较关心的问题，常用的分布式训练框架有Megatron-LM和DeepSpeed，下面我们将简单介绍这些框架及其用到
模型训练
#LLM #分布式
大型语言模型LLM训练流程详解

大型语言模型LLM训练流程详解

更新内容 这里是近期(2024年8月1日)更新的LLaMA3.1的模型后训练（Post-training）策略和流程 在预训练的基础上，通过几轮后训练对模型进行微调，使其更好地与人类反馈对齐。 每轮后训练包括监督微调（SFT）和直接偏好优化（DPO），后者使用了人工注释和合成的数据样本。 LLM pipline 1.提示收集 Collected Prompts
大模型
#深度学习 #大模型 #笔记整理
LLaMA 3.1 模型架构技术解析及代码实现
谁是最强大模型--权威大模型榜单整理
RAG加分神器:embedding与rerank

RAG加分神器:embedding与rerank

基于 Retrieval Augmented Generation (RAG) 技术的效果取决于两个关键因素: 文本嵌入及语义提取的性能: 这个环节负责将输入文本转换为有意义的语义表示向量。 嵌入算法的准确性和鲁棒性直接影响后续的搜索和排序效果。 重排序模块的性能: 这个环节负责根据语义相似度对检索到的相关文本进行排序。 排序算法的效果直接决定了包含正确答案的文本是否
RAG
#大模型 #原理