在过去的一年里，Anthropic团队（后面简称“团队”）与来自各行各业的团队合作，开发了基于LLM的智能体。结果显示，最成功的实现方式并非依赖复杂的框架或专门的库，而是采用简单、可组合的模式进行构建。 团队将通过这篇文章分享从客户合作和自身智能体构建中获得的经验，并为开发者提供构建高效智能体的实用建议。 原文链接:Building effective agents  Anthropic

cdd602f68a7c5a1414d69d136a39ac8d 多模态AI系统很可能会在我们的日常生活中无处不在。将这些系统具身化为物理和虚拟环境中的代理是一种有前途的方式，以使其更加互动化。目前，这些系统利用现有的基础模型作为构建具身代理的基本构件。将代理嵌入这样的环境中，有助于模型处理和解释视觉和上下文数据的能力，这是创建更复杂且具备上下文感知的AI系统的关键。例如，一个能够感

在当下的环境中，家宽 公网IPv4 不是每家每户都有的，但是是谁都想搭建个网站玩玩。或者受不了各大云盘厂商的收费方式和手段想搭个 私有云 以解决自己高要求的存储需求。虽然有 IPv6 等手段解决，但是受限于路由器防火墙和国内IPv6普及率问题。目前的 IPv6 在国内更像是 IPv4 的一种补充手段，并没有实现真正意义上的替代。(毕竟没听过纯IPv6网站) 这时候我们就需要使用 Fr

随着 [Llama3] 的开源，人们对 Alignment 的重视程度又上一个阶梯。作为 Alignment 家族中的核中核，RLHF 家族也开始变的繁荣昌盛，这对各位 RLer 来说可真是喜闻乐见。今天我们就一起来俯瞰一下当下 RLHF 都有些什么奇巧的魔改思路。如果你还不太清楚 RLHF 的一些基本概念，可以试着看看这篇文章：何枝：【RLHF】RL 究竟是如何与 LLM 做结合

[检索增强生成]（RAG）是解决大语言模型（LLM）实际使用中的一套完整的技术，它可以有效解决LLM的三个主要问题：[数据时效性]、幻觉和数据安全问题（在我之前的文章《大模型主流应用RAG的介绍——从架构到技术细节》中有详细介绍）。但是随着RAG越来越火热，使用者越来越多，我们也会发现用的好的人/团队其实还是不多的。这也是RAG常被人吐槽的一点：入门简单，用好却非常难！ 对于RAG的效果，我们之

随着 LLM(Large Language Model)的应用逐渐普及，人们对 RAG(Retrieval Augmented Generation)场景的关注也越来越多。然而，如何定量评估 RAG 应用的质量一直以来都是一个前沿课题。 很显然，简单的几个例子的对比，并不能准确地衡量出 RAG 应用的整体的回答的好坏，必须采用一些有说服力的指标，定量地、可复现地、来评估一个 RAG 应

1.背景 随着chatGPT的火爆出圈，大模型也逐渐受到越来越多研究者的关注。有一份来自OpenAI的研究报告(Scaling laws for neural language models)曾经指出模型的性能常与模型的参数规模息息相关，那么如何训练一个超大规模的LLM也是大家比较关心的问题，常用的分布式训练框架有Megatron-LM和DeepSpeed，下面我们将简单介绍这些框架及其用到

更新内容 这里是近期(2024年8月1日)更新的LLaMA3.1的模型后训练（Post-training）策略和流程 在预训练的基础上，通过几轮后训练对模型进行微调，使其更好地与人类反馈对齐。 每轮后训练包括监督微调（SFT）和直接偏好优化（DPO），后者使用了人工注释和合成的数据样本。 LLM pipline 1.提示收集 Collected Prompts

image-20240725101545036 LLaMA 3.1的模型结构如上图所示，它代表了目前主流的大型语言模型架构，也被称为Dense LLM。它应用了经典Transformer的Decoder部分并加以改造。 与之相对的是混合专家模型（Mixture of Experts，MOE）。MOE模型的主要特点是：将前馈网络（FFN）模块中的单一SwiGLU替换为个并行的S

大模型的发展日新月异,那到底哪个模型更强呢,不同模型又有哪些各自擅长的领域呢?这里整理几个比较权威的LLM评测榜单和数据集供诸君参考.