ollama部署常见问题解答 本文将分为以下章节对 Ollama 进行介绍: Ollama 基本介绍,它的作用是什么 Ollama 软件安装、一些常用的系统参数设置 Ollama 管理本地已有大模型(包括终端对话界面) Ollama 导入模型到本地的三种方式:直接从 Ollama 远程仓库拉取、通过 GGUF 模型权重文件导入到本地、通过 safetensors 模型权限文件导入到本地 基于 WebUI 2024-06-01 大模型部署 #大模型
高效微调统一框架——LLAMA-FACTORY技术点详解 高效的微调对于将大语言模型 (LLM) 适应下游任务至关重要。然而,在不同模型上实施这些方法需要付出不小的努力。 LLAMA-FACTORY是一个集成一套高效训练方法的统一框架。它允许用户通过内置的 Web UI LLAMA-BOARD 灵活地自定义 100 多个 LLM 的微调,无需编码。 (本文旨在说明LLAMA-FACTORY引入了NLP领域的哪些训练微调技术及其优势应用领域,项目部 2024-05-21 NLP #工具框架 #NLP #效率工具
大模型训练Guidelines 根据scaling law,模型越大,高质量数据越多,效果越好。 但还有一个很直观的情况,随着预训练样本的质量不断提升,训练手段的优化。新的模型,往往效果能轻松反超参数量两倍于它的模型。 2024-05-18 大模型 #大模型 #模型训练
【B站】大模型之路-从分治法至端到端,再到存算训一体 大模型发展之路--从分治法至端到端,再到存算训一体 安克创新CEO阳萌对人工智能过去、现在和未来的思考。他认为大模型和transformer只是阶段性的算法实现,未来一定是仿生算法的大趋势。他还谈到了分治法作为经典的范式有其明显的局限,而端到端的方案是人类理性解决问题的必经之路。他指出,人工智能领域的范式每五到十年就会出现一个全新的范式,存算一体已经成为业界新宠。 2024-05-12 B站 #深度学习 #大模型 #视频分享
一首歌的时间部署本地Llama3大模型 LLaMA3真的是相当相当炸裂啊!远超过去的体验!看数据Llama3-8B超过Mistra-7BMMLU10分;70B超过Claude3Sonet3分。 这是一个惊人的成绩,一个开源模型超过闭源模型这样多。我只能说Meta是真正的OpenAI。自从它从Meta这个邪路上转正后,在OpenAI的路上一骑绝尘了! 不废话,动手来给自己的电脑部署下吧。 2024-05-11 categories #大模型 #项目部署
院士讲人工智能与智能计算的发展 人工智能与智能计算的发展 这是孙凝晖院士给正国级、副国级讲课的万字长稿,全面深入地梳理了人工智能行业的发展情况,行文高屋建瓴,见微知著,读完收获良多,在此与诸位分享。 2024-04-30 阅读 #人工智能 #行业发展
xinference安装报错踩坑 xinference是一款流行度很高的本地模型部署框架,它可以非常方便地赋能本地RAG和Agent的构建,与ollama相比,它自带了web ui管理界面,除了TEXT EMBEDDING LLM之外,它还支持SPEECH2TEXT,TTS,RERANK模型的部署,可谓功能非常强大,但是美中不足的是,它的安装却一波三折,现整理下来供诸君避坑。 建议在linux系统安装,win下推理存在问 2024-03-11 环境配置 #环境配置 #推理工具 #部署