【B站】从零开始学习大语言模型-Lyi

从零开始学习大语言模型-Lyi

林亦是我比较喜欢的一个UP，视频讲述了他对深度学习基本范式的回顾和梳理。主要介绍了神经网络模型的结构和训练过程，以及当前流行的大语言模型——基于神经网络的技术。视频指出，构建一个能力强、学习效率高的模型是影响学习效果的关键，也是深度学习研究的核心问题。整个视频围绕着数据和模型展开，梳理了深度学习的核心概念和基本流程。

机器学习的概念和分类,着重讲解了监督学习和无监督学习,以及模型的重要性。

00:01机器学习概念与语言任务

02:01监督学习与无监督学习

04:00机器学习模型的构建和选择

模型的概念,以及神经网络模型的运作原理,包括感知机单元和多层神经网络模型。

04:26模型训练与神经网络结构

06:40感知机的原理和激活函数

07:45多层神经网络模型和信息归纳能力

神经网络中的函数、导数、偏导数、损失函数和梯度下降等概念,以及如何用反向传播算法优化权重值。

08:15每个单元之间的连接是一个权重数值，这些数值可以通过反向传播算法进行优化。

09:27训练神经网络的流程：训练程序会为每个输入变量随机分配一个权重值，然后通过前向传播和梯度下降算法不断优化权重值，直到损失函数最小化。

11:08梯度下降算法：通过不断更新权重值，沿着梯度下降的方向最快达到最低损失函数值。

如何使用链式法则解决复杂函数的导数计算问题,以及模型训练中的收敛和超参数设置。

12:22链式法则与模型更新

15:26深度学习中的残差网络

15:50梯度消失与跳过连接

残差网络的作用和意义,以及机器学习中泛化能力的评估和重要性。

17:05模型遇到从未见过的数据时，能不能整明白。

19:16大模型的转变：从小型专用模型到大型通用模型的转变。

机器如何理解人类语言的基础知识,并提到了接下来将进一步探讨这一话题。

19:45机器理解人类语言的基础知识

19:52视频结束及作者告别