【B站】大模型之路-从分治法至端到端,再到存算训一体

大模型发展之路--从分治法至端到端,再到存算训一体

安克创新CEO阳萌对人工智能过去、现在和未来的思考。他认为大模型和transformer只是阶段性的算法实现,未来一定是仿生算法的大趋势。他还谈到了分治法作为经典的范式有其明显的局限,而端到端的方案是人类理性解决问题的必经之路。他指出,人工智能领域的范式每五到十年就会出现一个全新的范式,存算一体已经成为业界新宠。

人工智能领域的发展历程和未来趋势,以及斯蒂文杨萌对于人工智能的看法和建议。

00:01大模型解决不了英伟达的难题

00:45人工智能的发展历程

03:16人工智能领域的范式转变

分治法在人工智能领域的应用,并探讨了端到端算法和分支法的优缺点。

04:38分治法和端到端学习：分治法是一种解决问题的方法，而端到端学习则是一种新兴的方法。

05:53分治法可以帮助解决自然语言处理和自动驾驶等领域的问题。

08:29柔性连接和人类智能：人类的智能具有柔性连接的特点，而机器智能需要更多的研究来实现这样的特性。

搜索算法工程师使用分治法进行搜索,并探讨了算法、硬件和数据在人工智能中的重要性。

09:04分治法在搜索引擎中的应用

12:05GPU和transformer算法的关系

13:10特斯拉和英伟达在自动驾驶领域的竞争

GPU芯片的结构和工作原理,以及现代大模型在训练和推理端的不同应用。

13:28GPU是封装的芯片，其中包括运算核心和内存。在运算过程中，参数存在两边的内存中。

14:12大模型的训练需要多卡参与，而推理是将参数从内存中搬运到计算中心进行计算。

16:38Transformer模型不是一段一段地解决问题的，而是通过整体的参数进行端到端的解决问题。

GPU的发展趋势和优势,并提出了人类应该借鉴大脑的运行方式来设计未来的芯片。

17:53计算性能与模型发展问题

21:35GPU的不足与大脑的差异

22:04适合大脑的计算芯片与内存位置

存算一体的概念,以及如何实现存算一体的芯片,并探讨了其在未来AI发展中的潜力。

22:10存算一体芯片可以实现大模型的算法，节省能耗，是未来AI硬件的发展趋势。

25:32存算一体芯片可以应用在智能家居、智能音箱等场景中。

26:31安克创新正在研发存算一体芯片，并已经取得了一些成果。

算法和硬件之间的关系，以及未来可能的发展趋势，同时探讨了人工智能可能带来的影响。

26:44下一代算法：下一代算法可能会是一种一边学习一边进化的算法。