如何提升大语言模型的推理效能?
〖壹〗、 如何提升大语言模型（LLM）的推理效能大模型推理慢？本文首先介绍大模型推理慢了两种广泛应用的方法：CoT（Chain of Thoughts）和ToT（Tree of Thoughts）。
〖贰〗、 AI 应用广泛开放，大模型能力提升有望削减幻觉问题、增加 Context-length，推动 AIGC 应用进入规模化阶段，加速推理需求释放。过去一年，英伟达数据中心业务收入中，AI 推理占比约 40%，预计未来提升至 67%。AI 大量消耗算力，相比传统 AI 小模型，推理需求占比加速提升。
〖叁〗、 我们主要关注提升协同过滤（CF）和语言模型（LLM）的表示质量，这两部分都能通过现有模型的用户/项目学习进行优化。因此，我们的方法适用于广泛的推荐系统，通过一个通用的优化目标。总优化目标包括两部分：其中是调节参数，决定对协同过滤优化和对齐两目标的相对重视程度。
〖肆〗、 LangChain LangChain是一个开源框架，它为开发者提供大模型推理慢了一个平台，能利用LLM（大型语言模型）构建动态应用程序，支持自然语言处理的创新。它支持代理的推理和任务分解。 AutoGen 作为协作人工智能的一部分，AutoGen代表了一个未来方向，它汇聚智能体，通过集体协作提升AI的创新和效能。
〖伍〗、 田渊栋及其团队在最新的研究中取得了突破，大模型推理慢他们关注的是如何提升大语言模型（LLM）的内存效率。
大模型和模型的区别
大模型和普通模型的主要区别在于规模和复杂性。大模型通常是指具有数百万或数十亿个参数的深度神经网络，经过专门的训练过程，能够处理大规模数据，进行复杂的任务处理。相比之下，普通模型规模较小，参数较少，主要用于解决一些简单的任务。
大模型和小模型的主要区别体现在规模、复杂度、训练与推理时间、精度与效果、可扩展性以及应用场景上。大模型通常参数数量较多、层级较深，具有较高的复杂度。它们需要大量的计算资源和存储空间，训练和推理时间也相对较长。
大模型需要占用大量的计算资源、存储空间、时间和电力等资源来保证它的训练和部署。相比之下，小模型（Small Model）是指具有较少参数的深度神经网络模型。小模型常常运行速度更快，也更加轻便，适用于一些计算资源和存储空间较少的设备或场景，例如移动设备或嵌入式设备。
大模型和小模型的区别
大模型和小模型的主要区别体现在规模、复杂度、训练与推理时间、精度与效果、可扩展性以及应用场景上。大模型通常参数数量较多、层级较深，具有较高的复杂度。它们需要大量的计算资源和存储空间，训练和推理时间也相对较长。
小模型通常具有简单的结构和少量的参数，因此它们的复杂度相对较低。相比之下，大模型通常具有更复杂的结构和更多的参数，因此它们的复杂度相对较高。模型的训练和推理速度 小模型通常具有较少的参数和简单的结构，因此它们的训练和推理速度相对较快。
大模型需要占用大量的计算资源、存储空间、时间和电力等资源来保证它的训练和部署。相比之下，小模型（Small Model）是指具有较少参数的深度神经网络模型。小模型常常运行速度更快，也更加轻便，适用于一些计算资源和存储空间较少的设备或场景，例如移动设备或嵌入式设备。
小模型和大模型的主要区别在于参数规模、计算资源需求、应用场景以及表达能力等方面。小模型通常参数较少，结构相对简化，因此训练和推理速度更快，非常适合资源有限的环境，如移动应用。它们占用内存和计算资源较少，便于在嵌入式系统或低功耗设备中部署和集成。
同济校长郑庆华院士:大模型的四大缺陷
在最近的中国人工智能产业年会上，同济大学校长郑庆华院士对大模型的现状进行了深度剖析。他指出，尽管大模型已经达到了人工智能领域的显著高峰，其强大的表现得益于大数据、大算力和高效的算法，但也存在一些关键的固有缺陷。首先，大模型的资源消耗问题十分显著。
同济大学2023年新增院士如下：郑庆华 中国工程院院士 郑庆华，1969年1月出生，浙江嵊州人。系智能网络与网络安全教育部重点实验室主任，教育部科技委学部委员，教育部大学计算机教学指导委员会主任，国家杰出青年基金获得者，国家自然科学基金创新群体负责人。研究领域为大数据知识工程。
具体名单如下：中国工程院信息与电子工程学部，郑庆华（同济大学校长、信息学科教授），53岁；童小华（同济大学副校长、测绘学科教授），51岁。中国科学院地学部，翦知湣（同济大学海洋学院院长），56岁；生命科学与医学部，高绍荣（同济大学生命科学学院院长），52岁。
同济大学与电子科技大学联合成立人工智能创新中心 7月16日，一场在清水河校区举行的仪式上，两校正式签订共建人工智能联合创新中心的协议。同济大学校长、中国工程院院士郑庆华，电子科技大学校长胡俊，以及两校的高层代表冯身洪、徐红兵出席，共同见证这一里程碑事件。
同济大学现任校长是陈杰。陈杰，男，1965年7月生，福建福清人，中共党员，教授，博士生导师，中国工程院院士，IEEE Fellow、IFAC Fellow。分别于1981992001年获北京理工大学学士、硕士和博士学位。第二十届中央候补委员 [3] ，教育部党组成员、副部长。
张学军，长春光学精密机械与物理研究所所长，长期从事光学系统先进制造技术研究，2023年11月当选院士。郑庆华，人工智能领域专家，同济大学校长，主持多项国家级项目，研究大数据知识工程，2023年11月当选院士。
大(语言)模型推理原理及加速
〖壹〗、 推理过程不同，由于未知的真实下个字，模型需逐个预测，串行生成答案。大模型的推理本质上是串行的，需要多次计算以输出答案，效率低。为加速推理，利用已计算的词向量进行复用，即在计算某个词向量时，利用之前计算结果的K，V值，而非重复计算，显著减少计算量。
〖贰〗、 大语言模型（LLM）指的是参数量较大（通常超过10亿参数）且生成能力较强的模型。例如，Qwen2-0.5B的参数量仅为5亿。模型通过上半部分的prefill阶段，对输入编码进行处理，产生键值缓存（kv cache），并在首token的基础上启动自回归解码过程。在这一阶段，模型根据输入文本生成长度为N的输出。
〖叁〗、 随着大语言模型的普及与实际应用落地，面临显存需求暴增与推理速度下降的挑战，优化推理阶段以降低显存使用并加速推理成为关键。本文聚焦于分布式优化、连续批处理以及显存优化策略。优化手段包括：分布式优化（数据并行、张量并行、管道并行）、模型压缩、连续批处理、运算融合、显存优化等。
小模型和大模型的区别
大模型和小模型的主要区别体现在规模、复杂度、训练与推理时间、精度与效果、可扩展性以及应用场景上。大模型通常参数数量较多、层级较深，具有较高的复杂度。它们需要大量的计算资源和存储空间，训练和推理时间也相对较长。
小模型通常具有简单的结构和少量的参数，因此它们的复杂度相对较低。相比之下，大模型通常具有更复杂的结构和更多的参数，因此它们的复杂度相对较高。模型的训练和推理速度 小模型通常具有较少的参数和简单的结构，因此它们的训练和推理速度相对较快。
大模型需要占用大量的计算资源、存储空间、时间和电力等资源来保证它的训练和部署。相比之下，小模型（Small Model）是指具有较少参数的深度神经网络模型。小模型常常运行速度更快，也更加轻便，适用于一些计算资源和存储空间较少的设备或场景，例如移动设备或嵌入式设备。
标签： 大模型推理慢
