大模型:为什么训练需要如此多算力?
大模型领域内的算力需求巨大，预计训练成本可能突破百亿美元。在算力估算方面，依据《Scaling Laws for Neural Language Models》、《Training Compute-Optimal Large Language Models》等论文，我们进行大致预测。
AI大模型对算力的要求通常较高，这是因为大模型通常具有更多的参数和更复杂的结构，需要更多的计算资源来进行训练和推理。以下是AI大模型对算力的一些常见要求：训练阶段：在训练大模型时，需要进行大量的矩阵运算和梯度计算。
大模型训练所需算力是一个关键议题。训练每参数每 token 的算力需求大致为常数，在训练阶段约为6FLOPs，推理阶段为2 FLOPS。平均算力成本受 GPU 性能影响，每 FLOP 的费用 平均约在5年降低40%-50%。
将AI训练任务映射到GPU，相比CPU而言，GPU能够显著提升训练速度，使其成为构建复杂神经网络系统的关键平台。GPU所提供的并行计算能力，使得推理操作也能够在GPU上高效执行，进一步凸显其在AI领域的主导地位。
具体需要多少算力，取决于训练数据的规模、模型的复杂度、训练策略等多个因素。为了支持这样大规模的模型训练和推理，通常需要高性能的计算机集群和专业的深度学习框架。在实际应用中，为了降低算力成本和提高效率，研究者们会采用各种优化策略，如混合精度训练、分布式训练等。
人工智能大模型可以分为通用大模型和垂直大模型。通用大模型，或基础大模型，适用于多种任务，是技术发展的关键，推动产业革命。例如，GPT系列就是一种通用模型。 训练通用大模型需要强大的算力支持，因此成为各大企业竞争的焦点。
采购人不得不知的卡拉杰克模型(Kraljic)
卡拉杰克矩阵，一种全球广泛应用的供应商分析矩阵模型，由彼得·卡拉杰克提出，旨在通过最大化安全供应与降低采购成本，扩大采购谈判力度，帮助企业从事务性采购转型为战略采购。矩阵通过两个维度：供应风险与利润影响，将采购品类与供应商关系划分为四个象限，以指导采购策略。
总的来说，理解并应用卡拉杰克矩阵，采购人不仅能更好地管理供应商，还能在变幻莫测的市场环境中，实现成本优化和竞争优势的提升。这是一把打开供应链管理大门的钥匙，是每个采购专业人士不可或缺的工具。
卡拉杰克矩阵（Kraljic Matrix），在采购管理与供应链管理中具有重要地位。这一模型由彼得·卡拉杰克于1983年提出，旨在帮助采购专业人员最大化安全供应和降低采购成本，进而促进企业采购从事务性采购向战略采购转型。
采购组合（卡拉杰克矩阵）是一种分析工具，由彼得卡拉杰克（Peter Kraljic）于1973年提出，用于划分公司的采购组合并分析不同因素。此工具主要涉及两种关键因素：采购物品对公司的相对重要性以及供应市场的复杂性。重要性方面，公司需考虑年度采购支出、产品创收潜力或成本节约能力。
大模型究竟要多少算力?国产GPU何时能替代?
以2020年算力水平为例，使用1片 V100 GPU（在FP16精度下理论算力为28TFLOP）完成此任务，需357年。若要将训练时间缩短至一个月，需要至少购买3000张以上V100（在效率不降的情况下，实际应更多）。
大模型行业快速迭代，客户对训练速度有极高要求，假设训练一个5000亿参数模型，15TB数据，1000P算力需要3年才能完成，而将时间压缩至2周或1个月，则最低需求是10000P算力。
训练算力需求基于单个 token 需要的计算资源 C 约等于 6N，可估算出为达到类似人类的水平，大模型可能需要至少 11 万亿参数、228 万亿 token 数、55*10^28 次的浮点运算。
一个高达模型的成本
〖壹〗、 高达模型大模型成本占比的成本确实不高大模型成本占比，主要材料ABS塑料的费用 也相对便宜。以BANDAI出品的1大模型成本占比：100比例模型为例，其生产成本大约在70到80元左右。但为什么市场上的售价会如此高昂呢大模型成本占比？一方面，高达模型包含大模型成本占比了丰富的知识产权价值，另一方面，品牌效应也是一个重要因素。这两方面的费用加在一起，使得最终售价大幅高于生产成本。
〖贰〗、 HGUC/HG seed（1：144）：费用 大约在100-200元之间，具体取决于模型的大小。 MG（1：200）：费用 大约在200-300元之间，但某些特殊型号，如Turn A，可能需要560元。 PG（1：60）：费用 大约在600-1000元之间。特别的模型，例如空中霸王，可能达到1：30的比例。
〖叁〗、 购买高达模型的成本在不同国家和地区有所不同，尤其在中国大陆购买高达模型相比在日本购买更为经济实惠。高达模型的费用 通常可以在商品的条形码上找到，条形码的最后几位数字即为费用 ，单位为日元。不过，在国内购买时，这个费用 需要进行一定的换算才能得出实际的人民币费用 。
造一发火箭多少钱?商业火箭成本分析
〖壹〗、 造一发商业火箭的成本大约在85亿元左右，但具体成本会受到多种因素的影响。以下是对商业火箭成本的分析：制造成本：火箭的制造成本是其主要组成部分。根据成本模型估计，国内某二级可回收液体火箭的制造成本在89亿元区间频次比较高 ，取中间值约为85亿元。
〖贰〗、 通过蒙特卡罗方法建立火箭成本估计模型，假设国内某二级可回收液体火箭参数，设定利润率、成本占比、目标单价与入轨能力等随机变量。模型显示，火箭制造成本在8-9亿元区间频次比较高 ，取85亿元进行进一步分析。火箭全新与复用成本分布如图，主要借鉴 猎鹰九号成本结构。国内实际情况，欢迎探讨并调整。
〖叁〗、 中国的火箭发射费用相对较低，但由于大量生产，每枚火箭的平均成本也在6000万美元左右。1 中国的“长征三号乙”火箭，商业报价6000万美元，自1996年至今已完成67次发射任务，成功率高达94%，因其费用 合理且可靠，在世界 市场上受到欢迎。
〖肆〗、 发射一颗火箭所需的费用大致在1000万到2000万美元之间。这个费用涵盖了火箭的设计、制造、测试、运输、发射场地租赁以及保险等各项开支。火箭的发射费用受到多种因素的影响，包括火箭的大小、复杂性、任务的规模以及目的地等。
标签： 大模型成本占比
