Unit Economics of A Code Copilot

假设我们推出一款代码补全能力具备与GPT-3相当的性能表现的Code Copilot应用FastX，它的成本和定价该如何确定？

1. 成本分析

固定成本

• 研发投入：指用于人工智能模型研发阶段的初始支出，涵盖研究人员、算法工程师及相关技术人员的薪酬成本。此外，该项费用还包括用于大语言模型训练的成本（下一节将详细说明）。以ChatGPT-3水平的Code Copilot 为例，其基础大语言模型的训练成本估算为600万美元。
• 软件授权费用：涵盖在模型开发、测试及部署过程中所需的各类商业软件许可及订阅费用。
• 行政及管理成本：包括后勤与行政支持人员薪酬、管理费用、办公场地租赁、日常水电开支等综合性运营成本。
• 模型维护与迭代更新（年度固定支出）：指模型上线后，为维持其稳定运行与持续优化所需的常规支出，包括功能更新、缺陷修复及基于用户反馈的改进等。
• （可选）硬件基础设施投入：若采用自建算力部署方案，还需考虑GPU服务器、数据存储设备及其他硬件资源的采购成本。目前，FastX选择租用外部服务商提供的GPU/CPU资源及公有云平台，未发生此项支出。

变动成本

1）训练成本

训练成本主要指模型的预训练、微调（Fine-tuning）及引入授权客户数据用于持续性能优化所产生的计算资源支出，涵盖GPU服务器租赁费与电力消耗成本。我们讨论的Copilot模型在代码补全任务中具备与GPT-3相当的性能表现。其基础模型参数规模为50亿（50B），低于GPT-3的175亿（175B），但训练语料规模相当，均为约3000亿Token。模型已针对代码补全应用进行了定向微调训练。

根据公开资料显示，GPT-3的训练成本在仅计入计算资源的情况下即达460万美元（使用Tesla V100云实例，彼时为最低成本方案），综合总成本达1200万美元。

本研究基于当前最优训练性价比配置——8张NVIDIA A100 (80GB) GPU卡，结合带宽瓶颈约束进行测算，认为GPT-3模型的计算训练成本约为1060万美元，符合主流分析机构的估值范围；其单位边际训练成本约为0.035美元/kToken。在相同硬件配置下，训练Code Copilot模型的单位成本为0.014美元/千Token，对应总成本约为600万美元，体现出较高的成本效率。

2）推理成本

GPT-3 在 2023 年初的商业定价为每千个 Token 收费约 0.02 美元；而截至目前，GPT-3.5 的定价已降至每千 Token 仅 0.0015 美元。

在推理阶段，若采用当前性价比较高的推理配置——4 张 A100 PCIe（40GB 显存）GPU，则FastX每生成千个Token的单位推理成本约为 0.0045 美元，相当于 OpenAI 定价的 3 倍左右。

OpenAI在推理成本上的显著优势，主要源自其对更高效算力资源的低价获取能力，尤其是对 H100 GPU 的大规模访问权限。在微软支持下，其可借助H100数据中心，显著降低单位推理成本。据推测，其推理成本可能为FastX当前可用方案的一半甚至更低。

FastX预计，随着与服务器供应商之间议价能力的提升、计算效率的持续优化，以及更高效算力资源（如H100 GPU）价格下降与可获取性的提高，其单位推理成本有望在2025年前降至每千Token 0.002–0.004美元的区间。

---

3）云服务成本

FastX目前依托Amazon公有云基础设施，提供面向团队协作的服务与企业级云端解决方案。

以批量租赁的方式采购亚马逊云（约16TB），再按块拆分服务单个用户。当前平均为单一用户租赁30GB Amazon公有云存储的月度成本约为4美元。

---

4）总变动成本估算

下表基于客户使用情况，对Token消耗量、训练与推理成本进行了估算。根据左图：

1. 基础推理服务：平均每位用户的推理成本为1.7美元，波动范围为1.0–3.5美元；
2. 团队协作与企业云服务：平均成本为2.9美元，波动范围为2.0–4.0美元；
3. 基础定制化服务（如个性化微调）：平均为5.2美元，波动区间为2.9–9.6美元。 注：用于模型微调所引入的客户私有训练数据所产生的额外Token消耗成本，按Token计价并不包含在订阅套餐中，需另行计费。

根据右图估算，三类订阅服务的人均月度平均成本分别如下：

服务类型	平均每用户月成本
基础计划	$1.9
团队协作扩展版	$4.8
含定制化功能计划	$10.0