在大多数领域，伴随着时间的推移能让我们对事物有更清晰的认识。但在生成式 AI 领域，情况可能正相反。我们大家都认为这一领域目前还处于非常早的时期，对于新的变量、模态和系统变化十分复杂。在这早期的探索中，从大量信息中过滤筛选，在模糊中摸索实践，探索出可能的路径并沉淀深思考也是我们从始至终在做的事。
Elad 是一位连续创业者，也是 Airbnb、Coinbase、Figma、Notion、Pinterest 等知名项目的早期投资人。本文带来近期他在 LLMs、基础设施层和 AI 应用层提出的目前还未被解决的问题，内容深刻全面，欢迎共同讨论反馈。
大型科技公司通过巨额投资塑造了 LLM 的市场格局，这引出一个核心问题：在这样的市场环境下，小型勇于探索商业模式的公司和独立开发者怎么样找到立足点？是不是真的存在一个「资本天花板」，即只有大公司才能承担前沿模型的昂贵成本？
开源模型如 Llama 和 Mistral 在 LLM 领域也发挥了及其重要的作用，开源模型提供了一种对抗私有模型的手段，促进技术的普及和创新。然而，商业使用的限制和可持续发展仍是开源大模型要解决的关键问题。
在某种意义上，LLM 有两种类型， 一是处于技术前沿的通用模型（比如 GPT-4），一类是其他所有模型。2021 年 Elad 就预测，由于需要巨额资本，前沿模型市场将逐渐演变成少数几家公司的寡头市场。同时，非前沿大模型将更多地受价格驱动，开源模型的影响力将增强。
现在的情况似乎正在朝这个方向发展。前沿 LLM 很可能成为寡头市场，当前的竞争者包括像 OpenAI、Google、Anthropic 这样的闭源模型，以及 Llama（Meta）和 Mistral 这样的开源模型。尽管未来一两年内这个名单可能会有所变化，但前沿模型的训练成本持续不断的增加，而其他通用模型的成本每年都在下降，性能却在提升。例如，现在训练 GPT-3.5 的成本可能只有两年前的五分之一。
随着模型规模的扩大，资金慢慢的变多地来自云服务提供商和大型科技公司。例如，微软对 OpenAI 的投资超过 100 亿美元，Anthropic 则从亚马逊和谷歌那里获得了 70 亿美元的投资。NVIDIA 也在这一领域投资甚多。与此相比，这一些企业通过风险投资获得的资金体量就显得微不足道。随着前沿模型训练成本的飙升，新兴资金方大多分布在在大型科技公司，或是像阿联酋这样支持本地企业的国家政府。这种趋势正在影响市场，并可能提前决定潜在赢家。
这些云服务提供商的投资与其带来的收益相比，只是冰山一角。例如，微软的 Azure 每季度能带来 250 亿美元的收入，OpenAI 获得的约 100 亿美元的投资仅相当于 Azure 六周的收入。但是 AI 对 Azure 的收入影响巨大。近期 Azure 的收入因为 AI 增长了 6 个百分点，这相当于每年增加 50 亿至 60 亿美元。尽管收入并非净利润，但这仍然十分引人注目，说明这类大型云服务商有动力为更多大型模型提供资金。同时，Meta 在 Llama 模型上的表现也不容忽视，他们最近宣布将提供 200 亿美元的预算用于资助大规模模型训练。
云服务提供商是否在通过提供大规模计算 / 资本来造就少数前沿玩家，并通过这一种规模锁定寡头市场？当云服务提供商停止资助新的 LLM 公司，转而持续资助现有公司时，会发生啥？云服务提供商是基础模型的最大资助者，而不是风险投资。鉴于他们在并购方面受到限制，并且云服务使用会带来收入，这样做是合理的。但这可能会引起市场动态的某些扭曲。这将怎么样影响 LLM 的长期经济和市场结构？这是否意味着可能很快看到新的 LLM 公司因为缺乏足够的资本和人才而持续终结？
OSS（开源软件）模型是否会改变 AI 的经济结构，从基础模型转向云计算？Meta 是否会继续资助开源模型？如果是，例如 Llama-N 是否会赶上最前沿的大模型？一个在 AI 前沿领域表现卓越的开源模型，有潜力改变部分 AI 基础设施的架构，从 LLM 转向云计算和推理服务提供商，并减少其他 LLM 基础模型公司的收入。
Llama2 使用条款中有一点，如果使用者的用户少于 7 亿，则允许开放商业使用许可。这阻止了一些大型竞争对手使用这一模型。一个大型云服务提供商，需要向 Meta 支付 Llama 的许可费。这为 Meta 创造了一种长期控制 Llama 并获得收益的方式
如何看待模型的价格与性能之间的关系？如果与正常人类达成目标的速度相比，缓慢但性能卓越的模型可能非常有价值。最新的 Gemini 模型似乎正在朝这个方向发展，它具有 100 万 + 标记上下文窗口。上下文窗口长度的提高和理解深度能改变用户对 AI 用途的思考。在光谱的另一端，Mistral 展示了小型、快速、廉价的推理高性能模型的价值。下面的表格对这一问题进行了细分。
基础模型的架构将如何演变？具有不一样架构的代理模型是否会在某一些程度上取代 LLM 的未来潜力？何时引入别的形式的记忆和推理？
政府是否支持或将其采购导向本地区的 AI 头部企业？政府是否希望支持反映其本地价值观、语言等不同文化需求的模型？除了云服务提供商和全球大型科技公司之外，其他潜在的资本来源是国家。现在在欧洲、日本、印度、阿联酋、中国和其他几个国家都有优秀的大模型公司。仅凭政府收入，就可能创造出几家价值数十亿美元的本地化 AI 基础模型公司。
有几种类型的基础设施公司，用途各不相同。例如，Braintrust 提供评估、提示、日志记录和代理，帮助公司从「基于感觉」的 AI 分析转向数据驱动。Scale.ai 和其他公司在数据标注、微调和其他领域发挥着关键作用。
AI 基础设施中最大的不确定性问题与 AI 云堆栈的演变有关。初创企业和大企业对 AI 云服务的需求非常不同。对于初创企业来说，新的云服务提供商和工具（例如 Anyscale、Baseten、Modal、Replicate、Together 等）正在走上一条正确的道路，带来客户和收入的增长。
对于那些有特殊需求的大企业来说，还有一些悬而未决的问题。例如：当前的 AI 云公司是不是需要为大规模的公司构建一个本地 /BYOC/VPN 版本的产品？大规模的公司可能会优化：
（b） 由于延迟和性能问题，会考虑是不是从网络应用 / 数据托管地（如 AWS、Azure、GCP）进行完整往返；
AI 云服务的采用的多大程度上是由于 GPU 资源受限 /GPU 仲裁导致的？在主要云服务提供商缺乏 GPU 的情况下，公司们正争相寻找足够的 GPU 来满足他们的需求，这加速了有自己 GPU 云的新创公司的采用。NVIDIA 可能采取的一种潜在策略是优先向这些新提供商分配 GPU，以减少超大规模云服务提供商的议价能力，并分割市场，以及通过勇于探索商业模式的公司加速行业发展。GPU 瓶颈何时结束，这将怎么样影响新的 AI 云服务提供商？看起来，主要云平台上 GPU 短缺的结束对那些唯一业务是 GPU 云的公司可能是负面的，而那些拥有更多工具和服务的公司若是发生这种情况，应该能更容易过渡。
在 AI 云服务中，还有哪些服务正在被整合？它们是否交叉销售嵌入式模型和 RAG（可重复使用的生成式代理）？是否提供连续更新、精细调整或其他服务？这对数据标注者或提供重叠服务的其他公司有何影响？哪些服务直接被整合到模型提供商中，哪些通过云服务提供？
AI 云世界确实有两个市场细分：初创企业和中大规模的公司。「仅 GPU」的商业模式默认适用于初创企业细分市场，他们对云服务的需求较少。对于大规模的公司来说，可能更多地受限于主要平台上的 GPU 云约束。那么，提供开发者工具、API 端点、专业硬件或别的方面的公司，是否会演变为两种类似的模型——（a） 针对 AI 的「Snowflake/Databricks」模型或 （b） 针对 AI 的「Cloudflare」模型？如果是这样，哪些公司采用了哪种模型？
在拥有非常长的上下文窗口模型的情况下，AI 技术栈是如何演变的？该怎么样思考上下文窗口与提示工程、精细调整、RAG 以及推理成本之间的相互作用？
监管机构防止并购的政策怎么样影响这一个市场？至少有十几家公司正在构建与 AI 云相关的产品和服务。在一个积极反对科技行业并购的政府管理下，创业者该怎么样考虑退出策略？AI 云之间是不是应该进行整合，以扩大市场规模和优化所提供的服务？
ChatGPT 是许多 AI 创始人的起点。在 ChatGPT 以及之前的 Midjourney 和 Stable Diffusion 之前，多数人并没有重视现在正在经历的 Transformer/Diffusion 模型革命。距离模型和技术最近的人，这些 AI 研究人员和基础设施工程师第一批开始创办基于这项技术的新公司。而远离模型和技术的工程师、设计师和产品经理们，直到现在才意识到 AI 的重要性。
ChatGPT 在大约 15 个月前推出。如果决定辞职需要 9-12 个月，与合伙人一起头脑风暴初步想法需要几个月，再花几个月时间来实施，根据这一段时间周期，市场上应该会很快涌现一波 AI 相关的应用程序。
B2B 应用：在新兴的 B2B 应用浪潮中，哪些将是重要的公司和市场？在哪些领域，现有企业将获得价值，而初创企业又将获得价值？
消费者：最早的 AI 产品是「专业消费者」产品，也就是在个人和商业用例中都能够正常的使用。像 ChatGPT、Midjourney、Perplexity 和 Pika 这样的应用就是例子。为什么在 AI 生态系统中为普通消费者构建的产品如此之少？之前在 2007-2012 年的社交产品群体仿佛已不再是如今的 AI 产品用户。AI 产品的使用与构建需要更新鲜的血液，让更智能、创新的用户加入进来，共同构建下一波伟大的 AI 消费者浪潮。
Agents：AI Agents 可以做很多事情。哪些将是强有力的专注产品领域，而哪些初创企业则在寻找用例？
以上就是这份完整的 AI 领域的值得思考的问题清单。生成式 AI 的发展是所有人正在经历的令人兴奋的技术革命时刻。我们将会看到更多值得期待和有趣的创造。对上面这样一些问题的思考可能有助于创业者们更好的满足市场的需求，推动这样的领域的发展。