苏州网站建设永阳网络做网站长尾词

苏州网站建设永阳网络,做网站长尾词,昌乐营销型网站建设,网站建设银行业务预约纪念币猪年纪念币预约摘要11 月 27-28 日#xff0c;GMI Cloud 工程 VP 钱宇靖在 36 氪举办的 WISE 2025 商业之王大会中进行主题演讲。下文是分享内容的整理。AI 应用出海的核心挑战是#xff0c;模型推理服务的及时性、扩展性以及稳定性。11 月 27-28 日#xff0c;被誉为“年度科技与商业风向…摘要11 月 27-28 日GMI Cloud 工程 VP 钱宇靖在 36 氪举办的 WISE 2025 商业之王大会中进行主题演讲。下文是分享内容的整理。AI 应用出海的核心挑战是模型推理服务的及时性、扩展性以及稳定性。11 月 27-28 日被誉为“年度科技与商业风向标”的 36 氪 WISE2025 商业之王大会在北京 798 艺术区传导空间落地。此次大会上GMI Cloud 工程 VP 钱宇靖做了主题为《AI 应用的出海效能升级·算力破局与推理架构进化》的演讲。钱宇靖认为对于世界用户来说AI 应用多元化发展已经到了一个“武装到牙齿缝”的状态出海成为了中国公司释放产能、获取新生的最佳途径。而在当前中国的 AI 出海正在经历着一场范式的革新——从过去的单向技术输出到围绕算力全球化、需求的全球化、价值的全球化转型。这背后正是一场隐秘的全球价值共振。以下为演讲实录大家下午好我叫宇靖我是 GMI Cloud 的 VP of Engineering主要分管的是所有工程类的项目。今天给大家带来的分享是 AI 应用的出海效能升级以及如何算力破局、完成推理框架的进化给 AI 应用出海带来更大的效能。GMI Cloud 还是一家比较新的公司所以我在这里花一点时间给大家做一些简单的介绍。我们是一家专注于出海 AI infra 的公司我们是 NVIDIA 首批六大 Reference Cloud Partner 之一主要 focus 的项目就是我们的 AI 硬件以及往上的推理架构。现在整个 GMI Cloud 有三大产品线——最底层的计算硬件、集群管理、MaaS 层的推理服务。从三个不同维度给各种 AI 企业客户提供他们所需要的能力。我们在全球多地东亚、南亚、北美、欧洲、加拿大建有自有机房同时我们刚刚耗资 5 亿美金在亚洲和英伟达一起建了一座 GB300 万卡集群的 AI Factory。在中国我们主要面向 AI 出海的企业用户关注出海帮助大家做好出海。那我们进入正题除了业务模式需要GMI Cloud 在 2025 年关注到了哪些出海趋势在今年这个当口有的人会觉得 AI 有很大的泡沫有的人又会信仰 AI认为 AI 应用接下来会有指数级的增长。从一个算力提供商或者是服务提供商的角度而言我们所能看到的趋势是AI 的市场的确是在一个 exponential growth 的形式往上增长。虽然不同的企业、不同的分析师对于 2025 年下半年或者 2026 年的市场有着不同的分析但是整体的方向依然是一个向上走的方向。我们可以看到的是今年中国海外 AI 应用的月活用户依然是在不断攀升的。全球用户尤其是北美他们对于主动拥抱 AI 这件事情已经养成了习惯大家对于 AI 的应用的使用已经到了一个“武装到牙齿缝”的状态90%以上的美国知识工作者已经非常熟练的在使用 AI 工具。大家都知道国内的付费软件实际上是一个高同质化、高获客成本的事情也就是说在国内做 SaaS 门槛非常高。但在中东以及拉丁美洲有一个比较吃惊的数据AI 的应用也已经到了一个比较高的水位了也就是说出海市场我们的用户教育其实基本上已经完成了这给我们出海带来了一个极大的需求水位差。所以出海是释放产能、获取新生的最佳途径。当然很多国内的企业也已经看到这个趋势在过去的两年中有很多的国内企业已经在进行 AI 服务出海随之而来的就是 AI 推理需求的指数型暴涨这个是我们作为算力提供商能够清晰感知到的一件事。我们总结了一下在 AI 出海的过程中会遇到以下几个关于推理相关的核心挑战比如服务的及时性、扩展性以及稳定性。我们知道 AI 产品的一个趋势是泼天的富贵是突然到来的很多时候对于 AI 出海企业来讲你没办法以传统软件的角度去对它进行常规扩容毕竟所有的 Token 都是需要 GPU 的尤其是全球性扩容这是一个比较大的挑战。此外另外一个挑战是整个 AI 技术栈的技术迭代实在是太快了。从今年 1 月份到今年 5 月份由于多节点系统推理爆发Token 价格实际上从一个比较高的水位直接打到了一个地板价。对于企业而言它往往需要用自己的资源去做这件事情所以他们也会有一个苦恼是企业要如何跟得上现在的技术发展我们作为提供商看到了这些需求和挑战。GMI Cloud 在今年做了什么事情呢首先作为一个算力服务商我们当然是要建好自己的机房现在我们在跟 NVIDIA 去做一个叫做 AI Factory 的项目这个项目是黄仁勋 4 月份的时候给大家透露出来的会利用最新的 GB200、GB300 这样的大型的机器极大增加集群吞吐量。我们是亚洲区域为数不多最先进行 AI factory 的 NCP 之一而且是万卡集群的规模。然后就是继续迭代我们的集群引擎和推理引擎。分别是中间层和上一层。这两个引擎目标的客户群也是不一样的——我们的集群引擎它面对的客户是有一定工程技术能力、想要做一些比较复杂应用的客户上层的推理引擎是对一些更加轻量级完全注重于终端应用的一些企业客户而设计的。我们的集群引擎Cluster Engine实际上跟传统云是非常类似的只不过作为 AI 的原生云它更 focus 在 GPU 本身的算力。我们的集群引擎是一个标准的 IaaS 层基本上覆盖了底层的硬件、中间的裸金属再往上是集群管理并且我们会覆盖非常非常多的可监控性的一些插件给大家提供一个比较熟悉的过程。很多出海企业可能会习惯用一些海外大云比如 GCP、AWS这些云关于 GPU workload 的一些功能我们同样会去支持。我们会有一个特殊化的 IB 组网技术使得客户能够选择他自己想要的集群尺寸来进行训练。另外现在很多客户会有私有的集群在这个过程中往往会遇到扩容的问题这个问题也会被我们的 Cluster Engine 所完美的解决因为我们已经接入了一个多云的架构。客户可以在他自己的资源以及传统的大云的资源之间进行切换来完成他的峰值扩缩容的需求。再讲一下我们的推理引擎Inference Engine。推理引擎是一个更加简单的产品项目也就是前段时间大家所讲的比较火的一个概念叫做 Serverless。我们的推理引擎集成了全球头部的大模型无论是开源还是闭源在我们平台上都有得到支持你只需要一个 API 就可以访问全球最新、最强的所有模型。另外我们的 GMI Cloud 推理引擎支持跨集群、跨地区的自动扩缩容。为什么要做这件事呢这也是跟出海需求强相关的事。我们发现很多客户去训练了一套自己的模型当他上线了以后就会发现他的流量在峰值的时候接不住。其次当不同地区的用户上线了以后也会由于他集群地址一开始的选择影响他的整个产品体验。所以 Inference Engine2.0 的这个版本就是专门为这种场景所设计的我们可以帮客户去解决跨地区和跨集群自动扩缩容的问题。具体怎么做的呢我们其实做了一个三层设计的架构调度全球的资源。基本上所有的 Engine 的 Workload 可以被分为两种调度方式一种是 queue based第二种是 load balancing based。queue based 主要适用于现在比较火的一些像视频类或者语音类的模型load balancing based 主要适用于大家比较熟知的一些大语言模型我们会根据不同的 Workload来选择它的调度方式。比如一个 Workload 对于延时是不是足够敏感还是说成本更加敏感对于不同的选项我们会调度到不同的大区在不同的大区再把工作流进行分发达到一个终端的 GPU 上面。简而言之我们的推理引擎的核心架构有五个核心的特征1、全球化的部署你只需要用我们一个平台就可以解决全球化服务的部署。2、我们帮你解决了二级调度架构的问题当然这个跟全球部署也是息息相关的。3、弹性。所有出海的模型公司、应用公司遇到最大的问题是弹性伸缩因为企业刚开始的流量都具有波峰波谷的性质它一开始目标的客户人群以及客户地区总是有限的所以弹性是一个刚需。4、高可用设计我们可以保证客户的 Workload 可以在任何时刻都可以被访问。5、所有 Workload 的统一管理。以上五个特性是我们根据我们所看到的客户需求而提供的五大特性。跟刚才的集群引擎一样GMI Cloud Inference Engine 也支持混合云。无论你是自己想要自建集群还是用 GMI Cloud 自己的集群或者是在一些公有云上已经有了 Credit或者是已经有了一些 Workload都可以通过我们平台做统一的纳管。你不太需要担心资源的碎片化以及利用率这在我们的顶层调度中已经被考虑到了。在这边我也打一个小小的广告。如果你有需求需要 host 你自己的模型进行出海的话可以试一试我们的推理引擎 2.0 的产品叫做 Dedicated Endpoint也就是一个独站式的节点。你可以尝试使用一下这个产品尝试一下想要把节点布到哪些集群、哪些地区上以及你可以根据需求选择便宜的节点或者更便捷的节点。另外给大家一个小小的预告我们即将上线一个名为“GMI Studio”的产品一个全新打造的创作体验产品。这个产品力我们将原本偏模型管理以及部署的控制台升级为一个面向创业者、用户群的产品。通过 GMI Studio用户无需本地环境也不需要搭建一个复杂的推理框架就能够在云端以“拖拽”的方式自由组合出最新的 AI 模型以及它的应用。最后让我们来畅想一下 2026 年吧。2026 年的 AI 出海范式升级是一个从旧范式——也就是单向的技术输出到新范式——也就是全球价值共振的过程。随着 AI 出海浪潮愈演愈热 AI 全球化正式升维跳出 “技术单向输出” 的浅层认知指向全球 AI 产业从 “资源割裂” 到 “价值循环” 的底层变革。它不再是 AI 应用的地理性扩张而是算力、技术、需求在全球范围内形成的 “双向赋能生态”。算力层全球资源余缺互补优质算力加速模型优化应用层Token 从单纯的 API 调用计量演进为算力结算与生态激励的复合价值载体。全球 AI 创新共生模型、应用、场景、算力正在形成新的价值正循环。关于 GMI Cloud由 Google X 的 AI 专家与硅谷精英共同参与创立的 GMI Cloud 是一家领先的 AI Native Cloud 服务商是全球六大 Reference Platform NVIDIA Cloud Partner 之一拥有遍布全球的数据中心为企业 AI 应用提供最新、最优的 GPU 云服务为全球新创公司、研究机构和大型企业提供稳定安全、高效经济的 AI 云服务解决方案。GMI Cloud 凭借高稳定性的技术架构、强大的GPU供应链以及令人瞩目的 GPU 产品阵容如能够精准平衡 AI 成本与效率的 H200、具有卓越性能的 GB200、GB300 以及未来所有全新上线的高性能芯片确保企业客户在高度数据安全与计算效能的基础上高效低本地完成 AI 落地。此外通过自研“Cluster Engine”、“Inference Engine”两大平台完成从算力原子化供给到业务级智算服务的全栈跃迁全力构建下一代智能算力基座。作为推动通用人工智能AGI未来发展的重要力量GMI Cloud 持续在 AI 基础设施领域引领创新。选择 GMI Cloud您不仅是选择了先进的 GPU 云服务更是选择了一个全方位的 AI 基础设施合作伙伴。如果您想要了解有关 GMI Cloud 的信息请关注我们并建立联系