跳到正文
原文
AWS Machine Learning Blog· Naomi Teng·· 2 小时前精选AI 评分73

Amazon Bedrock 新增 Moonshot AI Kimi K3 模型的印度本地推理支持

Introducing India-based inference for Kimi K3 on Amazon Bedrock

AI 导读

Amazon Bedrock 正式支持 Moonshot AI 的多模态开源基础模型 Kimi K3 在印度的地理区域进行推理,主要服务于对数据驻留有严格要求的客户。该功能通过新的推理配置文件 in.moonshotai.kimi-k3 实现,确保数据处理仅在 AWS 孟买(ap-south-1)和海德拉巴(ap-south-2)区域完成,无需用户自行搭建跨区域基础设施。

文章详细展示了该模型在印度场景下的具体应用,包括处理印地语文档的 OCR 和问答任务。Kimi K3 能够直接读取包含多语言文本的图像,并输出混合印地语和英语(Hinglish)的回答。例如,在处理合成电力账单时,模型能准确提取金额、日期等结构化字段,并将天城体数字转换为西方数字。此外,AWS 提供了多种优化手段,如利用提示词缓存(prompt caching)将 LLM 成本降低 80%,以及通过服务层级选择来平衡延迟与价格。

事实:Kimi K3 现已支持印度本地推理,由 AWS 管理跨区域加密传输。推断:这标志着开源模型在特定区域合规性上的重要进展,降低了企业使用高性能开源模型的门槛。猜测:未来可能会有更多针对特定国家或地区的本地化推理配置上线。

推荐理由

Moonshot AI 的 Kimi K3 模型在 AWS Bedrock 上推出印度本地推理选项,解决了数据驻留合规问题。

来源:AWS Machine Learning Blog · aws.amazon.com