关于客户

XX科技公司有限公司是一家初创的移动应用开发公司。该公司专注于为内部员工和东南亚客户开发生成式人工智能应用程序。

客户挑战

XX科技公司面临的主要挑战包括计算资源、模型选择和优化以及弹性扩展。生成式AI通常需要大量的计算资源进行训练，这超出了初创公司的预算。例如，ChatGLM-6B需要至少13GB的显存进行推理。此外，有许多不同的生成式AI模型可供选择，每个模型都有其优点和缺点。选择和优化合适的模型需要大量的时间和经验。最后，基于本地的应用程序面临请求变化时无法弹性扩展的问题。

合作伙伴解决方案

借助AWS上的生成式人工智能应用程序生成器解决方案指南，INTCloud将XX科技公司本地的智能聊天机器人的网络、应用和数据库服务器以及大型语言模型迁移到云上的EC2和DynamoDB。通过Kendra摄取特定于业务的数据和文档、评估和比较Sagemaker上的大型语言模型（LLM）的性能、快速构建可扩展的应用程序以及使用企业级架构部署这些应用程序，从而加快开发并简化试验。

成果和收益

智能聊天机器人的交互方式灵活直观，定制工具集让用户使用无门槛，符合XX科技公司以用户为中心的快速开发流程和迭代节奏。通过 EC2 Auto Scaling方案，按实际请求弹性扩展，降低了计算成本85%，Sagemaker 及其随附模型（例如 BERT）的集成，节省了开发人员的时间，提高开发效率76%。

关于合作伙伴

INTCloud成立于2023年，致力于为政府和企业提供完整云计算解决方案、为企业提供数字化管理服务。INTCloud人员总计140人；核心人员平均从业年限7年以上，中间力量队伍平均从业年限3年以上。INTCloud以“信息技术为支撑，专属服务为延伸”的两大综合线，以客户第一、诚信至上，精益求精、服务至上的经营理念，深耕西南，覆盖全国，服务用户超一万家，签订的合作渠道（个人/企业）超百余家。在不断完善服务体系的同时，也成就了自身强大的研发能力、上云技术支持能力以及丰富的信息资源和市场运作实力，我们将助力更多企业从信息化向智能化、数字化升级。