刚上线的大模型应用，为什么总是出现报错？

林凯迪

IBM 科技事业部自动化技术专家

这是企业在 AI 应用时面临的非常普遍的一个问题。主要问题在于企业的运维是滞后于开发的。虽然企业看到了生成式 AI 的价值，并快速在内部部署了大模型，上线了应用，但是企业团队并没有适应这种新技术，同时也缺少相应的工具去发现问题和解决问题，因此企业在实际使用过程中可能会遇到 API 报错，响应特别慢的情况，导致新应用的实际使用体验还不如没有 AI 能力的老应用，从而对企业的业务造成了很大的影响。

IBM Instana 可以解决这些问题。Instana 从最早的云原生时代就一直是非常好用的一款工具，现在也支持对生成式 AI 的监控，它可以监控大模型的运行环境、模型的框架，以及向量数据库这些AI的组件。对于应用的其他部分，比如说业务代码，前端页面，以及中间件，Instana 也可以同时监控。Instana 对于这些组件的监控是分为横向和纵向两个部分。横向指的就是对调用链路的监控，比如说一次转账的请求，它到底经过了多少个内部的业务系统？它有没有调用大模型？它有没有遇到报错或延迟高的情况，Instana 都可以自动的去捕捉、可视化，并且去发出一些告警。

Instana 对调用链路的横向监控

那么纵向的监控，则是对应用物理依赖关系的监控。比如一个应用，它跑在哪些服务器上，它部署在哪些数据中心里，Instana 都可以非常的直观展现出来。那么这种横向和纵向的监控，使得企业应用的可观测性前所未有的提高。

Instana 对应用物理依赖关系的纵向监控

我们曾经服务过一个客户，Instana 帮助他们把定位问题的平均耗时从四十分钟减少到了四分钟，使效率提升了十倍以上，那么问题得到了快速解决，收到的投诉自然就减少了。

这恰恰是 Instana 最大的优势之一，也就是上手快。Instana 使用的是单一代理的模式，也就是说，企业不再需要像以前一样，每个应用都需要部署一个代理程序，而是一个代理程序就可以自动的注入到服务器上所有的应用中，这个过程也不需要重启应用。另外一方面，Instana 也提供了开箱即用的内置告警，因此企业也不再需要花时间去进行配置。那么这些便利性的提升，使得我们在使用的时候最快在几小时内就可以从零开始看到结果。所以无论是对应急问题的处理，还是防范于未然，企业都是可以非常快速的看到 Instana 带来的业务价值。

Instana 集成了开箱即用的内置规则

Instana 的使用场景与适用的行业非常广泛。企业无论是有非常棘手的运维问题需要处理，还是想建设 AI 时代的新的运维体系，都可以考虑使用 Instana。我们也非常期待和各位企业一起合作，为 AI 应用的落地进行保驾护航。

秋节是中国传统节日之一，也是一年中最重要、最盛大的节日之一。在这一天，以明亮的月亮和家人团聚为特点，承载着人们无尽的思念和美好的祝福。

关于 IBM

IBM 是全球领先的混合云、人工智能及企业服务提供商，帮助超过 175个国家和地区的客户，从其拥有的数据中获取商业洞察，简化业务流程，降低成本，并获得行业竞争优势。金融服务、电信和医疗健康等关键基础设施领域的超过 4000家政府和企业实体依靠 IBM 混合云平台和红帽 OpenShift 快速、高效、安全地实现数字化转型。IBM 在人工智能、量子计算、行业云解决方案和企业服务方面的突破性创新为我们的客户提供了开放和灵活的选择。对企业诚信、透明治理、社会责任、包容文化和服务精神的长期承诺是 IBM 业务发展的基石。