实时数据应用面临的主要挑战

咸彤

鉴于处理实时数据的独特挑战，企业组织需要考虑哪些工具将帮助他们以最有效的方式部署和管理AI和ML模型。

分析实时数据一直对那些使用ML模型的人提出挑战，因为他们希望使用最新数据提高推理的准确性。

由于实时数据的交付速度对于手动分析或用于数据组织的传统软件来说太快了，因此只有AI和ML才能理解大量的流数据。虽然使用实时数据是ML模型最有价值的应用之一，但对于那些希望利用该工具进行数据分析的人来说，它提出了几个问题。

接下来将讨论那些试图使用实时数据所面临的主要挑战，以及克服这些挑战的潜在方法。企业需要使用流数据而不是批处理数据，总的来说，数据流可以用于实时自动化决策，这可能涉及在复杂数据集的生产环境中利用机器学习模型。这方面的例子包括高频交易中的算法交易、医疗设备的异常检测、网络安全中的入侵检测或电子商务中的转换、保留模型。因此，使用批处理数据属于“其他所有事情”，实时决策和上下文不如有大量数据分析重要。因此，使用批量数据属于“其他所有”类别，在该类别中，实时决策和上下文并不重要，而是要分析大量数据。这方面的例子包括需求预测、客户细分和多点触控归因。

使用实时数据的挑战

虽然利用实时数据在连续数据流上训练ML模型具有快速适应变化和能够节省数据存储空间等优势，但也存在挑战。将模型转换为实时数据可能会产生额外的开销，如果没有正确考虑这些挑战，可能无法提供理想的结果。

实时的定义

处理实时数据提出了几个挑战，首先是实时数据本身的概念。“实时”这个词，不同的人有不同的理解。在分析环境中，一些人可能认为实时意味着立即获得答案，而另一些人不介意从收集数据的那一刻起等待几分钟，直到分析系统做出响应。

这些对实时的不同定义可能会导致结果不明确的问题，考虑这样一个场景，在这个场景中，管理团队对实时分析的期望和理解与实施它的人不同。不明确的定义会导致潜在用例和可以解决的业务活动（当前和未来）的不确定性。

恒定的数据速度和容量变化

一般来说，实时数据不会以一致的速度或数量流动，而且很难预测它的行为方式。与批处理数据不同，在管道中发现缺陷之前不断重新启动任务是不切实际的。由于数据不断流动，处理数据时的任何错误都会对结果产生多米诺骨牌效应。

实时数据处理阶段的有限性进一步阻碍了标准的故障排除过程。因此，尽管测试可能无法发现每个意外错误，但较新的测试平台可以更好地调节和缓解问题。

数据质量

从实时数据中获得有用的见解还取决于数据的质量。数据质量的缺乏会影响整个分析工作流程，就像糟糕的数据收集可能会影响整个管道的性能一样。没有什么比从错误的数据中得出商业结论更糟糕的。

通过分担责任和民主化数据访问，可以高度关注数据的正確性、全面性和完整性。有效的解决方案将确保每个职能部门的每个人都能认识到准确数据的价值，并鼓励他们承担起维护数据质量的责任。此外，为了保证只使用值得信赖的数据源，必须使用自动化程序将类似的质量政策应用于实时数据，减少不必要的分析工作。

各种数据源和格式

由于数据格式的多样性和数据源数量的不断增加，实时数据处理管道可能会面临困难。例如，在电子商务中，活动监控工具、电子活动跟踪器和消费者行为模型都跟踪在线世界中的网络活动。同样，在制造业中，各种各样的物联网设备被用来从各种设备中收集性能数据。所有这些用例都有不同的数据收集方法，且通常也有不同的数据格式。

由于数据的这些变化，API规范更改或传感器固件更新可能会导致实时数据流中断。为了避免错误的分析和潜在的未来问题，实时数据必须考虑到无法记录事件的情况。

过时的技术

各种新的信息来源给企业带来了问题。当前分析传入数据流程的规模已大幅增长。使用本地或云中的信息湖收集和准备信息可能需要比预期更多的测试。该问题主要源于遗留系统和技术的使用，需要不断提高熟练度的信息设计师和工程师来获取和同步信息，并创建将信息传达给应用程序所需的检查管道。鉴于处理实时数据的独特挑战，企业组织需要考虑哪些工具将帮助他们以最有效的方式部署和管理AI和ML模型，理想的选择是，创建一个简单易用的界面，让团队中的任何人可以利用实时指标和分析来跟踪、衡量和帮助提高ML的性能。

基本的可观察性功能，如生产中使用数据的实时审计跟踪，可以帮助团队轻松识别障碍的根本原因。最终，企业的竞争力可能取决于其从实时数据中获得可操作业务洞察力的能力，这些数据处理管道针对大量数据进行了优化，同时仍提供对模型性能的可见性。