什么是 AI 推理？

推理，对外行人来说，是基于证据和推理得出的结论。在人工智能 (AI) 领域中，推理指的是 AI 基于精选数据集进行大量训练后，从从未见过的数据中推理并得出结论的能力。

了解 AI 推理是理解 AI 如何工作的重要一步。我们将介绍 AI 系统得出结论所涉及的步骤、挑战、使用场景和未来前景。

什么是 AI 推理？

AI 推理是指经过训练的 AI 模型能够识别精选数据集中的模式，并开始识别从未见过的数据中的模式。如此一来，AI 模型就可以以模仿人类的能力并进行推理和做出预测。

AI 模型由在神经网络（即类似人脑结构的语言模型）上训练的决策算法组成，可执行特定任务。其中一个简单的例子是，数据科学家为 AI 模型提供一个数据集，其中包含了数千或数百万辆汽车的图像及其制造商和型号信息。过了一会儿，该算法开始准确地识别训练数据集中的汽车。当我们将随机数据集提供给模型，让模型计算或推断出汽车的制造商和型号，并且结果达到可接受的准确性水平时，这就是 AI 推理。以这种方式训练的 AI 模型可以在边境口岸或桥梁收费站使用，通过将车牌与汽车相匹配，快速完成评估。类似的过程可以得出具有更精细的推理和预测的 AI 推理，适合用于医疗卫生、银行、零售等许多其他领域。

关键要点

• AI 推理是 AI 模型从新数据中推断或生成结论的能力。
• AI 模型依靠推理来获得模仿人类推理和语言的神奇能力。
• AI 推理是一个过程的最终目标，该过程通过各种技术和技巧，使用精心设计的数据集来训练 AI 模型。
• 成功的 AI 推理需要强大的数据架构、干净的数据和许多 GPU 周期来训练和运行生产环境中的 AI。

AI 推理详解

AI 推理是 AI 模型生命周期中 AI 训练阶段之后的下一个阶段。如果 AI 模型训练是能够自己完成作业的机器学习 (ML) 算法，那么 AI 推理就好比是在测验中取得好成绩。

AI 训练涉及向模型提供大型的精选数据集，从而学习当前的主题。训练数据的工作是教会模型执行特定任务，因此需要不同的数据集。这些数据集可能包括猫或桥梁的图像、客户服务的通话录音或医疗成像。AI 模型可以分析实时数据，识别模式，并准确预测数据集的下一步。

例如，配合大语言模型 (LLM) 使用，该模型可以推断接下来会发生什么，并生成令人惊叹的准确和流畅的句子和段落。

AI 推理的重要性

AI 推理之所以重要，是因为训练有素的 AI 模型可以对新数据进行分析并生成洞察。如果没有实时做出预测或解决任务的能力，AI 将难以扩展新的角色，包括教学、工程、医学发现和太空探索等，并在每个行业中不断开辟新的使用场景。

事实上，推理是任何 AI 程序的基本组成部分。模型识别数据集中的模式并推断准确的结论和预测的能力，是 AI 价值的核心。也就是说，AI 模型可以在几秒钟内准确读取 X 光片，或者在数千或数百万次信用卡交易中发现欺诈行为，可见这是一项值得投资的技术。

推理的类型

您是否需要一个能够近乎实时地做出高度准确决策的 AI 系统，例如判断大型交易是否可能是欺诈行为？或者，更重要的是，AI 系统是否能够使用现有数据来预测未来，比如在出现故障之前通过传感器发起维护请求？了解 AI 推理的方法将能够帮助您为项目选择更合适的模型。

• 批量推理
  批量推理是指批量使用数据离线生成 AI 预测。使用这种方法时，系统会随着时间的推移而收集数据，并定期将这些数据用于机器学习算法。当不需要立即获得 AI 输出时，批量推理是一个不错的选择。这种方法可以很好地将 AI 预测引入每小时或每天更新的业务分析仪表盘。
• 在线推理
  在线推理有时也称为“动态推理”，是一种在收到请求时才提供 AI 预测的方法。由于低延迟要求，在线推理比批推理更具挑战性。
  
  构建在线推理系统需要做出不同的前期决策。例如，经常使用的数据可能需要缓存才能快速访问，或者可能需要找到一个更简单的 AI 模型，通过更少的操作才能实现预测。由于在最终用户看到 AI 输出之前没有时间对预测结果进行审核，因此在线推理可能还需要另一层实时监控，以确保预测结果符合可接受的规范要求。目前，主流的大语言模型 (LLM)，比如 OpenAI 的 ChatGPT 和 Google 的 Bard 都是在线推理的例子。
• 流式推理
  流式推理通常在物联网系统中使用。此方法并不按照 LLM 的方式与人类进行交互。相反，数据管道，例如来自机器传感器的定期测量值会流入机器学习算法，然后不断进行预测。传感器读数的模式可以表明被监控的机器运行正常，或者模式可以表明未来会出现问题，从而触发警报或维护/维修请求。

深度学习训练和推理之间的区别

深度学习训练和 AI 推理属于是同一个过程中的两个部分，主要用于从 AI 模型中获得有用的输出。首先是深度学习训练，这是一种通过训练 AI 模型，使其能够以受人类大脑启发的方式处理数据的方式。经过训练的模型能够从数据中识别更深层次的信息。例如，模型可以从识别图像中的形状，进一步发展成识别图像中的主题或活动。AI 推理则发生在训练之后，也就是当 AI 模型被要求识别新数据中的这些元素的时候。

AI 推理的工作原理

为了在特定使用场景中提供价值，企业必须遵循许多流程，围绕技术架构、模型复杂性和数据做出许多决策。

• 数据准备
  使用企业内部的数据或识别外部数据集（包括开源数据集）作为训练材料。通常，内部和外部数据集会整合在一起。确定数据集后，需要对数据进行清理，以删除重复、不需要以及有格式问题的数据。
• 模型选择
  寻找专为提供所需 AI 输出而设计的开源、通用企业或专用模型。请记住，模型具有不同程度的复杂性。更复杂的算法可以接受更广泛的输入并进行更精准的推理，但也会需要更多的操作才能获得所需的输出结果。寻找能够满足您的计算资源复杂性和需求的模型。
• 模型优化
  通过迭代 AI 训练制度来优化模型。在每一轮的训练中，我们的目标是更接近所需的输出精度，同时减少实现目标所需的内存和计算能力。模型优化旨在提高 AI 推理的有用性，同时降低成本并尽可能减少延迟。
• 模型推理
  这是您的 AI 模型从训练阶段转向运营阶段的阶段，主要根据新数据进行推理。随着模型离生产阶段更进一步，您需要查看其输出中的推理和预测。在这个阶段，您可以检查准确性、偏见和任何数据隐私问题。
• 后处理
  在 AI 中，后处理是一套检查模型输出的方法。后处理阶段可能包括过滤、整合和集成数据的例程，以帮助排除不友好或无益的输出。
• 部署
  部署是指支持 AI 模型的架构和数据系统正式化、扩大规模并确保其在常规业务流程中的使用。这也是适合进行教育和变革管理的时候，大面积鼓励员工在工作中接受并使用 AI 的输出结果。

AI 推理的硬件要求

AI 推理是计算密集型进程的结果，该进程通过使用大型数据集的连续训练机制运行 AI 模型。AI 推断需要集成许多数据源和允许 AI 模型高效运行的架构。以下是启用该过程的关键技术。

• 中央处理单元 (CPU)
  CPU 是计算机的中央大脑。它是一个具有复杂电路的芯片，位于计算机的主板上，主要运行操作系统和应用。CPU 可帮助管理 AI 训练和推理所需的计算资源，例如数据存储和显卡。
• 图形处理单元 (GPU)
  GPU 是 AI 推理的关键硬件组件。像 CPU 一样，GPU 是具有复杂电路的芯片。与 CPU 不同的是，GPU 通过非常快速地执行数学计算，以支持图形和图像处理。这种计算能力使计算量巨大的 AI 训练和推理成为可能。
• 现场可编程门阵列 (FPGA)
  FPGA 是一种支持最终用户通过编程来使其按照特定方式工作的集成电路。在 AI 推理中，FPGA 支持配置，以提供正确的硬件速度或并行性组合，从而将数据处理工作拆分，在不同的硬件上并行运行。这使得 AI 模型能够对特定类型的数据进行预测，无论是文本、图形还是视频。
• 应用专用集成电路 (ASIC)
  ASIC 是 IT 团队和数据科学家用来以所需的速度、成本和准确性进行 AI 推理的另一种工具。ASIC 是一种计算机芯片，可将多个电路集于一个芯片上。然后，该芯片可以针对特定工作负载进行优化，无论是语音识别、图像处理、异常检测还是任何其他 AI 驱动的进程。

AI 推理部署的挑战

设计或选择 AI 模型后对其进行训练，这仅仅是个开始。在现实世界中，企业在部署 AI 模型来执行推理时会面临一系列挑战，其中包括如何为模型提供高质量的数据并解释输出结果。以下是一些需要注意的挑战。

• 数据质量
  就像在其他任何领域一样，“垃圾进、垃圾出”这一说法放在 AI 推理也同样适用。训练 AI 模型的数据必须经过审核，以确保适用性和格式无误，其中可能减缓训练过程的重复性或无关的数据也需要清理干净。
• 模型复杂性
  AI 模型具有不同程度的复杂性，无论是像识别汽车制造商和型号这么简单的情况，还是更复杂和关键的使用场景，例如审核放射科医生对 CT 扫描结果或 MRI 的解读的 AI 系统，AI 模型都可以在各种情景中进行推断和预测。一般来说，AI 训练和推理的主要挑战是构建或选择符合您的需求的模型。
• 硬件要求
  AI 推理训练是一项数据密集型工作。这不仅需要用于数据存储和数据分析的服务器、图形处理器以及速度快的网络，可能还需要现场可编程门阵列 (FPGA) 或应用集成电路 (ASIC)，支持根据您的 AI 推理使用场景进行定制。
• 可诠释性
  当 AI 推理是可诠释的或可解释的，这意味着人类训练人员可以了解 AI 是如何得出结论的。他们可以跟上 AI 用来得出答案或预测的推理思路。可诠释性在 AI 治理领域的需求日益增长，对于发现 AI 输出中的偏见非常重要，但随着 AI 系统变得更加复杂，底层算法和数据流程也可能变得过于复杂，以至于人类无法完全理解。
• 监管与合规性
  AI 监管是一个移动目标。构建数据安全性、可解释性和强大的报告结构对于 AI 推理非常重要。这有助于您更轻松地满足合规性要求，同时制定有关隐私、数据安全和 AI 偏见的法规。
• 缺乏技术人员
  设计、训练和优化 AI 推理系统所需的专业知识需要时间以及相关知识和经验来开发。因此，具备这种专业知识的人员属于是稀缺人才，聘用成本高昂。

AI 推理的应用

AI 模型能够从可用数据推断结论或预测，完成越来越多的任务。主流的大语言模型（如 ChatGPT）就是使用推理来遣词造句，达到异常高的语言精度水平。凭借推理能力，AI 也可以根据口头提示，推理需要构建的图形或视频。

AI 推理也逐渐成为了训练工业系统的重要组成部分。例如，AI 可用于生产线中快节奏的视觉检查，让人工检查员能够专注于 AI 识别的缺陷或异常，同时降低成本并改善质量控制。在机器人与人类一起工作的工业系统中，AI 推理可以实现感知、预测和规划，从而感知物体并做出精细的运动决策。

AI 推理的另一个常见用途是机器人学习，被许多完美无人驾驶汽车的尝试所推广。从 Waymo，Tesla 和 Cruz 等企业的多年训练中可以看出，机器人学习需要大量的试错，因为神经网络需要学会识别不遵守交通规则的例外情况并做出适当的反应。

AI 推理也可以辅助研究人员和医生完成工作。AI 模型通过筛选大量化学或流行病学数据来寻找治疗方法，并通过阅读医学成像中微小的线索来帮助诊断疾病。

AI 推理的未来

AI 推理的下一步将是走出大型云技术或数据中心环境，在本地计算机和设备上实现。虽然一开始使用深度学习架构训练的 AI 系统将继续在大型数据中心运行，但新一代技术和硬件正在将“最后一英里”AI 推理引入更小的设备，位于更接近数据生成的地方。

这将支持更多的定制和控制。设备和机器人将能够提升对象检测、人脸和行为识别以及预测性决策能力。如果这听起来像是通用机器人的基础，那么您并不孤单。未来几年，创新者希望将这种“边缘推理”技术部署到新市场和新行业的各种设备中。

利用 Oracle 解决方案加速实时 AI 推理

Oracle 具备大规模训练和部署 AI 模型所需的专业知识和计算能力。具体而言，Oracle Cloud Infrastructure (OCI) 是一个平台，让任何行业中的业务人员、IT 团队和数据科学家可以开展协作，并在工作中利用 AI 推理。

Oracle 全托管式 AI 平台支持团队使用 Python 及其常用的开源工具，构建、训练、部署和监视机器学习模型。借助基于 JupyterLab 的新一代环境，企业可以使用 NVIDIA GPU 和分布式训练进行试验、开发模型和扩展训练。Oracle 还支持您轻松访问 Cohere 基于 LLM 的生成式 AI 模型。

借助 OCI，您可以利用机器学习操作功能（如自动化管道、模型部署和模型监视）将模型投入生产环境，并确保模型正常运行。除了模型训练和部署，OCI 还提供一系列 SaaS 应用，其中具有内置机器学习模型和可用的 AI 服务。

当您与 AI 互动时，您看到的是正在工作中的 AI 推理。无论您使用的是异常检测、图像识别还是 AI 生成的文本，几乎任何 AI 输出都属于 AI 推理范畴。您将会经历构建、训练、优化和部署模型这个漫长、技术复杂且耗费资源的过程，而这些过程也为您的与 AI 的交互奠定了基础。

AI 推理的常见问题解答

AI 推理有哪些例子？

AI 推理的一个很好的例子是，AI 模型可以检测到金融交易中的异常情况，并根据情景推测这是一个什么类型的欺诈。然后，AI 模型可以生成警报并发送给发卡公司和账户持有人。

什么是 AI 训练和推理？

训练是指将经过整理的数据集提供给 AI 模型，使其能够开始发现和理解模式。推理则是当 AI 模型获得除了精心挑选的数据集以外的数据，需要从中发现相同的模式并据此进行预测。

推理在机器学习中意味着什么？

推理意味着一个或一系列机器学习算法已经学会如何从经过精心挑选的数据集中识别模式，过后也可以在新数据中看到这些模式。

推理在深度学习中意味着什么？

深度学习指的是使用模拟人类大脑的神经网络训练机器学习算法，从而能够识别和推断细微概念和抽象，其中一个例子是自然语言生成。

AI 推理是否可以在边缘设备上使用？

AI 推理训练传统上是一个数据密集型和计算密集型的过程。然而，虽然人们对 AI 推理的理解越来越深入，但它仍依赖远离大型数据中心、位于边缘的功能较弱的设备。这些用于 AI 推理的边缘设备可以将图像识别、语音和其他功能引入现场运营。

AI 推理与传统统计模型有何不同？

传统统计模型在设计上只是为了推断数据集中的变量之间的关系。AI 推理旨在进一步推理，根据该数据做出更准确的预测。

超参数如何影响 AI 推理性能？

在构建 AI 模型时，数据科学家有时会手动分配参数。与 AI 模型中的标准参数不同，这些超参数不是由模型从数据集推断的内容决定的。超参数就像是一根根导柱，可以根据需要进行调整，以帮助进行 AI 推理和预测性能。

企业如何帮助确保 AI 推理模型的准确性和可靠性？

其中的一个关键是，您需要明确地知道自己的输出是面向哪些人、试图解决什么问题。您想要的结果必须是具体且可衡量的。如此一来，您就可以建立基准并持续衡量系统的性能。