如何使用 Oracle Virtual Networking 构建更好的数据中心

部署 Oracle VM Server for SPARC

作者:Satinder Nijjar

本文演示如何在 Oracle VM Server for SPARC 上供应 Oracle Virtual Networking 的虚拟网络接口卡 (vNIC) 和虚拟主机总线适配器 (vHBA)。然后介绍如何使用 Oracle Fabric Manager 创建网络、专用虚拟互连 (PVI) 和存储“云”,以及如何创建服务器池和部署来宾逻辑域。


2014 年 9 月发布


想对本文发表评论吗?请将链接发布在 Facebook 的 OTN Garage 页面上。有类似文章要分享?请将其发布在 Facebook 或 Twitter 上,我们来进行讨论。
目录
简介
前期准备
安装 Oracle Virtual Networking 主机驱动程序
在 Oracle Fabric Manager 中创建云和 I/O 模板
创建服务器池和部署来宾 LDom
附录:将 Oracle Virtual Networking 主机驱动程序上载到 Oracle Enterprise Manager Ops Center 12c
另请参见
关于作者

简介

Oracle Virtual Networking 将数据中心基础设施虚拟化,实现虚拟机 (VM) 或服务器与其他 VM、服务器、网络资源和存储设备的连接。在本文中,您将了解如何在 Oracle VM Server for SPARC 上安装 Oracle Virtual Networking 主机驱动程序,以及如何使用 Oracle Fabric Manager 创建网络、专用虚拟互连 (PVI) 和存储“云”。我们将利用 Oracle Enterprise Manager Ops Center 12c 第 2 版和内置的 Oracle Solaris 多路径 (MPxIO) 功能。

:本文假定您对 Oracle Virtual Networking 及其组件有一个基本的了解,具有光纤通道 (FC) 交换和存储的实践经验。此外,还假定您熟悉 Oracle Enterprise Manager Ops Center 和 Oracle VM Server for SPARC。如果您需要这些技术的信息,请参见本文结尾处“另请参见”部分列出的资源。

图 1 至图 3 显示本文所述示例配置的机架配置和接线示意图。

图 1. 示例机架配置

图 1. 示例机架配置

图 2. 示例 InfiniBand 接线示意图

图 2. 示例 InfiniBand 接线示意图

图 3. 示例以太网和光纤通道接线示意图

图 3. 示例以太网和光纤通道接线示意图

前期准备

:有关哪些设备和软件与 Oracle Virtual Networking 兼容的更多信息,请参见“Oracle Virtual Networking — 兼容性”。

确保您具有表 1 中列出的必备硬件。

表 1. 必备硬件和可选硬件
必备硬件和可选硬件 数量 其他建议/说明
(必需)Oracle Fabric Interconnect F1-15 或 Oracle Fabric Interconnect F1-4 2 推荐固件:Oracle Xsigo 固件(名为 XgOS),版本 3.9.2 或更高版本。

每个 Oracle Fabric Interconnect 所需的 I/O 卡:
- 1 个 四端口 10 Gb 以太网 (GbE)
- 1 个 双端口 8 GB FC
(必需)Oracle SPARC T5-2 服务器 2 推荐操作系统:Oracle Solaris 11.1 SRU 20.5 或更高版本。

至少以下一种:
- Oracle 双端口 QDR InfiniBand 适配器 M3(部件号 7104074);推荐最低固件版本:2.11.1280 或更高版本
- Oracle Sun InfiniBand QDR 主机通道适配器 PCIe:Low Profile(部件号 X4242A);推荐最低固件版本:FW25408 2.11.2010 或更高版本
(必需)光纤通道存储阵列 (SAN) 1 本文所述示例采用 Oracle Sun ZFS Storage 7120 设备。
(必需)光纤通道 SAN 交换机 2 交换机供应商提供的最新固件;启用 NPIV。
(可选)Oracle Sun Datacenter InfiniBand Switch 36 2 如果要扩展到 18 个主机以上(每个主机两个 HCA),您可以使用此交换机部署一个 InfiniBand (IB) 主干和叶拓扑;推荐最低固件版本为 2.1.4 或更高版本。
(可选)Oracle 交换机 ES1-24 2 为建立与网络的以太网连接,本文示例采用了两台这种交换机。

确保您具有表 2 中显示的必备软件:

表 2. 所需软件
所需软件 版本
Oracle Fabric Manager 版本 4.2.1 或更高版本
Oracle Enterprise Manager Ops Center 12c 第 2 版 版本 12.2.0.2663
Oracle Virtual Networking 主机驱动程序 版本 5.3.5(或更高版本),适用于 SPARC(64 位)上的 Oracle Solaris 11.1;稍后将下载并安装

参考图 1 至图 3 及表 1 和表 2,确保您已完成以下任务:

  • 已安装 Oracle Fabric Interconnect 并已完成其初始配置。有关如何安装 Oracle Fabric Interconnect 的详细信息,请参见“如何使用 Oracle Virtual Networking 构建更好的数据中心:Oracle Fabric Interconnect 初始部署”。

    本文假定这两台 SPARC T5-2 服务器已经作为主机通过 HCA 连接到 Oracle Virtual Networking InfiniBand 结构。请参见 Oracle SDN 1.0.0 快速入门指南 了解详细信息。

  • 已安装 Oracle Fabric Manager 并完成其初始配置。有关如何安装 Oracle Fabric Manager 的详细信息,请参见“如何使用 Oracle Virtual Networking 构建更好的数据中心:Oracle Fabric Manager 初始部署和配置”。

    :本文中,Oracle Fabric Manger 安装在 Oracle Linux 上。假定所有以太网配置均已完成,包括将所有以太网端口设置为 Trunk 模式或创建链路聚合组 (LAG)。本文假定您仅将每个 Oracle Fabric Interconnect 上的两个光纤通道端口中的一个连接到两个独立光纤通道交换结构。

  • 已通过 Oracle Enterprise Manager Ops Center 12c 第 2 版将 Oracle VM Server for SPARC 部署在 SPARC T5-2 服务器的控制域 (CDom) 上,已通过 Oracle Enterprise Manager Ops Center 经 net0 部署了服务器。也可以通过链路聚合组 (LAG) 进行管理,但这不在本文讨论范围内。

    本文假定您熟悉 Oracle Enterprise Manager Ops Center 12c 第 2 版和 Oracle VM Server for SPARC。有关详细信息,请参见 Oracle Enterprise Manager Ops Center 文档和这些 Oracle VM Server for SPARC 技术白皮书

  • 光纤通道存储阵列 (SAN) 已经配置好,通过光纤通道交换机经光纤通道 I/O 模块连接到每个 Oracle Fabric Interconnect。存储管理员需要将所有 LUN 分区到主机。光纤通道分区与存储 LUN 的创建和表示不在本文讨论范围内。
  • 图 2 和图 3 中所示其他接线均已执行。
  • 如果需要,使用 Sun Datacenter InfiniBand Switch 36 交换机部署 IB 主干和叶拓扑。

安装 Oracle Virtual Networking 主机驱动程序

在本节中,我们将先前下载的 Oracle Virtual Networking 主机驱动程序安装到 SPARC T5-2 服务器,这些服务器连接到 Oracle Fabric Interconnect,其上部署了 Oracle VM for Server for SPARC。安装 Oracle Virtual Networking 主机驱动程序之前,请阅读相关文档。主机驱动程序的版本说明位于 Oracle Virtual Networking 文档页

要在每台服务器上安装主机驱动程序,请执行以下步骤。

  1. My Oracle Support 上适用于 SPARC(64 位)上的 Oracle Solaris 11.1 的最新 Oracle Virtual Networking 主机驱动程序(如版本 5.3.5)下载到服务器。该程序可在 Patches and Updates 选项卡下按“Product or Family”搜索到,其中 Product 是“Oracle Fabric Interconnect”,“Release”为“Solaris Drivers 5.5.0”或更高版本,或者“Product or Family”是“Oracle Virtual Networking”,“Release”为“Oracle Virtual Networking Drivers 5.3.X”或更高版本。选中 Include all products in a family 复选框。

    :通过 Oracle Enterprise Manager Ops Center 部署主机时,您可以将主机驱动程序上载到 Oracle Enterprise Manager Ops Center,然后将主机驱动程序添加到 Oracle Solaris 11 软件更新库,再将该驱动程序安装到每个主机上,无需按此过程所述将主机驱动程序下载到每个主机。如果您想这样做,请使用附录中的说明,不必执行本过程的其余步骤。

  2. root 身份登录到服务器。
  3. 将下载的驱动程序文件复制到服务器本地。(本过程中,假定将驱动程序复制到 /usr。)
  4. 在复制文件的目录中,使用 tar xvzf 命令解压缩驱动程序文件,例如:

    tar xvzf ORCLovn-5.2.1-SL-sparcv.tgz
    
  5. 使用 pkg set-publisher 命令并指定主机驱动程序文件所在目录来设置发布者,例如:

    pkg set-publisher -p /usr/ORCLovn
    
  6. 使用 pkg install 命令并指定主机驱动程序文件名来安装主机驱动程序,例如:

    pkg install ORCLovn-drv
    
  7. (可选)使用 pkg unset-publisher 命令并指定主机驱动程序文件所在目录来取消发布者的设置,例如:

    pkg unset-publisher /usr/ORCLovn
    
  8. 安装主机驱动程序之后,xsadmd 服务有时设置为禁用状态。安装驱动程序之后、重启服务器之前,执行以下命令检查服务状态,如果被禁用,则重新启用:

    svccfg -s application/xsadmd:default setprop general/enabled = true
    svccfg -s application/xsadmd:default refresh
    
  9. 等以上命令完成,然后重新启动服务器,将驱动程序加载到内存中,例如:

    shutdown -y -g0 -i6
    
  10. 重新启动之后,执行以下任一操作,验证是否安装了主机驱动程序:

    • 执行带 greppkg list 命令搜索 ORCLovn-drv(驱动程序文件名的一部分)。
    • 执行 svcs xsadmd 命令。如果 xsadmd 服务存在且在线,表明已安装 Oracle Virtual Networking 主机驱动程序。
    • 执行带 grepmodinfo 命令搜索 xs,查看模块是否安装。

在 Oracle Fabric Manager 中创建云和 I/O 模板

在本节中,我们将创建网络、专用虚拟互连 (PVI) 和存储云,然后将使用创建的云创建 I/O 模板。每个网络云有两个 vNIC,存储云包含两个 vHBA,每个 Oracle Fabric Interconnect 一个。每个 PVI 云两个 PVI vNIC,因为每个 SPARC T5-2 服务器最少有两个活动的 HCA 端口,PVI vNIC 将连接到一个单独的 HCA 端口。

登录到 Oracle Fabric Manager

  1. 打开浏览器,访问 https://<hostname>:8443/xms/Login.jsf,其中 <hostname> 是在安装了 Oracle Fabric Manager 的主机的 IP 地址或完全限定域名 (FQDN)。
  2. root 用户身份登录。

    图 4. 登录到 Oracle Fabric Manager

    图 4. 登录到 Oracle Fabric Manager

创建网络云

我们将使用 Oracle Fabric Manager 创建两个网络云:一个名为 LDom_mgmt_10G,用于 vLAN 1 上的逻辑域 (LDom) 管理,另一个名为 LDom_net_10G,是满足所有其他 LDom 网络需求的 vLAN 干线网络。

  1. 要创建网络云,请从 Navigation 面板选择 Network Clouds

    图 5. 选择 Network Clouds 项

    图 5. 选择 Network Clouds 项

  2. 在 Network Cloud Summary 窗口中,单击 Add a New Network Cloud 图标

    图 6. 选择 Add a New Network Cloud 图标

    图 6. 选择 Add a New Network Cloud 图标

  3. 将网络云命名为 LDom_mgmt_10G,然后从每个 Oracle Fabric Interconnect 选择相应的以太网端口或 LAG(考虑到所有 vLAN 要求,例如 Trunk 或 Access 模式)。然后单击 Submit。(在本配置中,vLAN 1 是管理 vLAN。)
  4. 单击 Advanced Configuration,将 Access VLAN ID 设置为 1,然后单击 Submit

    图 7. 指定 LDom_mgmt_10G 云的高级配置信息

    图 7. 指定 LDom_mgmt_10G 云的高级配置信息

  5. 重复第 1 步到第 3 步,创建 LDom_net_10G 云。(在本文中,LDom_mgmt_10G 和 LDom_net_10G 位于相同的底层 I/O 端口上,因此您可以选择启用其他 1/10G I/O 端口并将这些云连接到不同的 I/O 端口。)
  6. 单击 Advanced Configuration,选择 Trunk Mode,然后单击 Submit

    图 8. 指定 LDom_net_10G 云的高级配置信息

    图 8. 指定 LDom_net_10G 云的高级配置信息

创建 PVI 云

我们将使用 Oracle Fabric Manager 创建两个 PVI 云:LDom_net_PVI 和 LDom_LiveMigration_PVI。

  1. 要创建 PVI 云,请从 Navigation 面板选择 PVI Clouds

    图 9. 选择 PVI Clouds 项

    图 9. 选择 PVI Clouds 项

  2. 在 PVI Cloud Summary 窗口中,单击 Add a New PVI Cloud 图标

    图 10. 选择 Add a New PVI Cloud 图标

    图 10. 选择 Add a New PVI Cloud 图标

  3. 将 PVI 云命名为 LDom_net_PVI,选择结构,将 MTU 设置为 9000,然后单击 Submit

    图 11. 添加 LDom_net_PVI 云

    图 11. 添加 LDom_net_PVI 云

  4. 重复第 1 步到第 3 步,创建第二个 PVI 云,只是将其命名为 LDom_LiveMigration_PVI。与前面一样,将 MTU 设置为 9000。

    图 12 显示两个 PVI 云在创建之后的摘要信息。

    图 12. 两个 PVI 云的摘要信息

    图 12. 两个 PVI 云的摘要信息

创建存储云

我们将使用 Oracle Fabric Manager 创建一个存储云。本文所示示例中所使用的存储阵列为 Sun ZFS Storage 7120 设备,连接到两个 FC 交换机。来自一个 Oracle Fabric Interconnect 模块的端口连接到一个 FC 交换机,来自另一个 Oracle Fabric Interconnect FC 模块的端口连接到另一个 FC 交换机。

和典型生产环境中一样,本示例中也有两个独立的 FC 结构。但本示例中没有冗余存储阵列。在实际生产环境中,您通常有一个双头冗余存储阵列。

  1. 要创建存储云,请从 Navigation 面板选择 Storage Clouds

    图 13. 选择 Storage Clouds 项

    图 13. 选择 Storage Clouds 项

  2. 在 Storage Cloud Summary 窗口中,单击 Add a Storage Cloud 图标

    图 14. 选择 Add a Storage Cloud 图标

    图 14. 选择 Add a Storage Cloud 图标

  3. 将存储云命名为 LDom_FC,选择 FC 端口,然后单击 Submit

    图 15. 创建存储云

    图 15. 创建存储云

为 Oracle VM Server for SPARC 创建 I/O 模板

对于 Oracle VM Server for SPARC,我们将在 Oracle Fabric Manager 中创建高可用性 (HA) vNIC 和 HA vHBA。因为操作系统是 Oracle VM,Oracle Fabric Manager 只需创建两个单独的 vNIC 和 vHBA。然后,在 Oracle Enterprise Manager Ops Center 中,我们将使用 vNIC 创建一个 IP 网络多路径 (IPMP) 链路,MPXIO 将管理到所表示的任何存储 LUN 的多条路径。

使用 Oracle Virtual Networking 时,我们对 vNIC 和 vHBA 的命名必须遵循“适用于 Oracle Solaris 11.1 的 Oracle Virtual Networking 主机驱动程序版本说明”的“系统限制”一节中指定的限制,上面写着:使用 Oracle Solaris 系统时,对虚拟资源的命名有以下长度限制:

  • vNIC:10 个字符
  • vHBA:15 个字符
  • 服务器配置文件:31 个字符

我们将创建以下 vNIC 和 vHBA:

  • 管理、默认 VLAN 1,ldommgmt1ldommgmt1B
  • 实时迁移、PVI,ldomlm1ldomlm1B
  • LDom PVI 网络、PVI,ldompvi1ldompvi1B
  • LDom 网络、无标记 Trunk 端口,ldomnet1ldomnet1B
  • 存储、光纤通道,cdomhba1cdomhba1B
  1. 在 Oracle Fabric Manager 中,选择 Navigation 面板中的 I/O Templates

    图 16. 选择 I/O Templates 项

    图 16. 选择 I/O Templates 项

  2. 单击 I/O Template Summary 窗口中的 Create an I/O Template 图标

    图 17. 选择 Create an I/O Template 图标

    图 17. 选择 Create an I/O Template 图标

  3. 在 I/O Template Editor 窗口中,将模板命名为 LDOM_Template,单击双紫色 Add an HA vNIC to the template 图标四次,然后单击双绿色 Add an HA vHBA to the template 图标一次。

    图 18. I/O Template Editor

    图 18. I/O Template Editor

  4. 现在双击选择每个 vNIC 和 vHBA,使用本过程之前描述的命名约定编辑每个 vNIC 和 vHBA,然后连接到相应的网络、PVI 和存储云。

    您只需创建 ldommgmt1ldomlm1ldompvi1ldomnet1cdomhba1。Oracle Fabric Manager 将创建对应的 <name>1B vNIC 和 vHBA,它们是每对中的第二个 vNIC 或 vHBA。

    图 19. 创建 vNIC 和 vHBA

    图 19. 创建 vNIC 和 vHBA

  5. 单击 Save 保存模板。

    图 20. 保存模板

    图 20. 保存模板

  6. 查看模板:

    1. 在 I/O Template Summary 窗口中,选择新创建的模板。
    2. 单击 General 选项卡中的 Edit,取消选中 Apply Template Name 选项,然后单击 Submit

      Oracle Fabric Manager 将在 Oracle Fabric Interconnect 上创建服务器配置文件,创建过程中使用的是主机名,而非模板名加一个随机生成的数。需要说明的是,您一定更新了主机上的主机名。将 I/O 模板绑定到主机后,Oracle Fabric Manager 随后将使用主机名创建配置文件。

      图 21. 取消选中 Apply Template Name 选项

      图 21. 取消选中 Apply Template Name 选项

    3. 单击 vNICs 选项卡,验证已使用适当的 vNIC 正确创建模板。

      图 22. 验证已使用适当的 vNIC 正确创建模板

      图 22. 验证已使用适当的 vNIC 正确创建模板

    4. 单击 vHBAs 选项卡,验证已使用适当的 vHBA 正确创建模板。

      图 23. 验证已使用适当的 vHBA 创建模板

      图 23. 验证已使用适当的 vHBA 创建模板

将 I/O 模板应用于 SPARC 服务器

  1. 在 Oracle Fabric Manager 中,选择 Navigation 面板中的 Physical Servers

    图 24. 选择 Physical Servers 项

    图 24. 选择 Physical Servers 项

    您将看到所有安装了 Oracle Virtual Networking 驱动程序的与 InfiniBand 连接的服务器。

    图 25. 物理服务器摘要

    图 25. 物理服务器摘要

  2. 选择服务器并单击 Assign an I/O Template 图标

    图 26. 选择 Assign an I/O Template to the Selected Server 图标

    图 26. 选择“Assign an I/O template to the selected server”图标

  3. 在“Choose a template to assign”窗口中选择适当的模板,单击 Submit

    图 27. 选择适当的模板

    图 27. 选择适当的模板

  4. 单击确认对话框中的 Yes

    图 28. 确认您希望应用模板

    图 28. 确认您希望应用模板

  5. 在 Recent Jobs Summary 窗口中,检查 I/O 配置文件到物理服务器作业的绑定的状态。这可能需要一段时间,但当作业完成时,State 列将显示 Complete

    图 29. 检查 I/O 配置文件是否绑定到服务器

    图 29. 检查 I/O 配置文件是否绑定到服务器

    :如果应用 I/O 模板时您在控制域 (CDom) 控制台,将看到关于 Oracle Virtual Networking 设备的“NOTICE”消息。

  6. 当 ApplyIOTemplate 作业显示 Complete 时,选择一个服务器并确认已经按预期供应虚拟 I/O。检查 vNIC 和 vHBA。

    图 30. 检查 vNIC

    图 30. 检查 vNIC

    图 31. 检查 vHBA

    图 31. 检查 vHBA

  7. 验证其余服务器是否已按预期部署。

验证 Oracle Virtual Networking vNIC 部署

登录到每个 SPARC T5-2 服务器,验证是否部署 Oracle Virtual Networking vNIC。

然后,在 CDom 控制台上使用图 32 至图 35 所示命令,将 Oracle Virtual Networking vNIC 名称映射到 Oracle Solaris 网络名称。请参见表 3。

图 32 和图 33 中所示命令将显示所有 Oracle Virtual Networking vNIC 的列表,并将每个 Oracle Virtual Networking vNIC 与 xsvnic 驱动程序(“xsvnic”是 Oracle Solaris 所看到的 Oracle Virtual Networking 驱动程序的名称)的一个实例号关联。

图 34 和图 35 中所示命令将使用 xsvnic 实例号显示所有 Oracle Virtual Networking vNIC;然后可以将这些实例号与 Oracle Solaris 网络名称关联。

图 32. 将第一台服务器上的 vNIC 与 xsvnic 实例号关联

图 32. 将第一台服务器上的 vNIC 与 xsvnic 实例号关联

图 33. 将第二台服务器上的 vNIC 与 xsvnic 实例号关联

图 33. 将第二台服务器上的 vNIC 与 xsvnic 实例号关联

图 34. 将第一台服务器上的 xsvnic 号与 Oracle Solaris 网络名称关联

图 34. 将第一台服务器上的 xsvnic 号与 Oracle Solaris 网络名称关联

图 35. 将第二台服务器上的 xsvnic 号与 Oracle Solaris 网络名称关联

图 35. 将第二台服务器上的 xsvnic 号与 Oracle Solaris 网络名称关联

表 3. 将 Oracle Virtual Networking vNIC 名称映射到 Oracle Solaris 网络名称
系统 OVNT5-2A 系统 OVNT5-2B
Oracle Virtual Networking vNIC 名称 xsvnic 名称 Oracle Solaris 网络名称 Oracle Virtual Networking vNIC 名称 xsvnic 名称 Oracle Solaris 网络名称
ldommgmt1 xsvnic6 net26 ldommgmt1 xsvnic6 net26
ldommgmt1B xsvnic2 net22 ldommgmt1B xsvnic2 net30
ldomnet1 xsvnic7 net16 ldomnet1 xsvnic7 net16
ldomnet1B xsvnic3 net24 ldomnet1B xsvnic3 net29
ldomlm1 xsvnic4 net28 ldomlm1 xsvnic4 net28
ldomlm1B xsvnic0 net20 ldomlm1B xsvnic0 net21
ldompvi1 xsvnic5 net27 ldompvi1 xsvnic5 net27
ldompvi1B xsvnic1 net21 ldompvi1B xsvnic1 net31

在表 3 中,注意系统 OVNT5-2B 上 ldommgmt1B、ldomnet1B、ldomlm1B 和 ldompvi1B 的 Oracle Solaris 网络名称与系统 OVNT5-2A 上对应项的网络名称不一致。下一节将说明如何纠正。

让 Oracle Solaris 网络名称一致的可选步骤

如果执行此步骤,需要在执行所有其他命令或完成所有 IP 地址分配之前执行。请参考“dladm 命令”了解更多详细信息。

使用图 36 所示的 dladm rename-link old-linkname new-linkname 命令,让系统 OVNT5-2B 上的 Oracle Solaris 网络名称一致。表 4 显示一致后的名称。

图 36. 重命名四个 Oracle Solaris 网络名称

图 36. 重命名四个 Oracle Solaris 网络名称

图 4. 更新后的 Oracle Solaris 网络名称
系统 OVNT5-2A 系统 OVNT5-2B
Oracle Virtual Networking vNIC 名称 xsvnic 名称 Oracle Solaris 网络名称 Oracle Virtual Networking vNIC 名称 xsvnic 名称 Oracle Solaris 网络名称
ldommgmt1 xsvnic6 net26 ldommgmt1 xsvnic6 net26
ldommgmt1B xsvnic2 net22 ldommgmt1B xsvnic2 net22
ldomnet1 xsvnic7 net16 ldomnet1 xsvnic7 net16
ldomnet1B xsvnic3 net24 ldomnet1B xsvnic3 net24
ldomlm1 xsvnic4 net28 ldomlm1 xsvnic4 net28
ldomlm1B xsvnic0 net20 ldomlm1B xsvnic0 net20
ldompvi1 xsvnic5 net27 ldompvi1 xsvnic5 net27
ldompvi1B xsvnic1 net21 ldompvi1B xsvnic1 net21

验证 Oracle Virtual Networking vHBA 和存储部署

SAN 管理员现在可以使用“将 I/O 模板应用于 SPARC 服务器”一节中第 7 步和第 8 步收集的信息,将存储分区到每个主机。在以下示例中,我们将分成两个共享 LUN 区域:一个 30 GB,另一个 100 GB。

:分区和 LUN 映射不在本文讨论范围内。有关分区或 LUN 表示的信息,请参见光纤通道和存储供应商提供的文档。

登录到每个 SPARC T5-2 服务器,使用以下过程验证 Oracle Virtual Networking 存储。

  1. 在 CDom 上使用图 37 和 38 中所示命令验证 Oracle Virtual Networking vHBA 是否呈现。

    图 37. 在 OVNT5-2A 系统上验证 vHBA

    图 37. 在 OVNT5-2A 系统上验证 vHBA

    图 38. 在 OVNT5-2B 系统上验证 vHBA

    图 38. 在 OVNT5-2B 系统上验证 vHBA

  2. SAN 管理员对存储分区之后,重新启动主机。
  3. 在 CDom 上使用 formatmpathadm list lu 命令验证磁盘大小和每个 LUN 的路径数,由此确认 MPXIO 是否正常运行。

    图 39. 在 OVNT5-2A 系统上确认 MPXIO 是否正常运行

    图 39. 在 OVNT5-2A 系统上确认 MPXIO 是否正常运行

    图 40. 在 OVNT5-2B 系统上确认 MPXIO 是否正常运行

    图 40. 在 OVNT5-2B 系统上确认 MPXIO 是否正常运行

创建服务器池和部署来宾 LDom

在以下子节中,我们将使用 Oracle Enterprise Manager Ops Center 完成所有必需的步骤来创建服务器池和部署来宾逻辑域 (LDom)。

:本文假定您已有正常工作的 Oracle Enterprise Manager Ops Center 12c 安装,已经安装 SPARC T5-2 服务器并由 Oracle Enterprise Manager Ops Center 管理。有关“如何”部署的信息,请参见 Enterprise Manager Ops Center 文档

配置 CDom

在本节中,我们将完成主机 (CDom) 配置。我们将使用在前一节中创建和呈现的 Oracle Virtual Networking vNIC 创建 DLMP 链路聚合,以用于任何来宾 LDom。

创建 DLMP 链路聚合

我们将创建以下 DLMP 聚合:

  • Ldommgmt1,使用 net26 和 net22
  • Ldomnet1,使用 net16 和 net24
  • Ldomlm1,使用 net28 和 net20
  • Ldompvi1,使用 net27 和 net21
  1. 从 Oracle Enterprise Manager Ops Center 中选择一个 SPARC T5-2 服务器。选择 Networks 选项卡,然后选择 Link Aggregations 子选项卡。
  2. 选择 Create Link Aggregation 图标

    图 41. 准备创建链路聚合

    图 41. 准备创建链路聚合

  3. 重回表 4 查看 Oracle Solaris 网络名称,为 ldommgmt1 创建一个链路聚合,然后单击 Next

    图 42. 为 ldommgmt1 创建链路聚合

    图 42. 为 ldommgmt1 创建链路聚合

  4. 在下一个屏幕上,将 LACP Mode 设置为 Off,然后单击 Next

    图 43. 设置 LACP 模式

    图 43. 设置 LACP 模式

  5. 单击 Finish

    图 44. 链路聚合摘要

    图 44. 链路聚合摘要

  6. 重复第 1 步到第 5 步,完成其余 DLMP 链路聚合。
  7. 登录到 CDom,使用 dladm 命令验证已经创建聚合。

    图 45. 验证聚合

    图 45. 验证聚合

  8. 显示聚合。

    图 46. 显示聚合

    图 46. 显示聚合

  9. 使用 dladm modify-aggr -m dlmp <aggregate_name> 命令修改所有聚合并将其设置为 DLMP 模式。

    :您可能需要提升访问权限。

  10. 显示修改后的聚合。

    图 47. 显示修改后的聚合

    图 47. 显示修改后的聚合

  11. 确认 Oracle Enterprise Manager Ops Center 已更新,反映了对 DLMP 模式的更改。更新有时需要一段时间才能完成。

    图 48. 验证 Oracle Enterprise Manager Ops Center 已更新

    图 48. 验证 Oracle Enterprise Manager Ops Center 已更新

  12. 对其余 CDom 重复此过程。

确认存储

  1. 从 Oracle Enterprise Manager Ops Center 中选择一个 CDom。然后选择 Storage 选项卡。
  2. 验证已显示 LUN。

    图 49. 验证 Oracle Enterprise Manager Ops Center 显示 LUN

    图 49. 验证 Oracle Enterprise Manager Ops Center 显示 LUN

  3. 在其他 CDom 上重复上面的步骤,并确认 LUN GUID 与第一个 CDom 所显示的相同。

创建并修改网络以供服务器池使用

在本节中,我们将使用先前呈现给 CDom 的 Oracle Virtual Networking vNIC 创建网络。

创建其他网络和结构

在 Oracle Enterprise Manager Ops Center 中创建服务器池之前,我们需要先定义网络。

  1. 在 Oracle Enterprise Manager Ops Center 中的 Navigation 菜单中,选择 Networks

    在以下示例中,因为我已经导入一个配置好的 ZFS Storage 7120 设备,Oracle Enterprise Manager Ops Center 已经自动了创建一些网络。

    图 50. 选择 Network 项

    图 50. 选择 Network 项

  2. 在右侧的 Actions/Operations 菜单中,单击 Define Network

    图 51. 选择 Define Network 项

    图 51. 选择 Define Network 项

  3. 我们将创建的第一个网络是 LDom 实时迁移网络。输入相应的,选中 Create New Untagged Fabric 复选框。

    图 52. 创建 LDom 实时迁移网络

    图 52. 创建 LDom 实时迁移网络

  4. 在 Specify Managed Address Ranges 部分,保留默认设置。
  5. 在 Specify Static Routes 部分,保留默认设置。
  6. 在 Specify Network Services 部分,保留默认设置。
  7. 在 Assign Network 部分,选择相应的主机。

    图 53. 选择主机

    图 53. 选择主机

  8. 在 Configure Interfaces 部分,指定相应的“NIC”(在本例中,它将是先前创建的 DLMP 聚合)。在此阶段,不要指定此接口的 IP 地址。

    图 54. 指定 DLMP 聚合

    图 54. 指定 DLMP 聚合

  9. 根据需要将这个新网络与 Oracle Enterprise Manager Ops Center 代理控制器关联。

    图 55. 将该网络与 Oracle Enterprise Manager Ops Center 代理控制器关联

    图 55. 将该网络与 Oracle Enterprise Manager Ops Center 代理控制器关联

  10. 查看 Summary 部分的信息,然后单击 Finish

    图 56. 新网络摘要信息

    图 56. 新网络摘要信息

  11. 选择新建的网络。

    图 57. 选择新网络

    图 57. 选择新网络

  12. 在 Actions 面板单击 Assign Network

    图 58. 选择 Assign Network 项

    图 58. 选择 Assign Network 项

  13. 在 Select Server Pools and/or Assets 部分,选择新配置的主机。如果此网络将用于实时迁移,则选中 Use for Migration 复选框。

    图 59. 选择新配置的主机

    图 59. 选择新配置的主机

  14. 在 Configure Interfaces 部分配置 IP 地址。

    图 60. 配置 IP 地址

    图 60. 配置 IP 地址

  15. 查看 Summary 部分的信息,然后单击 Finish

    图 61. IP 地址信息摘要

    图 61. IP 地址信息摘要

  16. 完成 Oracle Enterprise Manager Ops Center 作业之后,确认已经将主机添加到新创建的网络,且已配置主机 IP 地址。

    图 62. 确认已添加主机

    图 62. 确认已添加主机

    图 63. 确认已配置 IP 地址

    图 63. 确认已配置 IP 地址

  17. 对所有其余网络重复此过程中的步骤。

创建静态块存储

在 Oracle Enterprise Manager Ops Center 中创建服务器池之前,我们需要先定义存储。在本文所述示例中,我们将使用光纤通道块存储。您也可以使用 iSCSI 或 NFS。

  1. 在 Navigation 面板中,选择 Libraries,然后选择 Static Block Storage

    图 64. 选择 Static Block Storage 项

    图 64. 选择 Static Block Storage 项

  2. 从 Actions 面板选择 New SAN Storage Library

    图 65. 选择 New SAN Storage Library

    图 65. 选择 New SAN Storage Library

  3. 为此库命名。

    图 66. 指定库名称

    图 66. 指定库名称

  4. 在 Identify Library Associations 部分,选择先前在其上呈现存储的主机。

    图 67. 选择主机

    图 67. 选择主机

  5. 在 Identify LUNs 部分,选择相应的 LUN。

    图 68. 选择相应的 LUN

    图 68. 选择相应的 LUN

  6. 查看 Summary 部分的信息,然后单击 Finish

    图 69. 查看摘要信息

    图 69. 查看摘要信息

  7. 对所有其余 SAN 存储重复此过程中的步骤。

创建服务器池

在本节中,我们将使用所有先前配置的主机、网络和库创建一个服务器池。

  1. 从 Navigation 面板选择 Assets,然后从下拉菜单中选择 Server Pools

    图 70. 选择 Server Pools 项

    图 70. 选择 Server Pools 项

  2. 从 Actions 面板选择 Create Server Pool

    图 71. 选择 Create Server Pool

    图 71. 选择 Create Server Pool

  3. 为服务器池命名,并选择相应的虚拟化技术。

    图 72. 指定服务器池名称

    图 72. 指定服务器池名称

  4. 选择服务器池成员。

    图 73. 选择服务器池成员

    图 73. 选择服务器池成员

  5. 选择网络域。

    图 74. 选择网络域

    图 74. 选择网络域

  6. 将网络与服务器池中的服务器关联,并选择相应的迁移网络。

    图 75. 将网络与池中的服务器关联

    图 75. 将网络与池中的服务器关联

  7. 在 Configure Interfaces 部分,指定所需的任何网络连接配置更改。

    图 76. 指定网络连接的配置设置

    图 76. 指定网络连接的配置设置

  8. 将库与服务器池关联。

    图 77. 将库与服务器池关联

    图 77. 将库与服务器池关联

  9. 进行相应的任何策略更改。

    图 78. 指定策略

    图 78. 指定策略

  10. 查看 Summary 部分的信息,然后单击 Finish

    图 79. 查看摘要信息

    图 79. 查看摘要信息

验证来宾 LDom

您在 Oracle Virtual Networking 上的 Oracle VM Server for SPARC 安装现在已经准备好,随时可供使用。

:LDom 供应不在本文讨论范围内。有关详细信息,请参见 Oracle Enterprise Manager Ops Center 文档中的“配置和安装来宾域”。

在本节中,我们将通过 Oracle Virtual Networking PVI vNIC 运行从该来宾 LDom 到另一个来宾 LDom 的简单连接 (ping) 测试,以及通过 Oracle Virtual Networking 10G vNIC 从来宾 LDom 到 NFS 共享的简单连接测试。

在下面的几幅图中,您可以看到 ovn-ldom01 到 ovn-ldom05 拥有独立于先前在 Oracle Virtual Networking vNIC 上创建的聚合的 Oracle Solaris vnet。

图 80. 显示 LDom 与 CDom 聚合 1 号之间的关联的屏幕截图

图 80. 显示 LDom 与 CDom 聚合 1 号之间的关联的屏幕截图

图 81. 显示 LDom 与 CDom 聚合 2 号之间的关联的屏幕截图

图 81. 显示 LDom 与 CDom 聚合 2 号之间的关联的屏幕截图

图 82. 显示 LDom 与 CDom 聚合 3 号之间的关联的屏幕截图

图 82. 显示 LDom 与 CDom 聚合 3 号之间的关联的屏幕截图

图 83. 显示 LDom 与 CDom 聚合 4 号之间的关联的屏幕截图

图 83. 显示 LDom 与 CDom 聚合 4 号之间的关联的屏幕截图

  1. 登录不同主机上的两个来宾 LDom。以下示例显示如何登录到 ovn-ldom01 和 ovn-ldom02。
  2. 确认 IP 地址和 MAC 地址正确。运行 ifconfig -a4 并确认网络配置。

    图 84. 确认 ovn-ldom01 上的网络配置

    图 84. 确认 ovn-ldom01 上的网络配置

    图 85. 确认 ovn-ldom02 上的网络配置

    图 85. 确认 ovn-ldom02 上的网络配置

  3. 从 ovn-ldom01 通过 ldompvi1 网络 ping ovn-ldom02。

    图 86. Ping ovn-ldom02

    图 86. Ping ovn-ldom02

  4. 从 ovn-ldom01 通过 ldomnet1 网络 ping 外部主机。以下示例显示 ping 外部 NFS 共享的情况,还使用 showmount 显示外部 NFS 共享上的可用共享。

    图 87. Ping 外部主机并显示可用 NFS 共享

    图 87. Ping 外部主机并显示可用 NFS 共享

附录:将 Oracle Virtual Networking 主机驱动程序上载到 Oracle Enterprise Manager Ops Center 12c

以下过程介绍如何将 Oracle Virtual Networking 主机驱动程序上载到 Oracle Enterprise Manager Ops Center,然后将其添加到 Oracle Solaris 11 软件更新库。

假定您已下载 Oracle Virtual Networking 主机驱动程序,如“安装 Oracle Virtual Networking 主机驱动程序”一节第 1 步中所述。

  1. 将主机驱动程序复制到 Oracle Enterprise Manager Ops Center 服务器本地或可从该服务器访问的 HTTP 位置。在本示例中,将复制到服务器本地 (/root)。
  2. 解压缩下载的驱动程序。

    您现在将有一个 ORCLovn 文件夹。

  3. 登录到 Oracle Enterprise Manager Ops Center 管理页面。
  4. 转到 Libraries
  5. 展开 Software Libraries,选择 Oracle Solaris 11 Software Update Library,选择 Content,然后从 Actions 菜单中选择 Add Content

    图 88. Oracle Solaris 11 Software Update Library

    图 88. Oracle Solaris 11 Software Update Library

  6. 指定解压缩文件的位置。在本例中,路径为 /root/ORCLovn。单击 Next

    图 89. 指定文件位置

    图 89. 指定文件位置

  7. 验证 Summary 窗口中所示信息,然后单击 Finish

    图 90. 验证 Summary 窗口中所示信息

    图 90. 验证 Summary 窗口中所示信息

Oracle Enterprise Manager Ops Center 刷新库之后,即可完成以下步骤。

:如果您熟悉 Oracle Enterprise Manager Ops Center,可以使用操作系统更新配置文件和安装后脚本完成以下步骤。

  1. 登录到每个主机,使用 pkg publisher 命令确认您拥有一个 ORCLovn 发布者。您会看到类似以下结果:

    admin@sca05-ovnt5-2a:~$ pkg publisher
    PUBLISHER  TYPE         STATUS   P   LOCATION
    solaris    origin       online   F   https://oracle-oem-oc-mgmt-ovn-sloc01:8002/IPS/
    opscenter  origin       online   F   https://oracle-oem-oc-mgmt-ovn-sloc01:8002/IPS/
    cacao      origin       online   F   https://oracle-oem-oc-mgmt-ovn-sloc01:8002/IPS/
    mp-re (non-sticky) origin   online  F  https://oracle-oem-oc-mgmt-ovn-sloc01:8002/IPS/
    ORCLovn    origin       online   F   https://oracle-oem-oc-mgmt-ovn-sloc01:8002/IPS/
    admin@sca05-ovnt5-2a:~$
    
  2. root 身份使用 pkg install 命令并指定主机驱动程序文件名来安装主机驱动程序,例如:

    pkg install ORCLovn-drv
    
  3. 安装主机驱动程序之后,xsadmd 服务有时设置为禁用状态。安装驱动程序之后、在重启服务器之前,执行以下命令检查 xsadmd 状态,如果被禁用,则重新启用:

    svccfg -s application/xsadmd:default setprop general/enabled = true
    svccfg -s application/xsadmd:default refresh
    
  4. 等以上命令完成,然后重新启动服务器,将驱动程序加载到内存中,例如:

    shutdown -y -g0 -i6
    
  5. 重新启动之后,可执行以下任一操作,验证是否安装了主机驱动程序:

    • 执行带 greppkg list 命令搜索 ORCLovn-drv(驱动程序文件名的一部分)。
    • 执行 svcs xsadmd 命令。如果 xsadmd 服务存在且在线,表明已安装 Oracle Virtual Networking 主机驱动程序。
    • 执行带 grepmodinfo 命令搜索 xs,查看模块是否安装。

另请参见

关于作者

Satinder Nijjar 是 Oracle Virtual Networking 产品的首席产品经理,他拥有 18 年的 IT 从业经验,涉及的领域包括金融服务、零售、医疗保健和教育。Satinder 是 2012 年随着 Oracle 收购 Xsigo Systems 而加入 Oracle 的。

修订版 1.0,2014 年 9 月 8 日

关注我们:
博客 | Facebook | Twitter | YouTube