文章
服务器与存储管理
作者:Satinder Nijjar
2014 年 9 月发布
|
Oracle Virtual Networking 将数据中心基础设施虚拟化,实现虚拟机 (VM) 或服务器与其他 VM、服务器、网络资源和存储设备的连接。在本文中,您将了解如何在 Oracle VM Server for SPARC 上安装 Oracle Virtual Networking 主机驱动程序,以及如何使用 Oracle Fabric Manager 创建网络、专用虚拟互连 (PVI) 和存储“云”。我们将利用 Oracle Enterprise Manager Ops Center 12c 第 2 版和内置的 Oracle Solaris 多路径 (MPxIO) 功能。
注:本文假定您对 Oracle Virtual Networking 及其组件有一个基本的了解,具有光纤通道 (FC) 交换和存储的实践经验。此外,还假定您熟悉 Oracle Enterprise Manager Ops Center 和 Oracle VM Server for SPARC。如果您需要这些技术的信息,请参见本文结尾处“另请参见”部分列出的资源。
图 1 至图 3 显示本文所述示例配置的机架配置和接线示意图。

图 1. 示例机架配置

图 2. 示例 InfiniBand 接线示意图

图 3. 示例以太网和光纤通道接线示意图
注:有关哪些设备和软件与 Oracle Virtual Networking 兼容的更多信息,请参见“Oracle Virtual Networking — 兼容性”。
确保您具有表 1 中列出的必备硬件。
表 1. 必备硬件和可选硬件| 必备硬件和可选硬件 | 数量 | 其他建议/说明 |
|---|---|---|
| (必需)Oracle Fabric Interconnect F1-15 或 Oracle Fabric Interconnect F1-4 | 2 | 推荐固件:Oracle Xsigo 固件(名为 XgOS),版本 3.9.2 或更高版本。 每个 Oracle Fabric Interconnect 所需的 I/O 卡: - 1 个 四端口 10 Gb 以太网 (GbE) - 1 个 双端口 8 GB FC |
| (必需)Oracle SPARC T5-2 服务器 | 2 | 推荐操作系统:Oracle Solaris 11.1 SRU 20.5 或更高版本。 至少以下一种: - Oracle 双端口 QDR InfiniBand 适配器 M3(部件号 7104074);推荐最低固件版本:2.11.1280 或更高版本 - Oracle Sun InfiniBand QDR 主机通道适配器 PCIe:Low Profile(部件号 X4242A);推荐最低固件版本:FW25408 2.11.2010 或更高版本 |
| (必需)光纤通道存储阵列 (SAN) | 1 | 本文所述示例采用 Oracle Sun ZFS Storage 7120 设备。 |
| (必需)光纤通道 SAN 交换机 | 2 | 交换机供应商提供的最新固件;启用 NPIV。 |
| (可选)Oracle Sun Datacenter InfiniBand Switch 36 | 2 | 如果要扩展到 18 个主机以上(每个主机两个 HCA),您可以使用此交换机部署一个 InfiniBand (IB) 主干和叶拓扑;推荐最低固件版本为 2.1.4 或更高版本。 |
| (可选)Oracle 交换机 ES1-24 | 2 | 为建立与网络的以太网连接,本文示例采用了两台这种交换机。 |
确保您具有表 2 中显示的必备软件:
表 2. 所需软件| 所需软件 | 版本 |
|---|---|
| Oracle Fabric Manager | 版本 4.2.1 或更高版本 |
| Oracle Enterprise Manager Ops Center 12c 第 2 版 | 版本 12.2.0.2663 |
| Oracle Virtual Networking 主机驱动程序 | 版本 5.3.5(或更高版本),适用于 SPARC(64 位)上的 Oracle Solaris 11.1;稍后将下载并安装 |
参考图 1 至图 3 及表 1 和表 2,确保您已完成以下任务:
本文假定这两台 SPARC T5-2 服务器已经作为主机通过 HCA 连接到 Oracle Virtual Networking InfiniBand 结构。请参见 Oracle SDN 1.0.0 快速入门指南 了解详细信息。
注:本文中,Oracle Fabric Manger 安装在 Oracle Linux 上。假定所有以太网配置均已完成,包括将所有以太网端口设置为 Trunk 模式或创建链路聚合组 (LAG)。本文假定您仅将每个 Oracle Fabric Interconnect 上的两个光纤通道端口中的一个连接到两个独立光纤通道交换结构。
本文假定您熟悉 Oracle Enterprise Manager Ops Center 12c 第 2 版和 Oracle VM Server for SPARC。有关详细信息,请参见 Oracle Enterprise Manager Ops Center 文档和这些 Oracle VM Server for SPARC 技术白皮书。
在本节中,我们将先前下载的 Oracle Virtual Networking 主机驱动程序安装到 SPARC T5-2 服务器,这些服务器连接到 Oracle Fabric Interconnect,其上部署了 Oracle VM for Server for SPARC。安装 Oracle Virtual Networking 主机驱动程序之前,请阅读相关文档。主机驱动程序的版本说明位于 Oracle Virtual Networking 文档页。
要在每台服务器上安装主机驱动程序,请执行以下步骤。
注:通过 Oracle Enterprise Manager Ops Center 部署主机时,您可以将主机驱动程序上载到 Oracle Enterprise Manager Ops Center,然后将主机驱动程序添加到 Oracle Solaris 11 软件更新库,再将该驱动程序安装到每个主机上,无需按此过程所述将主机驱动程序下载到每个主机。如果您想这样做,请使用附录中的说明,不必执行本过程的其余步骤。
root 身份登录到服务器。/usr。)tar xvzf 命令解压缩驱动程序文件,例如:tar xvzf ORCLovn-5.2.1-SL-sparcv.tgz
pkg set-publisher 命令并指定主机驱动程序文件所在目录来设置发布者,例如:pkg set-publisher -p /usr/ORCLovn
pkg install 命令并指定主机驱动程序文件名来安装主机驱动程序,例如:pkg install ORCLovn-drv
pkg unset-publisher 命令并指定主机驱动程序文件所在目录来取消发布者的设置,例如:pkg unset-publisher /usr/ORCLovn
xsadmd 服务有时设置为禁用状态。安装驱动程序之后、重启服务器之前,执行以下命令检查服务状态,如果被禁用,则重新启用:svccfg -s application/xsadmd:default setprop general/enabled = true svccfg -s application/xsadmd:default refresh
shutdown -y -g0 -i6
grep 的 pkg list 命令搜索 ORCLovn-drv(驱动程序文件名的一部分)。svcs xsadmd 命令。如果 xsadmd 服务存在且在线,表明已安装 Oracle Virtual Networking 主机驱动程序。grep 的 modinfo 命令搜索 xs,查看模块是否安装。在本节中,我们将创建网络、专用虚拟互连 (PVI) 和存储云,然后将使用创建的云创建 I/O 模板。每个网络云有两个 vNIC,存储云包含两个 vHBA,每个 Oracle Fabric Interconnect 一个。每个 PVI 云两个 PVI vNIC,因为每个 SPARC T5-2 服务器最少有两个活动的 HCA 端口,PVI vNIC 将连接到一个单独的 HCA 端口。
root 用户身份登录。
图 4. 登录到 Oracle Fabric Manager
我们将使用 Oracle Fabric Manager 创建两个网络云:一个名为 LDom_mgmt_10G,用于 vLAN 1 上的逻辑域 (LDom) 管理,另一个名为 LDom_net_10G,是满足所有其他 LDom 网络需求的 vLAN 干线网络。

图 5. 选择 Network Clouds 项

图 6. 选择 Add a New Network Cloud 图标
1,然后单击 Submit。
图 7. 指定 LDom_mgmt_10G 云的高级配置信息

图 8. 指定 LDom_net_10G 云的高级配置信息
我们将使用 Oracle Fabric Manager 创建两个 PVI 云:LDom_net_PVI 和 LDom_LiveMigration_PVI。

图 9. 选择 PVI Clouds 项

图 10. 选择 Add a New PVI Cloud 图标
9000,然后单击 Submit。
图 11. 添加 LDom_net_PVI 云
图 12 显示两个 PVI 云在创建之后的摘要信息。

图 12. 两个 PVI 云的摘要信息
我们将使用 Oracle Fabric Manager 创建一个存储云。本文所示示例中所使用的存储阵列为 Sun ZFS Storage 7120 设备,连接到两个 FC 交换机。来自一个 Oracle Fabric Interconnect 模块的端口连接到一个 FC 交换机,来自另一个 Oracle Fabric Interconnect FC 模块的端口连接到另一个 FC 交换机。
和典型生产环境中一样,本示例中也有两个独立的 FC 结构。但本示例中没有冗余存储阵列。在实际生产环境中,您通常有一个双头冗余存储阵列。

图 13. 选择 Storage Clouds 项

图 14. 选择 Add a Storage Cloud 图标

图 15. 创建存储云
对于 Oracle VM Server for SPARC,我们将在 Oracle Fabric Manager 中创建高可用性 (HA) vNIC 和 HA vHBA。因为操作系统是 Oracle VM,Oracle Fabric Manager 只需创建两个单独的 vNIC 和 vHBA。然后,在 Oracle Enterprise Manager Ops Center 中,我们将使用 vNIC 创建一个 IP 网络多路径 (IPMP) 链路,MPXIO 将管理到所表示的任何存储 LUN 的多条路径。
使用 Oracle Virtual Networking 时,我们对 vNIC 和 vHBA 的命名必须遵循“适用于 Oracle Solaris 11.1 的 Oracle Virtual Networking 主机驱动程序版本说明”的“系统限制”一节中指定的限制,上面写着:使用 Oracle Solaris 系统时,对虚拟资源的命名有以下长度限制:
我们将创建以下 vNIC 和 vHBA:
ldommgmt1 和 ldommgmt1Bldomlm1 和 ldomlm1Bldompvi1 和 ldompvi1Bldomnet1 和 ldomnet1Bcdomhba1 和 cdomhba1B
图 16. 选择 I/O Templates 项

图 17. 选择 Create an I/O Template 图标
LDOM_Template,单击双紫色 Add an HA vNIC to the template 图标四次,然后单击双绿色 Add an HA vHBA to the template 图标一次。
图 18. I/O Template Editor
您只需创建 ldommgmt1、ldomlm1、ldompvi1、ldomnet1 和 cdomhba1。Oracle Fabric Manager 将创建对应的 <name>1B vNIC 和 vHBA,它们是每对中的第二个 vNIC 或 vHBA。

图 19. 创建 vNIC 和 vHBA

图 20. 保存模板
Oracle Fabric Manager 将在 Oracle Fabric Interconnect 上创建服务器配置文件,创建过程中使用的是主机名,而非模板名加一个随机生成的数。需要说明的是,您一定更新了主机上的主机名。将 I/O 模板绑定到主机后,Oracle Fabric Manager 随后将使用主机名创建配置文件。

图 21. 取消选中 Apply Template Name 选项

图 22. 验证已使用适当的 vNIC 正确创建模板

图 23. 验证已使用适当的 vHBA 创建模板

图 24. 选择 Physical Servers 项
您将看到所有安装了 Oracle Virtual Networking 驱动程序的与 InfiniBand 连接的服务器。

图 25. 物理服务器摘要

图 26. 选择“Assign an I/O template to the selected server”图标

图 27. 选择适当的模板

图 28. 确认您希望应用模板
Complete。
图 29. 检查 I/O 配置文件是否绑定到服务器
注:如果应用 I/O 模板时您在控制域 (CDom) 控制台,将看到关于 Oracle Virtual Networking 设备的“NOTICE”消息。
Complete 时,选择一个服务器并确认已经按预期供应虚拟 I/O。检查 vNIC 和 vHBA。
图 30. 检查 vNIC

图 31. 检查 vHBA
登录到每个 SPARC T5-2 服务器,验证是否部署 Oracle Virtual Networking vNIC。
然后,在 CDom 控制台上使用图 32 至图 35 所示命令,将 Oracle Virtual Networking vNIC 名称映射到 Oracle Solaris 网络名称。请参见表 3。
图 32 和图 33 中所示命令将显示所有 Oracle Virtual Networking vNIC 的列表,并将每个 Oracle Virtual Networking vNIC 与 xsvnic 驱动程序(“xsvnic”是 Oracle Solaris 所看到的 Oracle Virtual Networking 驱动程序的名称)的一个实例号关联。
图 34 和图 35 中所示命令将使用 xsvnic 实例号显示所有 Oracle Virtual Networking vNIC;然后可以将这些实例号与 Oracle Solaris 网络名称关联。

图 32. 将第一台服务器上的 vNIC 与 xsvnic 实例号关联

图 33. 将第二台服务器上的 vNIC 与 xsvnic 实例号关联

图 34. 将第一台服务器上的 xsvnic 号与 Oracle Solaris 网络名称关联

图 35. 将第二台服务器上的 xsvnic 号与 Oracle Solaris 网络名称关联
表 3. 将 Oracle Virtual Networking vNIC 名称映射到 Oracle Solaris 网络名称| 系统 OVNT5-2A | 系统 OVNT5-2B | ||||
|---|---|---|---|---|---|
| Oracle Virtual Networking vNIC 名称 | xsvnic 名称 | Oracle Solaris 网络名称 | Oracle Virtual Networking vNIC 名称 | xsvnic 名称 | Oracle Solaris 网络名称 |
| ldommgmt1 | xsvnic6 | net26 | ldommgmt1 | xsvnic6 | net26 |
| ldommgmt1B | xsvnic2 | net22 | ldommgmt1B | xsvnic2 | net30 |
| ldomnet1 | xsvnic7 | net16 | ldomnet1 | xsvnic7 | net16 |
| ldomnet1B | xsvnic3 | net24 | ldomnet1B | xsvnic3 | net29 |
| ldomlm1 | xsvnic4 | net28 | ldomlm1 | xsvnic4 | net28 |
| ldomlm1B | xsvnic0 | net20 | ldomlm1B | xsvnic0 | net21 |
| ldompvi1 | xsvnic5 | net27 | ldompvi1 | xsvnic5 | net27 |
| ldompvi1B | xsvnic1 | net21 | ldompvi1B | xsvnic1 | net31 |
在表 3 中,注意系统 OVNT5-2B 上 ldommgmt1B、ldomnet1B、ldomlm1B 和 ldompvi1B 的 Oracle Solaris 网络名称与系统 OVNT5-2A 上对应项的网络名称不一致。下一节将说明如何纠正。
如果执行此步骤,需要在执行所有其他命令或完成所有 IP 地址分配之前执行。请参考“dladm 命令”了解更多详细信息。
使用图 36 所示的 dladm rename-link old-linkname new-linkname 命令,让系统 OVNT5-2B 上的 Oracle Solaris 网络名称一致。表 4 显示一致后的名称。

图 36. 重命名四个 Oracle Solaris 网络名称
图 4. 更新后的 Oracle Solaris 网络名称| 系统 OVNT5-2A | 系统 OVNT5-2B | ||||
|---|---|---|---|---|---|
| Oracle Virtual Networking vNIC 名称 | xsvnic 名称 | Oracle Solaris 网络名称 | Oracle Virtual Networking vNIC 名称 | xsvnic 名称 | Oracle Solaris 网络名称 |
| ldommgmt1 | xsvnic6 | net26 | ldommgmt1 | xsvnic6 | net26 |
| ldommgmt1B | xsvnic2 | net22 | ldommgmt1B | xsvnic2 | net22 |
| ldomnet1 | xsvnic7 | net16 | ldomnet1 | xsvnic7 | net16 |
| ldomnet1B | xsvnic3 | net24 | ldomnet1B | xsvnic3 | net24 |
| ldomlm1 | xsvnic4 | net28 | ldomlm1 | xsvnic4 | net28 |
| ldomlm1B | xsvnic0 | net20 | ldomlm1B | xsvnic0 | net20 |
| ldompvi1 | xsvnic5 | net27 | ldompvi1 | xsvnic5 | net27 |
| ldompvi1B | xsvnic1 | net21 | ldompvi1B | xsvnic1 | net21 |
SAN 管理员现在可以使用“将 I/O 模板应用于 SPARC 服务器”一节中第 7 步和第 8 步收集的信息,将存储分区到每个主机。在以下示例中,我们将分成两个共享 LUN 区域:一个 30 GB,另一个 100 GB。
注:分区和 LUN 映射不在本文讨论范围内。有关分区或 LUN 表示的信息,请参见光纤通道和存储供应商提供的文档。
登录到每个 SPARC T5-2 服务器,使用以下过程验证 Oracle Virtual Networking 存储。

图 37. 在 OVNT5-2A 系统上验证 vHBA

图 38. 在 OVNT5-2B 系统上验证 vHBA
format 和 mpathadm list lu 命令验证磁盘大小和每个 LUN 的路径数,由此确认 MPXIO 是否正常运行。
图 39. 在 OVNT5-2A 系统上确认 MPXIO 是否正常运行

图 40. 在 OVNT5-2B 系统上确认 MPXIO 是否正常运行
在以下子节中,我们将使用 Oracle Enterprise Manager Ops Center 完成所有必需的步骤来创建服务器池和部署来宾逻辑域 (LDom)。
注:本文假定您已有正常工作的 Oracle Enterprise Manager Ops Center 12c 安装,已经安装 SPARC T5-2 服务器并由 Oracle Enterprise Manager Ops Center 管理。有关“如何”部署的信息,请参见 Enterprise Manager Ops Center 文档。
在本节中,我们将完成主机 (CDom) 配置。我们将使用在前一节中创建和呈现的 Oracle Virtual Networking vNIC 创建 DLMP 链路聚合,以用于任何来宾 LDom。
我们将创建以下 DLMP 聚合:

图 41. 准备创建链路聚合

图 42. 为 ldommgmt1 创建链路聚合
Off,然后单击 Next。
图 43. 设置 LACP 模式

图 44. 链路聚合摘要
dladm 命令验证已经创建聚合。
图 45. 验证聚合

图 46. 显示聚合
dladm modify-aggr -m dlmp <aggregate_name> 命令修改所有聚合并将其设置为 DLMP 模式。注:您可能需要提升访问权限。

图 47. 显示修改后的聚合

图 48. 验证 Oracle Enterprise Manager Ops Center 已更新

图 49. 验证 Oracle Enterprise Manager Ops Center 显示 LUN
在本节中,我们将使用先前呈现给 CDom 的 Oracle Virtual Networking vNIC 创建网络。
在 Oracle Enterprise Manager Ops Center 中创建服务器池之前,我们需要先定义网络。
在以下示例中,因为我已经导入一个配置好的 ZFS Storage 7120 设备,Oracle Enterprise Manager Ops Center 已经自动了创建一些网络。

图 50. 选择 Network 项

图 51. 选择 Define Network 项

图 52. 创建 LDom 实时迁移网络

图 53. 选择主机

图 54. 指定 DLMP 聚合

图 55. 将该网络与 Oracle Enterprise Manager Ops Center 代理控制器关联

图 56. 新网络摘要信息

图 57. 选择新网络

图 58. 选择 Assign Network 项

图 59. 选择新配置的主机

图 60. 配置 IP 地址

图 61. IP 地址信息摘要

图 62. 确认已添加主机

图 63. 确认已配置 IP 地址
在 Oracle Enterprise Manager Ops Center 中创建服务器池之前,我们需要先定义存储。在本文所述示例中,我们将使用光纤通道块存储。您也可以使用 iSCSI 或 NFS。

图 64. 选择 Static Block Storage 项

图 65. 选择 New SAN Storage Library

图 66. 指定库名称

图 67. 选择主机

图 68. 选择相应的 LUN

图 69. 查看摘要信息
在本节中,我们将使用所有先前配置的主机、网络和库创建一个服务器池。

图 70. 选择 Server Pools 项

图 71. 选择 Create Server Pool

图 72. 指定服务器池名称

图 73. 选择服务器池成员

图 74. 选择网络域

图 75. 将网络与池中的服务器关联

图 76. 指定网络连接的配置设置

图 77. 将库与服务器池关联

图 78. 指定策略

图 79. 查看摘要信息
您在 Oracle Virtual Networking 上的 Oracle VM Server for SPARC 安装现在已经准备好,随时可供使用。
注:LDom 供应不在本文讨论范围内。有关详细信息,请参见 Oracle Enterprise Manager Ops Center 文档中的“配置和安装来宾域”。
在本节中,我们将通过 Oracle Virtual Networking PVI vNIC 运行从该来宾 LDom 到另一个来宾 LDom 的简单连接 (ping) 测试,以及通过 Oracle Virtual Networking 10G vNIC 从来宾 LDom 到 NFS 共享的简单连接测试。
在下面的几幅图中,您可以看到 ovn-ldom01 到 ovn-ldom05 拥有独立于先前在 Oracle Virtual Networking vNIC 上创建的聚合的 Oracle Solaris vnet。

图 80. 显示 LDom 与 CDom 聚合 1 号之间的关联的屏幕截图

图 81. 显示 LDom 与 CDom 聚合 2 号之间的关联的屏幕截图

图 82. 显示 LDom 与 CDom 聚合 3 号之间的关联的屏幕截图

图 83. 显示 LDom 与 CDom 聚合 4 号之间的关联的屏幕截图
ifconfig -a4 并确认网络配置。
图 84. 确认 ovn-ldom01 上的网络配置

图 85. 确认 ovn-ldom02 上的网络配置

图 86. Ping ovn-ldom02
showmount 显示外部 NFS 共享上的可用共享。
图 87. Ping 外部主机并显示可用 NFS 共享
以下过程介绍如何将 Oracle Virtual Networking 主机驱动程序上载到 Oracle Enterprise Manager Ops Center,然后将其添加到 Oracle Solaris 11 软件更新库。
假定您已下载 Oracle Virtual Networking 主机驱动程序,如“安装 Oracle Virtual Networking 主机驱动程序”一节第 1 步中所述。
/root)。您现在将有一个 ORCLovn 文件夹。

图 88. Oracle Solaris 11 Software Update Library
/root/ORCLovn。单击 Next。
图 89. 指定文件位置

图 90. 验证 Summary 窗口中所示信息
Oracle Enterprise Manager Ops Center 刷新库之后,即可完成以下步骤。
注:如果您熟悉 Oracle Enterprise Manager Ops Center,可以使用操作系统更新配置文件和安装后脚本完成以下步骤。
pkg publisher 命令确认您拥有一个 ORCLovn 发布者。您会看到类似以下结果:admin@sca05-ovnt5-2a:~$ pkg publisher PUBLISHER TYPE STATUS P LOCATION solaris origin online F https://oracle-oem-oc-mgmt-ovn-sloc01:8002/IPS/ opscenter origin online F https://oracle-oem-oc-mgmt-ovn-sloc01:8002/IPS/ cacao origin online F https://oracle-oem-oc-mgmt-ovn-sloc01:8002/IPS/ mp-re (non-sticky) origin online F https://oracle-oem-oc-mgmt-ovn-sloc01:8002/IPS/ ORCLovn origin online F https://oracle-oem-oc-mgmt-ovn-sloc01:8002/IPS/ admin@sca05-ovnt5-2a:~$
root 身份使用 pkg install 命令并指定主机驱动程序文件名来安装主机驱动程序,例如:pkg install ORCLovn-drv
xsadmd 服务有时设置为禁用状态。安装驱动程序之后、在重启服务器之前,执行以下命令检查 xsadmd 状态,如果被禁用,则重新启用:svccfg -s application/xsadmd:default setprop general/enabled = true svccfg -s application/xsadmd:default refresh
shutdown -y -g0 -i6
grep 的 pkg list 命令搜索 ORCLovn-drv(驱动程序文件名的一部分)。svcs xsadmd 命令。如果 xsadmd 服务存在且在线,表明已安装 Oracle Virtual Networking 主机驱动程序。grep 的 modinfo 命令搜索 xs,查看模块是否安装。Satinder Nijjar 是 Oracle Virtual Networking 产品的首席产品经理,他拥有 18 年的 IT 从业经验,涉及的领域包括金融服务、零售、医疗保健和教育。Satinder 是 2012 年随着 Oracle 收购 Xsigo Systems 而加入 Oracle 的。
| 修订版 1.0,2014 年 9 月 8 日 |