Oracle Exadata Database Machine X2-2 Hardware

Exadata Community - Januar 2012

von Frank Schneede, ORACLE Deutschland B.V. & Co. KG

Die Exadata Database Machine ist als erstes Modell einer Produktfamilie von sogenannten Engineered Systems bereits vor geraumer Zeit vorgestellt worden. Unter Engineered Systems versteht man Rechnersysteme aus vorkonfigurierten Standard Hardwarekomponenten, auf denen in einem standardisierten Prozess speziell abgestimmte Software installiert und konfiguriert wird. Durch den hohen Grad der Standardisierung in Bezug auf Hardware, Software und Konfiguration wird eine extrem kurze Zeit bis zur betriebsbereiten Übergabe des Systems erreicht.

Im Laufe der Zeit hat es diverse Änderungen an der Hardware gegeben, daher soll dieser Tipp dazu dienen, den aktuellen Stand der Hardware der Exadata Database Machine X2-2 zu beschreiben. Aktualisierungen der Exadata Hardware werden zukünftig zeitnah in den Tipp eingearbeitet, der so als Nachschlagewerk eingesetzt werden kann.

Der zentrale Bestandteil der Exadata Storage Technologie ist der Exadata Storage Server X2-2, der baugleich in allen Modellen der Exadata verwendet wird. Die Exadata Database Machine gibt es in zwei unterschiedlichen Modellen, der Exadata Database Machine X2-2 und der Exadata Database Machine X2-8. Zusätzlich wird ein Exadata Storage Expansion Rack angeboten. Alle Komponenten der Exadata Database Machine basieren auf einer Intel x86 Architektur, die Namensgebung des Produktes (X2) drückt diesen Umstand aus. Der zweite Teil des Namens (-2 oder -8) drückt aus, wieviele Sockets in den Datenbankservern belegt werden können. Bei der Exadata Database Machine X2-8 handelt es sich demnach um ein 8 Socket System, das also über 8 Intel x86 Prozessoren mit jeweils mehreren Kernen verfügt; in der Exadata Database Machine X2-2 sind 2 Sockets, also 2 Intel x86 Prozessoren, verbaut. Dieser Tipp befasst sich mit der Exadata Database Machine X2-2 und gliedert sich in folgende Abschnitte:

Exadata Storage Server X2-2
Datenbank Server
Netzwerk Komponenten
Sonstige Hardware
Technische Daten

1. Exadata Storage Server X2-2

Der Exadata Storage Server X2-2 ist der entscheidende Baustein der Exadata Storage Technologie. Er wird baugleich nicht nur in der Exadata Database Machine, sondern auch im Oracle SPARC SuperCluster und im Exadata Storage Expansion Rack verwendet. Auf dem Exadata Storage Server X2-2 läuft die Exadata Storage Server Software, ohne die die I/O Leistung der Engineered Systems nicht möglich wäre.

Die Basis des Exadata Storage Server X2-2 bildet der Sun Fire X4270 M2. Die folgende Tabelle zeigt die Komponenten des Servers in der Konfiguration, in der er in der Exadata Database Machine verbaut wird.

Komponente	Beschreibung
Prozessor	2 * Six-Core Intel® Xeon® L5640 Processors (2.26 GHz)
Hauptspeicher	24GB (6 * 4GB DDR3 DIMM 1333MHz)
Festplatten	12 * 600GB 15K RPM High Performance SAS (hot-swappable) oder 12 * 3TB 7,2K RPM High Capacity SAS (hot-swappable)
Flash	4 * 96 GB Sun Flash Accelerator F20 PCIe Cards
Festplatten Controller	Disk Controller HBA with 512MB Battery Backed Cache
Netzwerkanschlüsse	2 * InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0 HCA) 4 * Embedded Gigabit Ethernet Ports
Remote Management	1 Ethernet port (ILOM)
Stromversorgung	Redundant Hot-Swappable power supplies and fans

Die korrekte Funktion des Storage Servers wird durch entsprechende LEDs an der Vorderseite angezeigt. Über USB Ports, die von außen zugänglich sind, erfolgt das Aufspielen der Installation durch den Advanced Customer Support. Verschiedene Komponenten sind "Hot-Swappable", das heisst, sie können während des Betriebes ohne Downtime ausgetauscht werden. Zu diesem Komponenten gehören die Festplatten, Stromversorgungen und Lüfter. Die folgenden Bilder zeigen die Vorder- und die Rückseite des Sun Fire X4270 M2 sowie in der Draufsicht die Anordnung der Komponenten innerhalb des Servers.

Vorderseite:	In der Draufsicht:
Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!	Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Rückseite:	In der Draufsicht:
Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!	Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Der Exadata Storage Server kann wahlweise mit 12 600GB oder 3TB SAS Festplatten ausgerüstet werden. Hierbei ist zu beachten, dass stets alle Festplatten in einem Storage Server den gleichen Typ haben müssen. Ein Mischbetrieb ist nicht möglich! Ebenso muss stets ein kompletter Storage Server mit der Exadata Storage Server Software lizenziert werden, das Abschalten einzelner Festplatten ist nicht möglich. Die Lizenzierung erfolgt unabhängig von deren Typ nach Anzahl der Festplatten, das bedeutet, dass für einen Storage Server 12 Lizenzen der Exadata Software benötigt werden.

Auf den ersten beiden Festplatten des Storage Servers befinden sich Partitionen für das Betriebssystem. Diese sind gespiegelt, so dass ein rolling Upgrade durchgeführt werden kann, also ein Upgrade, ohne den Betrieb unterbrechen zu müssen. Die Aufteilung der Festplatten erfolgt grundsätzlich so, dass die Bereiche, die dem ASM als Grid Disk zur Verfügung gestellt werden, gleich groß sind.

Eine Besonderheit im Exadata Storage Server ist die Bestückung mit vier Sun Flash Accelerator F20 PCIe Card. Jede dieser Flash Karten verfügt über einen Speicher von 96GB, so dass ein Exadata Storage Server insgesamt über 384GB Flash Speicher enthält. Die Flash Karten sind nicht über einen zusätzlichen Controller angeschlossen, sondern direkt über den PCIe Bus. Dadurch gibt es keinen Controller Engpass und ein Storage Server kann bei Verwendung des Flash Speichers einen Durchsatz von >5GB/sek bzw. von 125.000 IOPS erreichen. Die folgenden Bilder zeigen ein einzelnes 24GB Flash Modul, vom dem 4 auf einer Karte verbaut sind, eine Sun Flash Accelerator F20 PCIe Card und deren Positionierung im Storage Server.

Für eine größere Ansicht auf das Bild klicken,
zurück zum Artikel mit dem Back-Button des Browser!

Exadata Storage Server werden in den verschiedenen Exadata Modellen, dem Expansion Rack und dem SuperCluster verbaut. Zusätzlich können Kunden auch einzelne Storage Server erwerben, jedoch können diese nur in ein vom Kunden bereitgestelltes Rack eingebaut werden. Die Erweiterung eines existierenden Exadata Racks um einzelne Storage Server ist nicht erlaubt. Wenn eine Exadata Database Machine im gleichen Rack erweitert werden soll, werden hierzu entsprechende Upgrades (Quarter auf Half Rack bzw. Half auf Full Rack) angeboten. Eine Erweiterung mittels Expansion Racks ist immer möglich, Details hierzu werden in einem späteren Community Tipp beschrieben.

Als Betriebssystem wird auf dem Exadata Storage Server Oracle Enterprise Linux 5.5 (mit dem Red Hat kompatiblen Kernel) eingesetzt. Neben der aktuell gültigen Version der Exadata Storage Server Software befindet sich keine weitere Software auf dem Server. Es ist strikt untersagt, zusätzliche Software auf dem Exadata Storage Server zu installieren. Das betrifft zusätzliche Linux Bibliotheken ebenso wie Monitoring oder Backup Agenten.

2. Datenbank Server

Die Modelle der Exadata Database Machine unterscheiden sich im Wesentlichen durch den Typ des Datenbank Servers, der in dem jeweiligen Modell zum Einsatz kommt. In der Exadata Database Machine X2-2 werden 2 Sockel Datenbank Server mit Intel x86 Architektur verwendet. Der hierfür eingesetzte Standard Server ist der Sun Fire X4170 M2. Die folgende Tabelle zeigt die Komponenten des Servers.

Komponente	Beschreibung
Prozessor	2 * Six-Core Intel® Xeon® X5675 Processors (3.06 GHz)
Hauptspeicher	96 GB (12 * 8GB DDR3 DIMM 1333MHz) erweiterbar auf 144 GB (18 * 8GB DDR3 DIMM 1333MHz)
lokale Festplatten	4 * 300GB 10K RPM SAS Disks (hot-swappable)
Festplatten Controller	Disk Controller HBA with 512MB Battery Backed Cache
Netzwerkanschlüsse	2 * InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0 HCA) 4 * 1GbE Ethernet Ports 2 * 10GbE Ethernet SFP+ Ports (1 Dual-port 10GbE PCIe 2.0 network card based on the Intel 82599 10GbE Controller Technology)
Remote Management	1 Ethernet port (ILOM)
Stromversorgung	Redundant Hot-Swappable power supplies and fans

An Vorder- und Rückseite des Servers befinden sich Statusanzeigen, die über den Zustand des Systems Auskunft geben. Wie bereits beim Exadata Storage Server sind auch in dem Datenbankserver der Exadata Database Machine X2-2 Festplatten, Stromversorgungen und Lüfter während des laufenden Betriebes austauschbar. Die folgenden Bilder zeigen die Vorder- und die Rückseite des Sun Fire X4170 M2 sowie in der Draufsicht die Anordnung der Komponenten innerhalb des Servers.

Vorderseite:	In der Draufsicht:
Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!	Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Rückseite:	In der Draufsicht:
Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!	Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Auf den Datenbank Servern der Exadata Database Machine X2-2 stehen zwei Betriebssystemalternativen zur Verfügung. Es können Solaris 11 Express for x86 oder Oracle Enterprise Linux 5.5 (Red Hat Compatible Kernel) genutzt werden. Die Festlegung erfolgt während der Implementierung der Exadata. Danach kann das Betriebssystem nur durch ein Re-Imaging, also ein vollständiges Neuaufsetzen der Server, geändert werden!

Im Sun Fire X4170 M2 befinden sich 4 lokale 300GB SAS Festplatten, die für das Betriebssystem und Anwendungssoftware (Oracle, Monitoring Agents, Backup Agents) genutzt werden. Zum Einsatz kommt standardmäßig Oracle Database 11g Release 2 Enterprise Edition (11.2.0.2 oder höher), Oracle Real Application Clusters und Oracle Partitioning. Andere Oracle Datenbank Optionen (z. B. Advanced Compression, Active DataGuard, ...) können nach Bedarf ebenfalls genutzt werden. Sinnvollerweise wird im Rahmen der Installation auch der Oracle Enterprise Manager Cloud Control Agent aufgesetzt, um eine einheitliche Adminstration über Enterprise Manager Cloud Control zu ermöglichen. Die Installation weiterer Software (Backup Agents o. ä.) liegt in der Zuständigkeit und Verantwortung des Kunden. Es ist nicht erlaubt, weitere Anwendungssoftware auf den Datenbank Servern zu installieren. Für diesen Zweck sollten separate Applikationsserver eingerichtet werden, das kann zum Beispiel auch die Oracle Exalogic Elastic Cloud sein.

3. Netzwerk Komponenten

Die Datenbank Server und die Storage Server innerhalb der Exadata werden über InfiniBand Switches miteinander verbunden. Eingesetzt wird hierzu der Sun Datacenter Switch 36, dessen Ansichten unten dargestellt sind.

Vorderseite:	Rückseite:
Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!	Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Kunden können in den Switches Stromversorgung und Lüfter während des laufenden Betriebs austauschen, da diese Komponenten redundant ausgelegt sind. In der Exadata Database Machine X2-2 werden je nach Model 2 bzw. 3 InfiniBand Switches verbaut. Die Topologie des InfiniBand Netzes innerhalb der Exadata ist so aufgebaut, dass 2 Switches als sogenannte Leaf Switches fungieren, die die verschiedenen Server ausfallsicher miteinander verbinden. Ein dritter Spine Switch dient dazu, die Skalierbarkeit bei Half oder Full Racks zu realisieren. Für die Einbindung in ein kundeneigenes InfiniBand Netzwerk stehen 12 freie Ports zur Verfügung.

Innerhalb der Exadata Database Machine kommunizieren die unterschiedlichen Komponenten über 40GB/sek QDR InfiniBand. Für diese Aufgabe befinden sich in den Datenbank und Storage Servern der Sun IB-HCA Dual port 4x QDR PCI-E Low Profile Adapter M2.

Für eine größere Ansicht auf das Bild klicken,
zurück zum Artikel mit dem Back-Button des Browser!

Der InfiniBand HCA unterstützt RDMA (Remote Direct Memory Access), das bedeutet, dass die Prozesse im Storage und in den Datenbankknoten über InfiniBand direkt miteinander kommunizieren, ohne Bufferkopien erstellen zu müssen. Diese Art der Interprozesskommunikation und die geringe Latenz der InfiniBand Technologie trägt maßgeblich dazu bei, dass die Exadata Database Machine so überzeugende Performancekennzahlen hat.

Das InfiniBand Netzwerk wird meistens nur innerhalb der Exadata Database Machine verwendet, da viele Kunden kein InfiniBand Netzwerk im Unternehmen betreiben. Dennoch besteht grundsätzlich die Möglichkeit, InfiniBand für die Einbindung der Exadata ins Kundennetzwerk zu verwenden. Zusätzlich steht seit der Version 2 der Exadata 10GbE als Anschlussalternative zur Verfügung:

10GbE Anschluss über die in den Datenbank Servern eingebaute Netzwerkkarte
40Gb InfiniBand Anschluss über freie Ports des eingebauten InfiniBand Switches

Falls also der Kunde über kein InfiniBand Netzwerk verfügt, so ist es möglich, die Exadata mittels der in den Datanbank Servern verbauten Sun Dual 10 GigE SFP+ PCIe 2.0 Low Profile Adapter in ein 10GbE Netzwerk einzubinden. Es stehen 2 freie Ports je Datenbank Server zur Verfügung.

Für eine größere Ansicht auf das Bild klicken,
zurück zum Artikel mit dem Back-Button des Browser!

4. Sonstige Hardware

Die weiteren Komponenten der Exadata Database Machine X2-2 sind

ein Cisco Catalyst 4948 (48) Port Management Switch, der alle verbauten Server und InfiniBand Switches an ein internes 1GbE Administrations- und Management-Netzwerk anschließt. Vom Switch sind im Vollausbau der Exadata 47 Ports belegt, 22 werden für ILOM Verbindungen verwendet, 22 für die NET0 Verbindungen und 3 Ports werden für die ILOM Verbindung zu den InfiniBand Switches benötigt. Der Cisco Switch kann über den verbleibenden freien Port in das kundeneigene Administrations-Netzwerk eingebunden werden.
KVM (Keyboard, Video, Mouse) Komponenten zur lokalen Administration der Exadata Database Machine

Die einzige Hardware Modifikation, die der Kunde an der Exadata Database Machine durchführen darf, ist der Austausch des Cisco Switches. Das kann sinnvoll sein, falls der Kunde standardmäßig auf Produkte eines anderen Herstellers setzt.

5. Technische Daten

Von der Exadata Database Machine X2-2 gibt es drei verschiedene Ausbaustufen, die sich in der Zusammenstellung der oben beschriebenen Komponenten unterscheiden:

Quarter Rack, bestehend aus 2 Datenbank Servern, 3 Storage Servern und 2 InfiniBand Switches
Half Rack, bestehend aus 4 Datenbank Servern, 7 Storage Servern und 3 InfiniBand Switches
Full Rack, bestehend aus 8 Datenbank Servern, 14 Storage Servern und 3 InfiniBand Switches

Die Exadata Database Machine X2-2 unterstützt bedarfsgerechtes Wachstum, das heisst, ein Kunde braucht nicht mit dem Maximalausbau der Maschine zu beginnen. Es werden Upgrades angeboten, mit denen eine Maschine auf die nächste Größe aufgerüstet werden kann. Zudem ist es möglich, eine Exadata nur teilweise zu lizenzieren, also zum Beispiel bei einem Half Rack lediglich 5 Storage Server und 3 Datenbank Server zu betreiben und die restlichen Server erst bei entsprechendem Wachstum zu aktivieren.

Zum Abschluss sind in der folgenden Tabelle die Kenndaten der verschiedenen Modelle der Exadata Database Machine X2-2 in Bezug auf Kapazität und Durchsatz aufgelistet.

X2-2 Full

X2-2 Half

X2-2 Quarter

Abbildung

Für eine größere Ansicht
auf das Bild klicken,
zurück zum Artikel mit dem
Back-Button des Browser!

Database Server

Database Grid CPU Cores

Database Grid Memory

768GB (max. 1152GB)

384GB (max. 576GB)

192GB (max. 288GB)

InfiniBand Switches

Ethernet Switch

Storage Server

Storage Grid CPU Cores

168

Flash Kapazität

5,3TB

2,6TB

1,1TB

Gesamt Storage
Kapazität