Registrierung
leer
leer
newposts
Users
search
FAQ
Login
Start

Hallo Gast, und Willkommen im Forum. Sie müssen sich einloggen oder registrieren, um alle Funktionen nutzen zu können.


PN's Forum \ Kommunikation \ Netzwerke \ ein paar Fragen zu SAN (Storage Area Networks)


 Poison Nuke  *

#1 Verfasst am 19.09.2008, um 17:57:57



Hallo verado,

wollte mal ein paar Fragen zu SANs stellen, die irgendwie aus Wiki usw nicht wirklich beantwortet werden :X


ihr nutzt ja intern FibreChannel. Bietet das einen Vorteil gegenüber GigaBit Ethernet. Und läuft da trotzdem TCP/IP als Protokollstack oder läuft ein anderes Protokoll zur Vernetzung?

Und wie ist der Cluster mit dem Hauptnetz verbunden, ist es im Prinzip eigentlich nur ein großer Cluster, der einen Steuerknoten hat, der mit dem Netzwerk verbunden ist und der dann selbst die Verbindung zu jedem Storageknoten herstellt?

Und wie sieht so ein SAN aus dem Netzwerk heraus aus? Ist das wie ein NAS, also im Prinzip eine erweiterte Netzwerkfreigabe oder geht da mehr?
Wie schnell ist überhaupt die Verbindung zum Netzwerk und wie schnell innerhalb des Clusters?


Wie schaut es mit den Virtuellen RAIDs aus...werde da mehrere Knoten zu einem virtuellen Knoten zusammengebunden, sodass die Daten dann verteilt auf mehreren Knoten gespeichert werden?


danke schonmal für deine Antworten


greetz
Poison Nuke

verado

#2 Verfasst am 19.09.2008, um 20:44:10



SAN und Cluster also. Komplexes Thema, aber interessant und Power pur.

Bei mir sind 2x14x156GB 10k Platten mit Fibrechannel (schweineteuer so eine Platte, knapp 1000€ pro Stück) an redundante RAID-Controller angeschlossen.
Die Platten können im Controller zu Diskgroups zusammengeschlossen werden, aus der Diskgroup kann man wiederum VDisks herausschneiden und unabhängig voneinander im RAID-Level definieren (0/1/5, also striping, mirroring oder ein bissl redundant quasi). Der Controller verteilt daraufhin die Daten als black box wie er lustig ist, aber immer auf alle Platten in der disk group verteilt für max performance. 2x14 eben um die load auf 2 busse aufteilen zu können.

Auf Fibrechannel läuft SCSI-Protokoll, ist aber schneller als Ultra 320.

Am RAID-Controller kann man die VDisks für einen (oder mehrere) Hosts freigeben, das geht dann über FC-Switches zu den Hosts. Im OS sieht man die freigegebenen Vdisks dann als lokale Platte. NAS ist wenn der Storage über Netzwerk zur Verfügung gestellt wird. Im Prinzip NFS.

Das UNIX sieht die Vdisk als physikal disk. Dann gehts mit dem LVM (Logical volume manager) weiter. Der gruppiert physical disks zu volume groups, aus der volumegroup kann man wieder logical volumes herausschneiden und diese dann mit einem filesystem versehen. Aber am besten nicht ufs, das macht keiner mehr, sondern journaling online filesysteme. Können im Betrieb vergrößert oder verkleinert werden und machen keine zicken wenn alles mal abstürzt.

Ein Cluster besteht aus min 2 Clustermember. Beide sehen die freigegebenen vdisks vom SAN, aber nur einer kann sie rw mounten. Die gemountete platte wird als nfs freigegeben, damit der zweite auch was davon hat. Ist wieder zurück zur uralttechnologie. Compaq hatte unter Tru64 bereits ein geiles problemloses Clusterfilesystem. Dort sahen beide Member alles, beide booteten vom Storage.
Ist aber eingestellt worden.
Stattdessen fuzelt man wieder mit nfs herum.

Zur speed. Ich bringe derzeit 85MB/s vom Filesystem zum Tape. Das Tape ist leider nur mit 1GB Netzwerk angeschlossen, das Netzwerk ist daher der Flaschenhals. Es gäbe die Möglichkeit das Tape auch ins SAN einzubinden, dann ist die Speed noch höher. Aber 100GB in 20min reicht mir derzeit.

Am Cluster laufen die Applikationen dann auf einer virtuellen IP, die im Prinzip nichts anderes als ein Alias fürs Netzwerk sind und von einem zum anderen hin- und herwandern können.

Ich hoffe ich habs verständlich geschrieben, frag nur wenn du mehr wissen willst.



bearbeitet von verado, am 19.09.2008, um: 20:46:53


 Poison Nuke  *

#3 Verfasst am 19.09.2008, um 22:32:08



Achso, ich dachte FibreChannel sei nur sowas wie Cat5 oder so:X

Also sind es im Endeffekt ja doch nur "normale" Festplatten in einem etwas größeren Gehäuse mit etwas anderen Kabeln an einen größeren RAID Controller angeschlossen?

Oder wie sieht so ein Cluster vom Aufbau her aus? Hast du eventuell auch bilder vorallem von den Festplatten usw? :hail





greetz
Poison Nuke

verado

#4 Verfasst am 19.09.2008, um 22:54:20



Siehe auch http://de.wikipedia.org/wiki/FibreChannel

Aber es sind auch nur Festplatten an einem Controller mit orangen Kabeln, hast Recht.

Ein Cluster schaut optisch aus wie 2 Rechner die nebeneinander stehen oder aber auch räumlich getrennt sein können, Hauptsache sie sind mit der FC Fabric (siehe link oben) verbunden.

Für Storage guckst du hier am besten: http://h18006.www1.hp.com/storage/disk_storage/e...rrays/index.html



 Poison Nuke  *

#5 Verfasst am 19.09.2008, um 23:16:31



sind die Platten jetzt eigentlich direkt an dem RAID Controller angeschlossen oder hat man da halt den FC Switch und da sind die Platten dran und der Controller?

und wenn man zwei von den Teilen zu einem Cluster verbindet, geht das auch wieder über den FC Switch oder nimmt man da einen weiteren FC Switch?

Und gibt es im Cluster nicht noch einen weiteren Rechner, der dann die Verteilung überhaupt steuert?

Und was für eine Art von Cluster betreibt ihr? Weil es gibt ja LoadBalancer und HighAvability, beide haben im Endeffekt auf jedem Knoten eine Spiegelung drauf, somit ist der ganze Inhalt nochmal verdoppelt.


Und in welcher Form ist der RAID Controller eigentlich redundant? Gibt es da auch min. 2 Stück pro System?


greetz
Poison Nuke

verado

#6 Verfasst am 19.09.2008, um 23:49:27



Die Platten stecken in Drive Enclosures (12-14 Stk/Enclosure). Ein 19" Kastl halt. Dann gibt es einen FC Loop über alle Enclosures und beide Controller drüber zu einem FC-Switch. Das ganze dann nochmal zu einem zweiten FC switch. Alles doppelt. Jedes FC Device hat eine WWN (weltweit einzigartige ID), so auch die Platten. Vorhin habe ich geschrieben über FC läuft SCSI-Protokoll. Ist nicht so richtig, ist FC Protokoll, jedoch von SCSI abgeleitet.

Im Idealfall hat jeder Host 2 HBAs (Host Bus Adapter) die an den beiden FC-Switches, oder anderen innerhalb der FC Fabric angeschlossen sind. Das Unix sieht dann aber jedes Device doppelt. Dann gibts noch eine Software die aus diesen 2 Devices ein virtuelles macht und den Traffic über beide HBAs aufteilt.

Ein Cluster benötigt keinen 3. Rechner. Sind beide am Netz laufen die Anwendungen verteilt, ist nur einer am Netz startet der alle Anwendungen dort, ist keiner am Netz ist es eh aus.

Unser Cluster heißt HP Serviceguard. Daten werden keine doppelt gehalten.
Das macht man nur bei einfachen Lösungen wo nur repliziert wird.

Aber die richtigen Cluster haben immer was mit zentralem Storage zu tun. Egal ob über SCSI oder FC drauf zugegriffen wird.


bearbeitet von verado, am 20.09.2008, um: 00:08:27


 Poison Nuke  *

#7 Verfasst am 20.09.2008, um 01:13:42



wie sieht so ein FC Loop eigentlich aus? Ist das ein Daisy Chain wie bei FireWire oder SCSI, also Kabel in erste Platte von der zur nächsten usw?
Weil in Wiki steht ja auch was von einer Sternförmigen Verkabelung, vorallem bei NUtzung der Switch Fabric.


und die Platten in den Enclosure, werden die erstmal an einen Verteiler oder so angeschlossen oder ist das einfach nur eine Backplane und man muss dann trotzdem jede Platte einzeln per FC ankoppeln?




greetz
Poison Nuke

verado

#8 Verfasst am 20.09.2008, um 21:32:04



Das Enclosure macht die FC Verteilung zu den in ihr enthaltenen Platten mit ihrer Backplane, dh. die Platten haben keine eigenen Kabeln, jedoch wird das Enclosure dann wie bei SCSI mit den anderen Enclosures und dem Controller verbunden. Der Controller dann wieder extra zum Switch.



 Poison Nuke  *

#9 Verfasst am 20.09.2008, um 22:02:59



also sind die Platten gar nicht direkt am Switch angeschlossen?



greetz
Poison Nuke

verado

#10 Verfasst am 20.09.2008, um 23:29:06



Nein. Der Controller hat die Platten exklusiv im Zugriff und macht aus den Platten LUNs (http://de.wikipedia.org/wiki/LUN). Er präsentiert sie im FC Netzwerk allen Hosts die dafür berechtigt sind.



 Poison Nuke  *

#11 Verfasst am 20.09.2008, um 23:32:10



ich dachte er präsentiert nur die eingestellten DiskGroups und die VRAIDs nach außen? :X


greetz
Poison Nuke

verado

#12 Verfasst am 21.09.2008, um 20:58:19



Genau. Aus der Sicht des Controllers sind das Vdisks, aus der Sicht des Hosts sind das LUNs. Ist das gleiche.



 Poison Nuke  *

#13 Verfasst am 21.09.2008, um 21:05:39



achso =)


MUSS man ein SAN eigentlich mit FC aufbauen, oder kann man das auch mit anderen Technologien zur Vernetzung aufbauen, bspw halt eben mittels TCP/IP und kleinen NAS Laufwerken und einen SoftwareRAID Controller?




greetz
Poison Nuke

verado

#14 Verfasst am 21.09.2008, um 21:48:03



Hier verweise ich am besten auf
http://de.wikipedia.org/wiki/Storage_Area_Network



 Poison Nuke  *

#15 Verfasst am 29.11.2008, um 10:15:21



hm, solche Systeme sind doch mal echt geil :hail

http://www.searchstorage.de/themenbereiche/stora...articles/155642/

auch wenn das Bild da komisch ist...weil 60 3,5" Platten auf 4HE:?
Auf dem Bild sind es 16 Platten a 2 HE.


aber die Transferrate ist geil, vorallem Infiniband is ja eine ganz schön schnelle Schnittstelle...20GBit:hail
Und das ganze System soll ca. 6GB/s Transferrate bringen...über welche Schnittstellen blos, frag ich mich.


greetz
Poison Nuke

 Poison Nuke  *

#16 Verfasst am 18.01.2009, um 00:30:22



was hälst du eigentlich von einem iSCSI Cluster im Vergleich zu einem SAN?
Angenommen man hätte jetzt als Server für iSCSI einfache Server mit vllt je einem kleinen RAID und dann 1GBit Netzwerkanschluss an einen Switch mit 10GBit Uplink (oder Etherchannel von mehreren 10GBit Links) und über LVM könnte man dann ja die iSCSI Targets zu einem großen Volume verbinden, bzw über LVM.

Wäre ja an sich doch auch eine recht perfomante und ausfallsichere Lösung und dennoch günstiger als ein SAN, oder was meinst du?:angel


greetz
Poison Nuke

 Poison Nuke  *

#17 Verfasst am 02.09.2010, um 22:31:00



wie schaut es eigentlich aus, eignet sich auch InfiniBand für ein SAN?

Weil FC ist ja doch nicht günstig und mittlerweile ziemlich langsam. Schafft ja gerade mal nur 8GBit, auch wenn der Payload deutlich höher ist wie bei Ethernet.

Nur IB hat ja immerhin 40GBit und die HCAs kosten auch nicht soviel wie die HBAs. Fast die Hälfte kann man sagen.


greetz
Poison Nuke

 Poison Nuke  *

#18 Verfasst am 04.09.2010, um 19:35:42



hab mich mal in einem anderen Forum noch etwas mehr schlau gemacht, endlich steig ich da mal etwas mehr durch :hail

http://www.linuxforen.de/forums/showthread.php?t=268940

mal schauen, vllt dauert es ja nicht mehr lang bis ich selbst mein erstes SAN aufbaue 8)


greetz
Poison Nuke

bearbeitet von Poison Nuke, am 04.09.2010, um: 19:36:14


 Poison Nuke  *

#19 Verfasst am 04.09.2010, um 22:13:34



und noch schnell ein Buch gekauft 8)

http://www.amazon.de/gp/product/389864393X/ref=p...MTSXP2F05HQY63GV

wird ja wohl doch noch umfangreicher das ganze :X


greetz
Poison Nuke

EPIC

#20 Verfasst am 27.11.2010, um 18:09:00



Ich habe auf der Arbeit noch einen Artikel in einer Fachzeitschrift gefunden, wo es um das Erstellen eines SANs unter Linux geht. Ich habe da noch nicht reingeschaut, da wir auf der Arbeit ja eh unsere kleine EVA haben

Ich guck mir den mal an, dann kann ich ja sagen ob das was für dich wäre, scheinst dich ja sehr dafür zu interessieren.



 Poison Nuke  *

#21 Verfasst am 27.11.2010, um 23:57:56



klingt an sich erstmal interessant =)
was ist mit dem Erstellen unter Linux gemeint? Weil ein SAN ist ja grundlegend nichts anderes wie ein dicker RAID Controller, es spielt sich also alles auf Hardwareebene ab.

War vllt die Integration gemeint?


greetz
Poison Nuke

EPIC

#22 Verfasst am 28.11.2010, um 01:02:20



Bin mir nicht ganz sicher. Da war etwas von "SAN in Eigenregie erstellen" die Rede. Wie gesagt, ich werd mir das mal nächste Woche durchlesen.


PN's Forum \ Kommunikation \ Netzwerke \ ein paar Fragen zu SAN (Storage Area Networks)


- Zurück zur Homepage - Eigene Beiträge - Neue Beiträge - Wer ist online? - Impressum - Datenschutz - Statistiken -



Board coded and provided by: Poison Nuke
Copyright 2007-2014, Robert Menger