100 Tera Speicher pro Jahr?

sd12

sd12

Legendäres Mitglied
Mal angenommen...

...Ihr hättet 100 Tera Daten pro Jahr, welche Ihr speichern müsst. Diese Daten dürfen nicht auf Bandlaufwerke oder sonstwas, sondern müssen IMMER verfügbar sein.

Wie würdet Ihr das anstellen?

Ich will keine Storage Lösung für 100'000'000de... von Franken. Ich will eine inovative Lösung, wie das mit einfachen Mitteln und vor allen "günstig" zu bewältigen ist.

Und falls du schreiben willst, "Vergiss es und nimm eine Million ind die Hand" dann sag ich dazu nur, vergisses und spar dir deine Antwort ;-)
 
FC SAN ist das die innovatives Lösung und beste Lösung, wenn es darum geht 100 TB pro Jahr zu speichern und immer verfügbar zu halten, dies kostet aber entsprechend, wenn es nicht so teuer sein soll wäre vielleicht iSCSI noch eine Überlegung Wert, sonst fällt mir aber im Moment nichts ein was in diese Richtung gehen würde.
Immerhin muss man hier ja berücksichtigen, dass der Datenberg anwachst, so benötigt man schon eine skalierbare Lösung, da sind mehrere DAS (wie oben bereits vorgeschlagen) wohl eher die falsche Wahl.


Aber um andere Lösungen präsentieren zu können, müsste man erstmal wissen, worum es genau geht. Hier scheint es sich aber eher um Wunschdenken zu handeln, entweder IMMER VERFÜGBAR oder Kompromisse eingehen.
 
Ich bin mal Inovativ
wink.gif
.. eigentlich müsste man es nur fertig bringen einige viele Millionen Webuser zusammen zu bringen, die eine Software haben und so ähnlich wie ein Usenet die Datenteile verteilt speichern, den fast jeder hat Platz frei auf dem Rechner und braucht auch nicht immer die volle Internetverbindung. Somit wäre es sehr kostengünstig.. aber dafür müsste man das Tool erst entwickeln und es müsste natürlich auch für den Webuser einen Nutzen geben.

Gruss Marc

PS: Hmm, also am schnellsten und günstigen wird es vermutlich mit einigenNAS Systemen.
 
@Stefu
Soweit ich weiss, können diese Dinger nicht zusammengeschlossen werden. Also hab ich 100 x 1TB...

@Sascha
Die Verfügbarkeit ist nicht SOOO wichtig.
Es geht darum, dass Videos gespeichert werden müssen.

@Marc
Diese IDee hatte ich auch schon... Das Problem dabei ist, dass die Internetleitungen einfach zu wenig fett sind. Und wo ist der Anreiz für den User mitzumachen?

Aber der untere Link ist interessant.

P.S. Das ganze soll EINIGERMASSEN skalierbar sein.
 
Wenn Dir ein NAS reicht, kannst Du ja mal anfragen.

Beispiele:
http://www.fujitsu-siemens.de/products/sto...tapp/index.html
http://h10010.www1.hp.com/wwpc/de/de/sm/WF...2-12236568.html


Ich würde mir aber mehrere Angebote einholen, insbesondere von den verschiedenen Herstellern / Firmen, ich weiß noch was für große Unterschiede dort teilweise geherrschert haben.
Einfach mal bei Siemens, Dell, HP, IBM, Sun usw. anfragen, aber Fall nicht gleich aus den Socken, denn 100 TB ist schon einiges an Speichervolumen.


Und erzähl den Personen gleich, worauf es Dir genau ankommt, auch im Bezug auf Datensicherung.



@Tweety:
*g* Ja, die Antwort darauf wäre wirklich hilfreich.
 
Ich hab euch die Hinweise doch bereits gegeben...

- IPTV
- Video
- Viel Speicherplatz

Kann leider noch nicht mehr sagen...

@Sascha
Was denkst du, wo wir uns preislich bewegen?

Kann ich ein NAS ganz normal wie eine Festplatte ansteueren?
Wie sind die Zugriffszeiten?
 
Wenn es um eine Online-Lösung geht, warum verwendest du nicht einfach mehrere Server und ein ordentliches Balancingsystem... hat den Vorteil, dass es beliebig erweiterbar ist und jeder Server eine eigene Highspeed-Internetverbindung haben kann. Und die Wahrscheinlichkeit, dass alle Server auf einmal abkratzen ist sehr gering.
Außerdem kannst du jedem einzelnen Server ein eigenständiges Backupsystem verpassen, dass relativ schnell läuft, da es nur einen geringen Teil der "100Terabyte" als Aufgabenbereich hat.
 
QUOTE (Maik @ Do 28.12.2006, 11:18) ordentliches Balancingsystem...

kennst du eines?
 
QUOTE (Maik @ Do 28.12.2006, 10:18)Wenn es um eine Online-Lösung geht, warum verwendest du nicht einfach mehrere Server und ein ordentliches Balancingsystem... hat den Vorteil, dass es beliebig erweiterbar ist und jeder Server eine eigene Highspeed-Internetverbindung haben kann.

Das hatte ich zunächst auch gedacht. Aber da gibt es zwei Probleme:

- Wird das selbst gehostet oder angemietet? Welche Kapazität kann man dann maximal an einen Server dranhängen? Dann hat man vielleicht 20 Server?

- Das normale Loadbalancing geht m.W. nach davon aus, daß alle Server identisch konfiguriert sind. Hier bräuchte man ja aber eine Logik, die beim Zugriff auf eine Ressource weiß, auf welchem der 20 Server das zu finden ist. Dieser übergeordnete Index müßte wohl eigenständig entwickelt werden.
 
Mein Tipp:
Stell einen CTO ein und lass ihn das Problem lösen. Wenn Du mit so grosser Kelle anrührst (bzw. anrühren willst), kannst Du nicht alles selbst machen. Oder erstell einen Prototyp mit 1TB und hol Dir für den Rest einen Investor.

Gruss, Remo
 
QUOTE (jAuer @ Do 28.12.2006, 10:42)- Das normale Loadbalancing geht m.W. nach davon aus, daß alle Server identisch konfiguriert sind. Hier bräuchte man ja aber eine Logik, die beim Zugriff auf eine Ressource weiß, auf welchem der 20 Server das zu finden ist. Dieser übergeordnete Index müßte wohl eigenständig entwickelt werden.

Ich spreche hier eher von Ressource-Balancing statt von Loadbalancing. Klar, bei Loadbalancing müssen die System meistens identisch sein... teilweise müssen die Server identische Daten haben.

Beim Ressource-Balancing ist es eher egal. Da gibt es einen Zentralen Datenbankserver oder wenn es nicht mehr reicht ein eigenes Datenbank-Cluster und die Datei-Server sind unabhängig voneinander. In der Datenbank steht dann einfach welche Datei auf welchem Server ist... und bevor man runterlädt wird das einfach abgefragt. Die ganzen Mirror-Systeme die man im Internet findet funktionieren so, und das relativ sicher (zB. sourceforge).
Beim Upload fragt man einfach ab, welcher Server wohl am geeignetsten ist...da kann man dann mehrere Parameter in betracht ziehen zB: Standort, Auslastung, freier Speicherplatz,...
Beim Download fragt man einfach die Datenbank ab, wo die gewünschte Datei ist, und wenn man Dateien gespiegelt hat, kann man auch die Parameter von oben in betracht ziehen und die bestmögliche Verbindung zurückgeben.

Denke mal, für einen erfahrenen Programmierer ist solch ein System relativ schnell umzusetzen...

Man sollte nicht immer nach der technisch abgefahrensten Lösung suchen, sondern immer die einfachste, die ist meistens die beste... und in diesem Fall relativ schnell erweiterbar bzw. austauschbar.
 
QUOTE (Remo Uherek @ Do 28.12.2006, 12:21) Mein Tipp:
Stell einen CTO ein und lass ihn das Problem lösen. Wenn Du mit so grosser Kelle anrührst (bzw. anrühren willst), kannst Du nicht alles selbst machen. Oder erstell einen Prototyp mit 1TB und hol Dir für den Rest einen Investor.

Gruss, Remo

Aber hallo...


...ich hab doch gesagt, es soll preiswert sein...

...ein vernünftiger CTO kostet MINDESTENS CHF 150'000 im Jahr. Dafür kann ich gleich zu IBM und ein SUPER_SPECIAL_PLATIN_DELUXE-SLA kaufen.

es muss eine einfache Lösung geben...
 
QUOTE (Maik @ Do 28.12.2006, 12:56) Beim Ressource-Balancing ist es eher egal.

Wahrscheinlich läuft es darauf hinaus...

Das Problem dabei ist einfach, dass ich nicht so viele Rechner benötige. Die würden also nur als Storage Rechner laufen...
 
Darf man mal wissen an welche Investition du gedacht hast? 20'000.- oder 100'000.-?
 
NAS ist hier wohl schon die einfachste Lösung, ein NAS wird über ein entsprechendes Netzfreigabeprotokol angesprochen (CIFS, SMB, NFS) und wird halt über TCP/IP übertragen, dadruch hat es einen entsprechenden Protokol-Overhead, doch mit einer 1 GBit/s (oder mehr) Leitung würde man davon nichts mitbekommen, größere NAS-Lösungen sind eigentlich dafür ausgelegt vielen Rechnern und Servern gleichzeitig den Zugriff zu ermöglichen.
Ein iSCSI kann vom System als normale Festplattte betrachtet werden, hat aber auch hier einen entsprechenden Overhead durch die Übertragung mittels TCP/IP.
Beide Lösungen haben halt den Nachteil einen Overhead durch TCP/IP zu haben und das sie dafür entsprechende Rechenleistung für benötigen. Und solange man nicht ein zweites Netzwerk ausbaut, ist auch noch der Nachteil vorhanden, dass der Datenverkehr und Netzwerkkehr über's gleiche Netzwerk gehen

Ein FC SAN kann als direkte Festplatte angesprochen werden, die einzelnen Latenzzeiten sind sehr gering und heutzutage müssten bereichts Geschwindigkeiten von bis zu 4 GBit/s pro Leitung möglich sein. Außerdem entfällt der TCP/IP Header weg. Auch wird hier ein eigenes Speichernetzwerk aufgebaut, was wieder den Vorteil hat, dass Ethernet und Speichernetz getrennt sind. Die Nachteile sind natürlich dabei, dass zum einen ein neues Netzwerk aufgebaut werden muss und die Anschaffungskosten mit am höchsten sind.



Ich gehe hier davon aus, dass eine Speicherlösung vermutlich eher über Hardware als über Software gelöst werden kann, denn die Anschaffungskosten sind schon da, man muss nun überlegen, was ist das günstigste System (Kosten pro GB bzw. TB und die Anforderungen an das System, auch über mittel- und langfristig betrachtet) ist. Ich habe wohl nicht mehr den Speichermarkt so im Auge, aber ich gehe davon aus, dass Du mind. im 5 stelligen Bereich investieren darfst, vermutlich eher mehr.



Ansonsten kann ich mich nur Webis Frage anschließen. Wenn Du nicht mehr als 10.000 EUR investieren möchtest, vergiss diese Speichermengen im direkten Zugriff für's erste mal wieder ganz schnell.
 
100'000 CHF ist zu viel. Ich stelle mir ca. 0.50 Franken pro GB vor, dann wären wir bei 50'000 Fr.

Aber die grossen Speicherlösungen kann man doch sicher mieten (leasen). Hat da jemand erfahrung, ob dieses Modell interessant ist und ob 0.50 Fr. pro GB realistisch sind?
 
Sie müssen sich einloggen oder registrieren, um hier antworten zu können.
Zurück
Oben