Wie stellt man es an?

P

PowerCheat

Erfahrenes Mitglied
Hoffe ich bin in diesen Forum richtig.

In den nächsten Jahr soll ein extrem Großes und Internationales System von mir gestartet werden. Nun stelle ich mir einige Fragen dazu, die ich mit eurer Hilfe klären möchte.

Wie mache ich es wenn ich ein Daten Volumen von ca. 25 Yottabyte (YB) erreichen will/werde.

Ich habe mir schon Gedanken dazu gemacht und so ich ich das sehe muss ich einige Tausend Server haben. Soweit so gut, das ist für mich ja noch nicht das Problem. Sondern nun muss ich wissen wie ich es mache, das ich all diese Daten in eine Datenbank bekomme.

Ich habe dabei an MySql oder Oracle gedacht. Nur wie stelle ich es dann an, das ich die Datenbank auf alle Server verteile und abrufen kann?

Angenommen ich habe nun 4000 Server in Unseren Rechenzentrum, wie stelle ich sicher, das ich die Daten abrufen kann? Ich würde ein System in PHP schreiben, das nicht wirklich Groß ist, gerade mal 5 000 000 Zeilen. Jedoch das was mich halt beschäftigt ist wie ich diesen Daten Volumen, auf alle Server verteile... bzw. wie ich später die Daten wieder abrufen kann... Cluster Server... schön und gut, nur die Umsetzung würde mich hierbei Interessieren. Da eine Menge Geld auf den Spiel steht die 4 Stelligen Mio. Bereich liegt.

Ich hoffe ihr könnte mir etwas Licht in die Sache bringen!
 
Hallo PowerCheat!

Ich denke ohne einen sehr guten Powercheat wird das definitiv nicht umsetzbar sein ;)

Für 25 Yottabyte brauchst du wohl eher 2 500 000 000 000 (zweieinhalb Billionen) Server, wenn jeder 10Terabyte speichert!
 
Zuletzt bearbeitet:
PowerCheat hat gesagt.:
Da eine Menge Geld auf den Spiel steht die 4 Stelligen Mio. Bereich liegt.
Zum Vergrößern anklicken....

Wenn soviel Geld verfügbar ist, wäre es das einfachste, du kaufst dir Google, die Leute dort werden wissen, wie das geht...und nen paar Server stehen bei denen auch noch herum.

Oder aber du schaust erstmal nach nem günstigen Server-Dealer, denn wenn du nur 1 Milliarde € flüssig hast, müsstest du nach drucko's Rechnung jemanden finden, der dir das Stück für 0,04 Cent überlässt

:suspekt:
 
Auch wenn das ganze Unternehmen, allein durch die Angabe der finanziellen Mittel (und auch der anderen Zahlen) etwas unglaubwuerdig erscheint (was nicht heisst dass ich Dir kategorisch nicht glaube, sondern eher dass Du vielleicht etwas viel Puffer nach oben ausgelegt hast) moechte ich mich zum Thema aeussern.
Das beste waere hier wohl ein verteiltes Dateisystem (im englischen Distributed File System), wie z.B. AFS.
Das ist quasi sowas wie RAID0, nur eben ueber mehrere Server verteilt.

Und ein PHP-Projekt mit 5 Mio. Zeilen wuerde ich als extremst gross bezeichnen.
Ich hab hier im Buero ein recht umfangreiches Projekt welches knapp 17.000 Zeilen hat, und das ist schon nicht wenig.
Aber wenn Du ein Distributed File System nutzt, wie ja oben erwaehnt, brauchst Du Dir auch nicht die Hektik machen bis naechstes Jahr 5.000.000 Zeilen PHP-Code zu stricken. ;)
 
Da hatte sich wohl ein Fehler eingeschlichen 500.000 Zeilen sind es nur :)

Naja um die Finanzierung mach ich mir wirklich keine Sorgen.

Ich will gerne das Projekt erst einmal im kleinen Testen, das das Projekt International veröffentlicht wird sehe ich schon das es möglich sein wird durch die Verschiedenen Sprachen usw. das wir an die Yottabyte kommen. Alleine wir haben bereits mit nur "wenigen" Daten auf unseren Server in der MySql DB 40 Gigabyte erreicht.

Ich habe bereits gehört das MySql einen Cluster anbietet, nur weiß ich von dem was ich gelesen habe nicht ob es nun auch damit Funktioniert, da ich dort entnommen habe, das dort "nur" auf allen das gleiche gesichert wird.

Vielleicht sollte ich wirklich mal mit diversen Firmen mich unterhalten, wir hatten bisher nicht daran gedacht, wie Umfangreich die DB wird, zum Glück ist eine Anpassung sehr einfach ;)

Es muss ja nicht "Sofort" die Grenze von YB geknackt werden, ich denke auch nicht das wir in allen Ländern unseren Service sofort anbieten können. Aber man möchte ja gerne sichern gehen, wenn man schon ein innovations Projekt veröffentlicht, das noch nie dagewesen ist.

Erst einmal danke für die Kommentare.
 
Zuletzt bearbeitet:
So, jetz muss ich nochmal auf der Datenmenge rumreiten ;)
Wenn jeder Mensch auf der Erde (ich nehm jetzt mal 6 Mrd. als Wert)
einen Storageserver zur Verfügung stellt der rein hypothetische 100 TB Speicher hat
und die im SETI@Home Style zu einem gigantischen Cluster zusammenbaut, ist
man gerade mal bei 0,6 YB.... !
Die Zahl ist jenseits allem Menschenmöglichen im Jahr 2007 und wird in den nächsten Jahren genauso unmöglich bleiben!
6 000 000 000 Rechner * 100 000 000 000 000 Byte (100 TB)
= 600 000 000 000 000 000 000 000 (0,6 YB)

Grüße in gigantischem Ausmaß, drucko ;-)
 
Ja ich verstehe es einfach nicht...

Ihr ja auch nicht.. ^^

Pro Eintrag in unsere DB werden Berechnungen gesichert, die alle zusammen >>Pro Eintrag<< auf 3-7 MB groß sind.

Ich habe mir schon überlegt ob ich es nicht auf Datei Format umsetze aber dadurch wäre noch mehr Speicherplatz notwendig...

Aber damit ihr nicht auf dem Daten Volumen rumreitet stellt euch es einfach kleiner vor :D sagen wir 50 TB ;)
 
:)

Mal angenommen, dein berechneter benötigter Speicherplatz würde nur annähernd hinhauen...dann mach dir doch erstmal um das primäre Problem Sorgen:
Du benötigst mehr Speicherplatz, als auf diesem Planeten derzeit verfügbar ist:eek:


Oder andersrum...überlege erstmal, wie du den benötigten Speicherplatz für euer Projekt auf eine reell umsetzbare Grösse reduzieren kannst.
 
Das muessen wirklich gewaltige Berechnungen sein die da angestellt werden wenn die Datenbank jedes Mal durchschnittlich 5MB waechst. 5MB MySQL-Daten sind auch nicht wenig.
Ich wuerde hier auch mal schauen ob man die Datenmenge nicht reduzieren kann, z.B. ob wirklich all diese Daten noetig sind und in optimaler Form abgelegt werden.
 
Um antworten zu können musst du eingeloggt sein.

Neue Beiträge

Zurück