10TB Daten speichern und verwalten

L

LL0rd

Erfahrenes Mitglied
Hallo Leute,

ich habe gerade ein kleines Problem. Ich will ca. 10 TB Daten verwaltbar speichern. Unter anderem auch so, dass ich in dieser Datenmenge relativ schnell Dateien wiederfinden kann.

Der Speicherplatz wird in etwa so belegt sein:

2 TB reine Binärdaten (Festplatten Images, CD/DVD Images, etc.)
2 TB Fotos (Speichern mit Kommentar und Bildbeschreibung)
3 TB Musikdaten
3 TB PDF Dateien, es sollte auch möglich sein, nach texten in den Daten zu suchen.

Hat von euch jemand eine Idee, wie man die Datenmenge verwalten kann?
 
Anzuraten wäre meiner Meinung nach ein journaling Filesystem wie etwa ext3. Ich nehme an du nutzt einen Raidverbund?
Und evtl. bist du im falschen Forum gelandet. Das gehört meiner Meinung mehr nach Hardware.
 
Über die Art, wie die Daten hardwareseitig gespeichert werden, kann man sich immernoch unterhalten. Momentan geht es mir jedoch primär darum, wie ich die Daten verwalten kann, also dass man die dort gespeicherten Daten auch wiederfindet - und zwar schnell.
 
Zu einem Dateisystem wie ext3 oder NTFS bist du regelrecht gezwungen. Allein aufgrund der größe des Ganzen.
Was das Durchsuchen anbelangt wirst du das ganze wesentlich durch die Indizierung des ganzen beschleunigen können. In Gnome und KDE sind entsprechende Anwendungen bereits integriert. Aber ich nehme an du willst bei Windows bleiben?
 
10 TB Daten Windows anvertrauen Da würde ich mir eher einen Kopfschuss verpassen...

Nee das ganze wird schon auf Linux laufen. Mit den Tools meinst du sicherlich z.B. beagle. Aber gerade da habe ich angst, dass beagle mit der zu indizierenden Datenmenge nicht klarkommt.
 
Schaffen wir mal klare Verhältnisse. Die Daten die ich hier auf meinem PC habe bewegen sich immer noch unterhalb der Terrabyte-Grenze. Also kann ich dir leider keine Tips aus praktischer Erfahrung geben. Auch habe ich mich noch nicht intensiv mit Indizierung von Daten auseinander gesetzt.
Ich nehme an, dass die Beschleunigung durch die Indizierung spürbar sein wird nur es sich wohl trotzdem noch um Minuten handeln wird um alles zu durchsuchen. Besonders wenn du den Inhalt durchsuchbar haben möchtest. Dort wäre es evtl. eine gute Idee zu trennen. Sprich: Zwischen Daten, deren Inhalt für die Suche relevant ist und denen, deren Inhalt dies nicht ist etc.

Durch die meiner Meinung nach weise Entscheidung ein Gnu/Linux zu benutzen fällt NTFS ja schon grundsäzlich weg und durch GPL etc. tut sich ein wahres Utopia an mehr oder minder guten Dateisystemen auf. Ich werde mich mal umsehen ob es eine lohnenswerte Alternative zu Ext3 bzw gar 4 als Standardsystem gibt.
 
Um antworten zu können musst du eingeloggt sein.

Neue Beiträge

Zurück