Wie werte ich am besten riesiege Datenmengen aus?

ASchueltke

Grünschnabel
Hallo Leuts,

ich muss füre unsere Firma die Proxylogs auswerten und "archivieren".
Das heißt irgendwie vernünftig aufnehmen und Datenmüll entfernen.

Eine txt logdatei von einem normalen Tag ist ca. 85MB groß.
Nachdem ich sinnlose Logs entfernt habe und wirklich nur das in die MySQL
Datenbank aufnehmen, das ich brauche. komme ich auf 2 Tabellen á 1 mb pro Tag.

Da kommt über die Tage ganz schön viel zusammen.

Wie würdetihr solche Datenmengen verarbeiten?
Wie ich in MySQL, oder vielleicht wieder zurück in eine txt-Datei, oder was ganz anderes?

Die verarbeitungsdauer beim Einlesen ist mir eigentlich egal, das läuft Nachts und dauert 20min (+-5). Aber das auslesen ist mit der Zeit nicht mehr wirklich Anwenderfreundlich.

Vorschläge?

Gruß
André
 
Zurück