Onkel Schuppig
Erfahrenes Mitglied
Hallo allerseits,
ich habe mit riesigen ASCII-Dateien zu tun (z.B. 14 GB groß), die von vorn bis hinten mit Datenblöcken gefüllt sind nach diesem Schema:
Also immer -1, Datensatz, -1. "Datensatz" kann riesig sein, ist von Satz zu Satz in der Regel verschieden groß.
Es wäre nett gewesen, wenn die Programmierer dieses Dateiformats einen Offset zum nächsten Datensatz untergebracht hätten, dann könnte man ruckzuck von einem zum nächsten Datensatz hangeln. Haben sie aber nicht.
Um die Anfänge jedes Satzes zu finden, muss ich also jede Zeile einlesen und prüfen ob sie " -1" ist. Das dauert natürlich.
Nun die Frage: Gibt es in der Informatik einen schnelleren Algorithmus, um alle -1 zu finden?
Grüße OS
ich habe mit riesigen ASCII-Dateien zu tun (z.B. 14 GB groß), die von vorn bis hinten mit Datenblöcken gefüllt sind nach diesem Schema:
Code:
-1
... datensatz1 ...
-1
-1
... datensatz2 ..
-1
Es wäre nett gewesen, wenn die Programmierer dieses Dateiformats einen Offset zum nächsten Datensatz untergebracht hätten, dann könnte man ruckzuck von einem zum nächsten Datensatz hangeln. Haben sie aber nicht.
Um die Anfänge jedes Satzes zu finden, muss ich also jede Zeile einlesen und prüfen ob sie " -1" ist. Das dauert natürlich.
Nun die Frage: Gibt es in der Informatik einen schnelleren Algorithmus, um alle -1 zu finden?
Grüße OS