Hallo,
Ich habe derzeit ein Projekt am laufen, wo ich jede Nacht um 1:00 Uhr
Daten aus XML Files beziehe.
Im Moment sind knapp 5.000 Einträge vorhanden.
100 Einträge = 11 Sek.
1.000 Einträge = 110 Sek.
5.000 Einträge = 550 Sek.
550 % 60 = ~9 Minuten
Ausgenommen immer ein DB Update.
Also sagen wir mal, dass dauert 10 Minuten.
Wenn ich jetzt 50.000 Einträge hätte, würde das ganze 100 Minuten dauern.
Nun dachte ich mir, währe es doch theoretisch möglich 10 Files gleichzeitig zu beziehen,
würde das ganze um dem Faktor 10 beschleunigen.
Diese pcntl_fork Geschichte scheint wohl nicht das wahre zu sein,
da ich mir da wahrscheinlich schon ein eigenes Framework(zumindest eine umfangreiche Klasse) basteln müsste.
So nun meine Frage:
Hätte jemand eine Idee wie man dies schneller und effektiver lösen kann?
Ich habe derzeit ein Projekt am laufen, wo ich jede Nacht um 1:00 Uhr
Daten aus XML Files beziehe.
Im Moment sind knapp 5.000 Einträge vorhanden.
100 Einträge = 11 Sek.
1.000 Einträge = 110 Sek.
5.000 Einträge = 550 Sek.
550 % 60 = ~9 Minuten
Ausgenommen immer ein DB Update.
Also sagen wir mal, dass dauert 10 Minuten.
Wenn ich jetzt 50.000 Einträge hätte, würde das ganze 100 Minuten dauern.
Nun dachte ich mir, währe es doch theoretisch möglich 10 Files gleichzeitig zu beziehen,
würde das ganze um dem Faktor 10 beschleunigen.
Diese pcntl_fork Geschichte scheint wohl nicht das wahre zu sein,
da ich mir da wahrscheinlich schon ein eigenes Framework(zumindest eine umfangreiche Klasse) basteln müsste.
So nun meine Frage:
Hätte jemand eine Idee wie man dies schneller und effektiver lösen kann?