Hallo,

btw. bei den aktuell gängigen MySQL Versionen kannst du mit einem Insert Befehl auch mehrere Zeilen gleichzeitig einfügen.

Code sql:

1	INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);

Siehe auch:
http://dev.mysql.com/doc/refman/5.5/en/insert.html

Gruß Tom

Ich überlege gerade, wie ich die Sache mit dem Aufteilen am besten realisiere;
Meine Überlegungen:
1. Hauptscript wird von Cronjob aufgerufen.
2. Hauptscript zählt alle Einträge in Datenbank(count(id) oder SQL_CALC_FOUND_ROWS)
3. Die Einträge durch eine vordefinierte Zahl teilen, wieviele Prozesse man haben möchte
z.B. 20 Prozesse vordefiniert: 100:20=5
Was mach ich aber bei einer Zahl von 37.845?
4. Das Unterscript mit entsprechenden Parametern aufrufen:
1. Prozess

Code :

1	php -f script.php 1 5

2. Prozess

Code :

1	php -f script.php 6 10

Das ganze geht bis zu den 20 Prozessen.
1 = StartID
2 = EndID
5. Halt wie jetzt schon in dem Unterscript alle updaten.

Währe das so gut realisiert, hat jemand noch eine verbesserung/bessere Idee?

Ich weiß nicht, ob dass bei PHP mit exec() oder shell_exec() oder der Variante mit den Backticks möglich ist, aber normalerweise kann man Prozesse im Hintergrund ausführen lassen, in dem man am Ende noch ein Und-Zeichen "&" einfügt, also in deinem Fall

Code :

1	php -f script.php 6 10 &

Kurzinformation (in Englisch): http://unixhelp.ed.ac.uk/shell/jobz2.html

oder wenn man ein "nohup" an den Anfang des Befehls setzt...

Also Insert am schluss ausführen beschleunigt das Skript dermaßen.
Bin jetzt von 5 auf 2Sekunden runter nur durch optimieren des Inserts.
Wie sieht es jetzt mit den Updates aus?
Gibt es da auch so ne' Art multiupdate?

So hab das ganze jetzt komplett gelöst bekommen,
auch mit update.
Vorherige Dauer bei 10 Datensätzen: 5 Sekunden.
Optimierte Dauer bei 10 Datensätzen: 1,2 Sekunden.

Echt geniale Beschleunigung
Jetzt das ganze Multithreading machen und es rennt alles durch.

Ich wollt nur nochmal sagen das ich jetzt eine perfekte Lösung(für mich) gefunden habe:
cURL Multi.
1000 Files brauchen 200 Sek. mit cURL Multitasking und das bei meiner lahmen 16.000 und WLAN bei mir zuhause.
Ich starte cURL Multi immer mit 100 Requests.
Bei 1000 Files lass ich das ganze 10 mal durchführen.