Hallo,

Ich habe derzeit ein Projekt am laufen, wo ich jede Nacht um 1:00 Uhr
Daten aus XML Files beziehe.
Im Moment sind knapp 5.000 Einträge vorhanden.
100 Einträge = 11 Sek.
1.000 Einträge = 110 Sek.
5.000 Einträge = 550 Sek.
550 % 60 = ~9 Minuten
Ausgenommen immer ein DB Update.
Also sagen wir mal, dass dauert 10 Minuten.

Wenn ich jetzt 50.000 Einträge hätte, würde das ganze 100 Minuten dauern.
Nun dachte ich mir, währe es doch theoretisch möglich 10 Files gleichzeitig zu beziehen,
würde das ganze um dem Faktor 10 beschleunigen.

Diese pcntl_fork Geschichte scheint wohl nicht das wahre zu sein,
da ich mir da wahrscheinlich schon ein eigenes Framework(zumindest eine umfangreiche Klasse) basteln müsste.

So nun meine Frage:
Hätte jemand eine Idee wie man dies schneller und effektiver lösen kann?

Hi jannicars,

ich würde mal ganz schlicht sagen: PHP hat nicht wirklich Threading, und einfach so "herzaubern" kann man das auch nicht.
Sind die Aktionen kompliziert?
Ist die Beschleunigung (sehr) wichtig?
Du könntest auch einfach ein "normales" Programm, z.B. in C++ schreiben und dann aus PHP heraus aufrufen.

Gruß

Hallo,

eine weitere einfache alternative... wenn die Import-Vorgänge alle unabhängig voneinander sind, dann starte doch einfach X PHP-Prozesse zur Verarbeitung deiner Dateien mit unterschiedlicher Parameterisierung (Prozess 1: Files 0-1000, Prozess 2: Files: 1001-2000, etc.).

Gruß Tom

Hi javaDeveloper2011,

Die Beschleunigung des Scriptes ist sehr wichtig,
da dass Script mit 5.000 Einträgen knapp 1 Stunde braucht.
Es werden bestimmt bald locker sich um die 50.000 Einträge in der
Datenbank rumtummeln.
Das Problem an der anderen Sprache währe,
1. Ich kann keine andere Sprache.
2. Ich benutze ein Framework in PHP(bestimmt könnte es auch ohne gehen, wird dann aber wieder komplizierter.)

So umfangreich ist das ganze Script auch nicht:
1. Schritt-> Alle Einträge in eine Schleife packen
2. Schritt-> In der Schleife dann das File immer einzeln laden, Daten entnehmen,
ein MySQL Datenbank update (1 Eintrag editieren) und in eine andere Tabelle 1 Insert.
Schritt 2 Halt immmer in einer Schleife.

Zitat von Thomas Darimont

Hallo,

eine weitere einfache alternative... wenn die Import-Vorgänge alle unabhängig voneinander sind, dann starte doch einfach X PHP-Prozesse zur Verarbeitung deiner Dateien mit unterschiedlicher Parameterisierung (Prozess 1: Files 0-1000, Prozess 2: Files: 1001-2000, etc.).

Gruß Tom

Darüber habe ich mir auch schonmal Gedanken gemacht.
Mein gedachter Weg dies zu realisieren:
1. Alle Einträge zählen und in 10-20 Prozesse aufteilen.
2. per Exec() die Datei aufrufen mit GET(?!) Parametern.
3. Den Rest halt da weiterlaufen lassen.

Klingt irgendwie ganz gut.

Hey,

wie ist dein Import-Vorgang gelöst bzw. programmiert?
Vielleicht gibt es dort noch Potenzial ...

mfg
bo

So umfangreich ist das ganze Script auch nicht:
1. Schritt-> Alle Einträge in eine Schleife packen
2. Schritt-> In der Schleife dann das File immer einzeln laden, Daten entnehmen,
ein MySQL Datenbank update (1 Eintrag editieren) und in eine andere Tabelle 1 Insert.
Schritt 2 Halt immmer in einer Schleife.

Wie wäre es, wenn du zuerst alle SQL-Statements sammelst und sie dann gemeinsam auf einen Schlag ausführst?

2. per Exec() die Datei aufrufen mit GET(?!) Parametern.

Rufe es lieber mit Parametern auf:

Code :

1	php -f /path/to/the/file.php firstparam secondparam

Und im PHP-Skript kannst du per $argv auf die Paramter zugreifen.

Zitat von ComFreek

Wie wäre es, wenn du zuerst alle SQL-Statements sammelst und sie dann gemeinsam auf einen Schlag ausführst?

Würde das so drastisch den ganzen Ablauf beschleunigen?
Aber dafür braucht das Script mehr RAM?

Zitat von ComFreek

Rufe es lieber mit Parametern auf:

Code :

1	php -f /path/to/the/file.php firstparam secondparam

Und im PHP-Skript kannst du per $argv auf die Paramter zugreifen.

Ich hab früher auch schon versucht, Scripte per command line auszuführen, scheiterte immer beim includen von anderen Dateien.
Ich hab da glaub ich immer

Code :

1	php -c oder -x

benutzt.

Würde das so drastisch den ganzen Ablauf beschleunigen?
Aber dafür braucht das Script mehr RAM?

Habe gerade schnell mal einen Test gemacht:

Tabelle:

Code sql:

1	CREATE TABLE big_table ( id INTEGER AUTO_INCREMENT PRIMARY KEY, sometext CHAR(255) )

Es werden jeweils 1000 255 Zeichen lange Strings eingefügt:
1.) mysqli_query() bei jedem Durchlauf der Schleife (Zeitdifferenz in Mikrosekunden | RAM in Bytes):

1.8684060573578 | 331760

2.) mysqli_query() außerhalb der Schleife mit 1000 INSERT VALUES-Kommandos:

0.075608015060425 | 592648

Also, es lohnt sich auf jeden Fall. Wenn du dann noch ein mysqli_query()-Kommando nach jedem x. Hinzufügen von Werten einbaust, kannst du auch noch die RAM-Nutzung regulieren.

Ich hab früher auch schon versucht, Scripte per command line auszuführen, scheiterte immer beim includen von anderen Dateien.

set_include_path() könnte dir helfen.

Also einfach in der Schleife alles in ein Array packen,
am schluss das ganze Array in einer For Schleife mit Insert und Update machen in einem Rutsch?

Könntest du am besten mal das Testscript posten?

Zitat von jannicars

Also einfach in der Schleife alles in ein Array packen,
am schluss das ganze Array in einer For Schleife mit Insert und Update machen in einem Rutsch?

Könntest du am besten mal das Testscript posten?

Dann führst du immer noch jedes SQL-Statement einzeln aus.
Du sollst die Statements zusammenhängen...

Code sql:

1	INSERT INTO TABLE (id) VALUES (12);INSERT INTO TABLE (id) VALUES (12);INSERT INTO TABLE (id) VALUES (12)

Einfach per Kommata die einzelnen Werte-Blöcke (in Klammern) trennen.
Mein Test-Code war:


test1.php:

PHP-Code:

<?php

$connection = mysqli_connect('***','***','***','***') or die('ERROR');

$text = str_repeat('ABCDE', 51);
$limit = 1000;

$time1 = array(microtime(true));
for ( $i=0; $i<$limit; $i++ )
{
  mysqli_query($connection, 'INSERT INTO big_table (sometext) VALUES (\''.$text.'\')') or die(mysqli_error($connection));
}
$time1[] = microtime(true);

echo $time1[1]-$time1[0] . '|' . memory_get_usage();

?>

test2.php:

PHP-Code:

<?php

$connection = mysqli_connect('***','***','***','***') or die('ERROR');

$text = str_repeat('ABCDE', 51);
$limit = 1000;

$time2 = array(microtime(true));
$queries = 'INSERT INTO big_table (sometext) VALUES (\''.$text.'\')';
for ( $i=0; $i<$limit; $i++ )
{
  $queries .= ',(\''.$text.'\')';
}
mysqli_query($connection, $queries) or die(mysqli_error($connection));
$time2[] = microtime(true);

echo $time2[1]-$time2[0] . '|' . memory_get_usage();


?>

Danke!
Das werd ich auf jedenfall so umsetzen.
Werde auch noch gucken, ob ich das mit dem Aufteilen vernünftig realisiert bekomme.

Die Sache mit dem Aufteilen:
20 PHP Prozesse sind doch für einen schnellen Server kein Problem, da dass ja nichts rechtenintensives ist, oder?
Auch wenn ich das wie obig beschrieben mache; erst alle sammeln dann Updaten; dürfte den MySQl Server nicht in die Knie ziehen oder?

Sollte es nicht, nein...
Allerdings ist es eine gute Frage, ob es nicht gescheiter wäre 5 Mal je 4Prozesse laufen zu lassen, wenn du eh alle SQL-Querys auf einmal durchführst, indem du sie vorher sammelst. Das dürfte doch schneller gehen und spart Ressourcen. Probier einfach bisschen rum...

Dann hab ich ja diese Woche nie langeweile.. Danke