Welche Sprache um Logfile auszuwerten

bank24

Grünschnabel
Hi,

ich möchte demnächst eine Arbeit zum Thema Logfiles auswerten schreiben.

Kernpunkt der Arbeit ist die Analyse von Logfiles.

Das ganze soll zentralisiert implementiert werden, also auf einem Webserver.

Wenn man eine Logfile analysieren möchte, so "schiebt" man sie auf den Webserver (http,ssh,ftp ist ja egal... kann man theoretisch auch Copy + Pasten...)

und anschließend kann man schön "Klicki,Bunti" auswählen was man suchen möchte.

z.B Zeige mir alle Logeinträge mit dem Wort "authentification failure"

Da es bei meiner Arbeit auch um eine wissenschaftliche Aspekte geht, sind für mich Gesichtspunkte wie Performance und Schnelligkeit sehr wichtig.


Welche Sprachen empfehlt ihr mir denn? letzten Endes wird es so oder so auf sehr viele Reguläre Ausdrücke handeln, welche mit einem Scanner/Parser über das Logfile gejagt werden.

Ist das egal ob ich das jetzt in einer Scriptsprache wie Perl, oder doch eine Hochsprache wie Java im Backendbereich einsetze? Ich könnte auch einen Tomcatapplication Server aufsetzen, wäre kein Problem. Aber ist der Schneller wenn es um solche Sachen geht?


Würde mich sehr über Feedback,Ideen,Anregungen oder Rückfragen freuen.

Viele Grüße
bank24
 

HonniCilest

Erfahrenes Mitglied
Ich benutze zum Auswerten von Log-files meistens PowerShell, allerdings habe ich eine sehr begrenzte Auswahl von anderen Mitteln zur Verfügung und es kommt bei mir nicht auf das grafische an. Wenn Grafik gewünscht ist reichen normalerweise die typischen Ampelfarben, welche ich für die Textausgabe verwende. Ich habe leider wenig Erfahrung was an dieser Stelle die Performance gegenüber anderen Sprachen.
 

bank24

Grünschnabel
Hey Honni,

danke für die schnelle Antwort.

Ja grafik usw ist ja alles unwichtig, das muss mein Backendsystem ja garnicht umsetzen.

In meiner Arbeit trenne ich die eigentlich Analyse von der Darstellung, welche ich ja zB mit HTML (sollte genug Farben haben :) )dynamisch erstellen kann.

Ok PowerShell kommt dann auch mal mit auf meine Liste ;)

Edit1:
ok PowerShell scheidet selbverständlich aus, da ich auf Unix Systeme arbeite
 
Zuletzt bearbeitet:

Thomas Darimont

Erfahrenes Mitglied
Hallo,

willst du beliebige Log-Files (also beliebige Text Daten) oder nur ganz spezielle (nur Standard HTTPD Apache Log Files: http://httpd.apache.org/docs/2.4/logs.html) auswerten?

Eine Möglichkeit große Server Logs (und ich meine hier "richtig große" > 5 GB bzw. sehr viele kleine im Verbund) kann z.Bsp. mit einem auf Map Reduce basierten Verfahren effizient Auswerten (Zum Beispiel mit Apache Hadoop in Verbindung mit pig).

Ich denke gerade für einen akademischen Text kann man mit Map Reduce, verteilte Systeme & Big Data in die richtige Kerbe hauen ;-)

Hier mal ein Beispiel für die Log-File Analyse mit Pig und Apache Hadoop
http://sysadvent.blogspot.de/2011/12/day-10-analyzing-logs-with-pig-and.html
http://www.joshdevins.net/2010/02/22/log-analysis-pig-gnuplot/

Das Google Gegenstück zu Pig heißt übrigens sawzall: http://research.google.com/archive/sawzall.html
http://glinden.blogspot.de/2007/04/yahoo-pig-and-google-sawzall.html

Hier mal noch ein Beispiel für Log-File Analyse von Log4J XML -Log Dateien.
http://logging.apache.org/chainsaw/index.html

Ein Tool, dass ich gerne Benutze ist Baretail:
http://www.baremetalsoft.com/baretail/

Gruß Tom
 

bank24

Grünschnabel
Es geht um beliebige Logs. Egal ob Mail, FTP, Apache, Tomcat usw.... Natürlich gibts viele viele Gemeinsamkeiten bei den Logs...


danke für deine Links, werde mich mal durcharbeiten.