Hallo Leute,
ich würde mir gerne ein (kleines) Social-Media-Monitoring-Tool selber bauen. Da wollte ich mir hier etwas Feedback zu meinen Ideen holen.

Ich möchte gerne eine lokale Medienlandschaft mit dem Tool verfolgen, d.h. die Datenmenge ist (relativ) begrenzt (im Vergleich zu den allgemeinen Weiten des Internets).

Ich habe mir als grundsätzlichen Ansatz gedacht, die Inhalte von z.B. Blogs und twitter via der XML-Schnittstellen in regelmäßigen Abständen auszulesen und in eine Datenbank zu schreiben, mit der ich dann beliebig weiter arbeiten kann. Ich dachte mir, dass das evtl. Performance-mäßig besser sein könnte, da ich nicht bei jeder Operation die Daten neu auf den externen Quellen auslesen muss. Es erschien mir ob der begrenzten Datenmenge als Ansatz vertretbar.

Für Blogs und twitter ist mir das Verfahren grundsätzlich klar. Ich frage mich nur, wie man facebook und Foren auslesen können soll... Diese Möglichkeit bieten ja diverse kommerzielle Anbieter, also muss es ja irgendwie gehen...

Was ich jetzt auch bei kommerziellen Anbietern gesehen habe ist, zu erfassen in welchem Kontext ein Stichwort erwähnt wurde (sprich positiv, negativ, neutral). Da muss ich ehrlich sagen, mehr als das geguckt wird, was sonst noch so für Wörter im Umfeld des Stichworts stehen (wie z.B. sch***, Mist, Blödsinn, etc.) und daraus nen Kontext abzuleiten, kann ich mir als Ansatz für diese Funktionalität nicht vorstellen... Habt ihr vielleicht ne Idee?

Nur so am Rande wollte ich mal fragen, womit man eigentlich diese netten Grafiken am besten erstellt, mit denen z.B. die Statistik-Tools in Blogs arbeiten. Sprich Kreis-, Linien- und Balkendiagramme. Ist HTML5 dafür gut geeignet oder wie funktioniert sowas?

Das wären so meine ersten Gedanken, wie gesagt, über euer Feedback würde ich mich freuen.

Viele Grüße Eric

(A) Ja, natürlich macht es Sinn, die Daten auszulesen und in einer eigenen DB abzulegen. Bei wiederholten Auslesevorgängen, (zB regelmäßig, alle 4 Stunden) brauchst Du nur die neu dazugekommenen hinzupacken, völlig unabhängig von Deinem Analysecode. Jener arbeitet den DB-Teil ab - und der Datenfundus wird im Hintergrund größer.

(B) Es gibt letztendlich nur wenige Forensysteme, die ambitioniert/kommerziell genutzt werden. Für diese 3-5 Forensysteme schreibt man sich die Scraping-Pattern und hat damit Zugriff auf geschätzte 95% aller Foren.

(C) Warum macht man sowas.. Stichwort Data Mining

(D) Facebook öffnet sich doch grad. Nutzer geben versehentlich/unwissend oder bewusst ihren Smalltalk als XML-Abo frei. Heisst also, als eine zugelassene SDK-App sollte da Einiges gehen. Per OAuth anmelden, zB. Bei G+ ähnlich einfach.

(E) Für Diagramme gibt es Codesnippets in verschiedenster Form. Ob als php, als js oder sonstwas. Man muß das Rad ja nicht neu erfinden. PCharts, jsCharts oder als SVG etc pp

mfg chmee