Hallo!

Ich interessiere mich für verschiede Browser und habe schon ein paar mal Benchmarks gemacht, da ging es aber hauptsächlich um die Performance.

Gestern Abend habe ich beschlossen, nochmal ein Benchmark mit den aktuellen Versionen zu machen (vorher waren es meistens BETAs), und diemal alle Aspekte zu berücksichtigen. Das klappte soweit ganz gut, jetzt bin ich fast durch und habe aber einige Fragen zur Gewichtung und zu den Daten überhaupt.

1. Reichen die Aspekte? Ich habe bisher:
- JavaScript & Rendering Performance (Sunspider, Peacekeeper, Dromaeo, V8)
- Standards Conformity (Acid3, CSS3 Selectors) <-- könnte etwas mehr sein
- Loading Speed (3 Websites)
- Startup Speed
- Memory Usage (Startup, 10 Websites, 25 Websites)
- Plugins (Amount) <-- die Anzahl allein sagt nicht so viel
- Security (scanit Test, Block Rate, Public Security Vulnerabilities, National Vulnerability Database) <-- das ist alles schwierig

2. Browser sollten alle wichtigen dabei sein:
- Opera 10.51
- Chrome 4.1
- Firefox 3.6
- Safari 4
- Internet Explorer 8

3. Wie kann ich die Sicherheit ernsthaft bewerten?
- Der scanit Test spuckt überall 100% aus, sagt also nichts
- Die Block Rate bezieht sich nur auf geblockte Links zu Viren, was nicht vor Hackern schützt
- Bei Public Security Vulnerabilites (die erst nach Ausnutzung gepatcht wurden) gibt es für Chrome keine Daten
- In der National Vulnerability Database werden einfach alle Fehler in Browsern aufgezählt, ältere Projekte hatten natürlich mehr Zeit Fehler "anzusammeln"
--> Gibt es überhaupt Aspekte, die quantitativ bewertet werden können?

4. Was soll ich bei den Plugins machen?
- Firefox hat die meisten Addons, aber sagt die Zahl wirklich so viel aus? Es müsste eine Bewertung über die Vielfältigkeit und den Nutzen der Addons geben
- Ich kann das nicht selber bewerten, soll ja ein unabhängiger Test werden

5. Gewichtung der Daten
- Wenn ich beispielsweise eine endgültige Statistik über die Performance haben möchte muss ich die einzelnen Tests gewichten. Einfach 1:1, oder gibt es da was zu berücksichtigen?

Wenn ihr zumindest auf ein paar der Fragen antworten könntet wär ich richtig glücklich Danke!

Noch was:

6. Wierum soll ich die Daten darstellen?
1. Balkendiagramm gruppiert nach Tests (z.B. erst Opera Peacekeeper, dann Firefox Peacekeeper, dann Chrome Peacekeeper)
2. Balkendiagramm gruppiert nach Browsern (z.B. erst Chrome Peacekeeper, dann Chrome Dromaeo, dann Chrome V8)

Bei der Performance z.B. ist glaube ich Variante 1 sinnvoller, damit man gleich den Geschwindigkeitsunterschied zwischen den Browsern sieht, bei Speichernutzung z.B. fände ich zwei sinnvoller damit man sieht, wie die zwischen 1, 10 und 25 Tabs zunimmt. Was sagt ihr dazu?

Keine Antwort ist auch eine Antwort, ich habe es jetzt irgendwie selber gemacht. Das Ergebnis könnt ihr hier finden, falls es euch interessiert:
Browser Roundup – Opera, Chrome, Firefox, Safari and Internet Explorer tested