Das war ein simples Bsp., ich glaub schon daran, das man unterschiedliche Website-Versionen testen kann, und anhand der Absprung-quoten erkennen kann welche für eine spezielle Zielgruppe besser funktioniert!
Dies ist auch eine der Standardverfahren für Design-Tests..
natürlich kann man das, aber was du machst ist zu krass und du bedenkst zu viele faktoren dabei nicht
wenn du exakt die selbe seite hast, 1x mit roten und 1x mit blauem hintergrund dann kannst vielleicht aussagen treffen - aber 1x mit rotem, 1x mit blauem und dann noch in verschiedenen größen und mit anderem text kannst du keine aussage mehr treffen
usability tests werden üblicherweise mit einer personengruppe gemacht die man vor einen rechner setzt und sie beobachtet - nicht online auswerten, drum sind diese programme die du erwähnst auch so billig ;)
lade dir 10 freunde/bekannte/eltern einzeln hintereinander ein die mit dem internet wenig zu tun haben und zeige der eine hälfte A) zuerst und dann B) und umgekehrt
lass sie auf die seite los und stelle ihnen ein aufgabe ("such einen artikel zum thema spinnennetze" oder "verwende die menuführung um zum impressum zu gelangen") und beobachte sie, danach setze ihnen die andere vor udn beobachte sie (klickverhalten, dauer der klicks, was lesen die leute?) danach stellst du ihnen fragen
erste besser, zweite besser - das kannst du dann mit deinen beobachtungen vergleichen
und ja, das wird in der praxis so gemacht - und dafür sollte man besonders leute ausschließen, die am entwicklungsprozess beteiligt waren (zb die alte oder neue seite kennen oder mit dem inhalt/design vertraut sind)