ΜΕΘΟΔΟΛΟΓΙΑ
Πώς μετράμε και πώς βγάζουμε συμπέρασμα.
Η διαδικασία έχει σχεδιαστεί ώστε οι συγκρίσεις να γίνονται όσο γίνεται πιο δίκαια και επαναλήψιμα. Παρακάτω παρουσιάζονται οι βασικές αρχές χωρίς περιττή τεχνική λεπτομέρεια.
01Σταθερές συνθήκες
Οι βασικές μετρήσεις επαναλαμβάνονται περισσότερες από μία φορές πριν και, όπου υπάρχει βελτιστοποίηση, μετά τις αλλαγές. Στόχος είναι οι δύο πλευρές της σύγκρισης να γίνονται στις ίδιες συνθήκες.
Πριν από κάθε καταγραφή το σύστημα περνά από περίοδο ηρεμίας 10 λεπτών και ακολουθεί έλεγχος της κατάστασής του: φορτίο στο παρασκήνιο, εκκρεμή updates και ενδείξεις θερμικού περιορισμού. Αν οι συνθήκες δεν είναι κατάλληλες, η μέτρηση επαναλαμβάνεται αργότερα. Οι μετρήσεις μέσα στο παιχνίδι γίνονται με τον ίδιο τίτλο, τις ίδιες ρυθμίσεις και την ίδια σκηνή και στα δύο σκέλη της σύγκρισης.
02Κατώφλι τεκμηρίωσης
Δεν αρκεί ένας αριθμός να είναι διαφορετικός. Μια διαφορά μετράει μόνο όταν περνά ταυτόχρονα δύο όρια.
Το πρώτο όριο ελέγχει αν η μεταβολή είναι μεγαλύτερη από τη διακύμανση της ίδιας της μέτρησης από επανάληψη σε επανάληψη. Το δεύτερο ελέγχει αν είναι αρκετά μεγάλη για να έχει πρακτική σημασία. Μια μεταβολή που περνά μόνο το ένα από τα δύο χαρακτηρίζεται εντός θορύβου.
Πρόκειται για μηχανικό κατώφλι επαναληψιμότητας, όχι για τυπικό στατιστικό τεστ σημαντικότητας, και το report δεν το παρουσιάζει ποτέ ως τέτοιο. Αν μια μέτρηση είναι πολύ ασταθής σε κάποιο σκέλος (συντελεστής διακύμανσης πάνω από 5%), χαρακτηρίζεται μη συμπερασματική. Ορισμένες έμμεσες μετρήσεις εμφανίζονται μόνο ως συμβουλευτική πληροφορία.
03Οι κατηγορίες αποτελέσματος
-
ΒΕΛΤΙΩΣΗ
Βελτίωση: η μεταβολή περνά το κατώφλι τεκμηρίωσης προς την καλύτερη κατεύθυνση.
-
ΕΠΙΔΕΙΝΩΣΗ
Επιδείνωση: η μεταβολή περνά το κατώφλι τεκμηρίωσης προς τη χειρότερη κατεύθυνση. Παραμένει στο report.
-
ΕΝΤΟΣ ΘΟΡΥΒΟΥ
Εντός θορύβου (Within Noise): η διαφορά δεν περνά το κατώφλι τεκμηρίωσης, άρα δεν δηλώνεται μεταβολή.
-
ΜΗ ΣΥΜΠΕΡΑΣΜΑΤΙΚΟ
Μη συμπερασματικό: η μέτρηση ήταν πολύ ασταθής για να στηρίξει σαφές αποτέλεσμα.
-
ΣΥΜΒΟΥΛΕΥΤΙΚΟ
Συμβουλευτικό: πληροφορία που βοηθά στην εικόνα του συστήματος, αλλά δεν καθορίζει μόνη της το τελικό συμπέρασμα.
ΒΑΣΙΚΗ ΑΡΧΗ
"Αν η μέτρηση δεν στηρίζει σαφές συμπέρασμα, το report το αναφέρει. Η απουσία μετρήσιμης διαφοράς παραμένει χρήσιμο εύρημα."
Η δημόσια σελίδα εξηγεί τη λογική της διαδικασίας. Τα πρακτικά ελάχιστα ανά μέτρηση βαθμονομούνται εσωτερικά και καταγράφονται σε κάθε report.
Θέλεις να εφαρμοστεί αυτή η διαδικασία στο δικό σου σύστημα;
ΜΕΤΡΗΣΗ → ΔΙΑΓΝΩΣΗ → ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ