Η Διακήρυξη του Σαν Φρανσίσκο και νέοι τρόποι αξιολόγησης της έρευνας
Τα τελευταία χρόνια γίνεται ολοένα και πιο εμφανής η ανάγκη για βελτίωση των τρόπων με τους οποίους αξιολογείται η επιστημονική έρευνα από τους χρηματοδότες έρευνας, τα ακαδημαϊκά ιδρύματα και άλλους φορείς. Ανταποκρινόμενοι σε αυτή την ανάγκη, μία ομάδα εκδοτών και επιμελητών ακαδημαϊκών περιοδικών συναντήθηκαν τον Δεκέμβριο του 2012 στο Σαν Φρανσίσκο, στο περιθώριο της Ετήσιας Συνάντησης του Αμερικανικού Συλλόγου Κυτταρικής Βιολογίας. Η ομάδα διατύπωσε μία σειρά από συστάσεις γνωστές ως «Η Διακήρυξη του Σαν Φρανσίσκο για την Αξιολόγηση της Έρευνας».
Τα προϊόντα της έρευνας, υποστηρίζουν οι υπογράφοντες, ποικίλλουν και αφορούν, εκτός από τα επιστημονικά άρθρα, δεδομένα, φόρμουλες και λογισμικό. Τα αποτελέσματα της έρευνας πρέπει να υπολογίζονται με ακρίβεια και να αξιολογούνται με συνέπεια.
Μέχρι στιγμής, ο πλέον διαδεδομένος τρόπος αξιολόγησης του έργου ενός ερευνητή είναι μέσω των δημοσιεύσεων του σε επιστημονικά περιοδικά με υψηλό Impact Factor. Ο Impact Factor είναι ένας δείκτης του αντίκτυπου της έκδοσης -πρόκειται ουσιαστικά για ένα κλάσμα που διαιρεί τον αριθμό των αναφορών (citations) που επιτυγχάνει μία περιοδική έκδοση δια του συνολικού αριθμού των δημοσιεύσεων που φιλοξενούνται στο συγκεκριμένο περιοδικό την ίδια χρονιά. Δηλαδή, αν ένα περιοδικό έχει impact factor 9, τότε αδρά μπορούμε να πούμε ότι κατά μέσο όρο κάθε δημοσίευση του συγκεκριμένου περιοδικού λαμβάνει 9 αναφορές από άλλα αναγνωρισμένα επιστημονικά έντυπα.
Ο impact factor υπολογίζεται από την εταιρία Thomson Reuters, και είχε αρχικά ως στόχο να λειτουργεί υποστηρικτικά για τις ακαδημαϊκές και επιστημονικές βιβλιοθήκες στη διαδικασία της επιλογής των επιστημονικών περιοδικών στα οποία θα γίνονται συνδρομητές, και όχι να λειτουργήσει ως μέσο αξιολόγησης της ποιότητας της έρευνας που περιγράφεται σε ένα μεμονωμένο άρθρο, όπως καθιερώθηκε στη συνέχεια. O impact factor στη συνέχεια συνδέθηκε με την πρόσληψη και την προαγωγή των επιστημόνων.
Ως εκ τούτου, η αξιολόγηση της έρευνας με βάση τον impact factor των επιστημονικών εκδόσεων παρουσιάζει ορισμένα αναγνωρισμένα προβλήματα: η κατανομή των αναφορών στα επιμέρους άρθρα σε μία έκδοση είναι συχνά άνιση και επηρεάζεται από την εκδοτική πολιτική, ενώ τα δεδομένα που χρησιμοποιούνται στον υπολογισμό του impact factor των περιοδικών δεν είναι διαθέσιμα στο ευρύ κοινό.
Αναγνωρίζοντας ότι τα επιστημονικά άρθρα τα οποία υφίστανται αξιολόγηση από κριτές (peer-review) θα παραμείνουν κεντρικά στην αξιολόγηση της ίδιας της έρευνας για αρκετό καιρό ακόμη, και μέχρι νέοι αξιόπιστοι και κοινώς αποδεκτοί τρόποι αξιολόγησης να υιοθετηθούν ευρέως, οι υπογράφοντες προτείνουν μία σειρά από συστάσεις οι οποίες επικεντρώνονται στις επιστημονικές δημοσιεύσεις και αφορούν:
- την ανάγκη να καταργηθεί η χρήση δεικτών όπως το impact factor των περιοδικών στις διαδικασίες πρόσληψης και προαγωγής των ερευνητών και των ακαδημαϊκών
- την ανάγκη να αξιολογείται η ποιότητα της ίδιας της έρευνας και όχι το περιοδικό στο οποίο αυτή δημοσιεύεται
- την ανάγκη αξιοποίησης των ευκαιριών που προκύπτουν από τη διαδικτυακή δημοσίευση (όπως τη χαλάρωση ως προς τα όρια στον αριθμό των λέξεων, των γραφημάτων και των αναφορών σε άρθρα και τη διερεύνηση νέων τρόπων αξιολόγησης της σημασίας και του αντικτύπου της έρευνας).
Οι συστάσεις απευθύνονται σε χρηματοδότες έρευνας, ερευνητικούς και ακαδημαϊκούς οργανισμούς και σε εκδότες.
Αναλυτικά η «Διακήρυξη του Σαν Φρανσίσκο για την Αξιολόγηση της Έρευνας»: http://am.ascb.org/dora/
Αξίζει ακόμη να σημειωθεί ότι έχουν αρχίσει να αναπτύσσονται εκδοτικές υπηρεσίες που προσφέρουν εναλλακτικούς δείκτες αξιολόγησης του αντίκτυπου ενός άρθρου, με βάση π.χ. την παρουσία του στα κοινωνικά δίκτυα, όπως το twitter ή τα ιστολόγια, όπως και να συλλέγουν δείκτες για άλλα επιστημονικά «προϊόντα» όπως τις παρουσιάσεις ή τις δημοσιεύσεις δεδομένων από τον ερευνητή.
Αντλώντας δεδομένα από μία πληθώρα πηγών όπως το Scopus και το PLoS για τα επιστημονικά άρθρα, το Figshare για τις βάσεις δεδομένων, το Slideshare για τις παρουσιάσεις, το Github για το λογισμικό, και το Google για τις ιστοσελίδες και τα ιστολόγια, η υπηρεσία Impactstory δίνει στατιστικά για το πόσα tweets, αναφορές, πόσες αποθηκεύσεις, κλπ, έχει κάθε προϊόν.
Η συλλογή εναλλακτικών δεικτών για τον υπολογισμό του αντίκτυπου ενός άρθρου έχει αρχίσει να δέχεται προσοχή και είναι γνωστή ως altmetrics (από το alternative metrics). Βλ. για παράδειγμα την προβολή των altmetrics δεικτών στο περιοδικό ανοικτής πρόσβασης PeerJ https://peerj.com/articles/53/#metricsModal και το Impactstory https://impactstory.org/HollyBik
January 28, 2015
