Τον περασμένο Μάιο ξεκίνησε ένα ανοιχτό εγχείρημα με έναν σαφή στόχο: να ενταχθεί η ανθρώπινη αξιολόγηση στη διαδικασία ανάπτυξης πιο αξιόπιστων ελληνικών γλωσσικών μοντέλων.
Τέσσερις μήνες αργότερα, η προσπάθεια έχει αποκτήσει απτό αποτύπωμα. Στην πλατφόρμα Argilla, 81 αξιολογητές έχουν ήδη ελέγξει 32.869 εγγραφές σε 22 διαφορετικά datasets, ενώ επτά από αυτά έχουν ολοκληρωθεί πλήρως.
Πίσω από τους αριθμούς βρίσκεται μια διαδικασία διαρκούς ανατροφοδότησης. Τα ελληνικά datasets που δημιουργούνται και επιμελούνται μέσω του GlossAPI αξιοποιούνται στην εκπαίδευση και προσαρμογή του Apertus, του ανοιχτού πολυγλωσσικού γλωσσικού μοντέλου του Swiss AI Initiative. Το μοντέλο παράγει στη συνέχεια ερωτήσεις και απαντήσεις βασισμένες σε συγκεκριμένα κείμενα αναφοράς – και εκεί παρεμβαίνει η ανθρώπινη κρίση.
Ο αξιολογητής έχει μπροστά του την πηγή, την ερώτηση και την απάντηση του μοντέλου. Καλείται να διακρίνει αν η απάντηση εδράζεται πραγματικά στο κείμενο ή αν, παρά τη γλωσσική της ευχέρεια,
Η διάκριση αυτή είναι καταλυτική. Από τις 32.869 αξιολογήσεις, 20.287 απαντήσεις έγιναν αποδεκτές, 2.614 χρειάστηκαν επεξεργασία και 9.968 απορρίφθηκαν. Σχεδόν τέσσερις στις δέκα απαντήσεις, δηλαδή, δεν πέρασαν αυτούσιες τον ανθρώπινο έλεγχο.
Αυτό ακριβώς είναι το ουσιαστικότερο ίχνος της μέχρι σήμερα πορείας του Argilla: η ανθρώπινη αξιολόγηση δεν λειτουργεί ως μηχανική επικύρωση ενός μοντέλου, αλλά ως φίλτρο ακρίβειας, τεκμηρίωσης και νοηματικής συνέπειας.
Η πρόοδος είναι ήδη εμφανής σε αρκετές θεματικές ενότητες. Επτά datasets έχουν φτάσει στο 100% της αξιολόγησής τους, η Ιστορία βρίσκεται στο 87,7%, η Φιλοσοφία στο 46,7% και το Νομικό περιεχόμενο στο 44,4%. Παράλληλα, μεγάλα σύνολα δεδομένων παραμένουν ακόμη ανοιχτά, αφήνοντας ένα σημαντικό πεδίο εργασίας για την επόμενη φάση.
Και αυτή η επόμενη φάση χρειάζεται, περισσότερο από ποτέ, την ανθρώπινη εποπτεία.
Kάθε άτομο με καλή γνώση της ελληνικής μπορούν να συμμετάσχει. Δεν απαιτείται τεχνική εξειδίκευση. Απαιτείται προσοχή, γλωσσική ευαισθησία και η ικανότητα να ξεχωρίζει κανείς το τεκμηριωμένο από το απλώς πειστικό.
Μέσα σε λίγους μήνες, η κοινότητα του Argilla έδειξε ότι η ανάπτυξη της ελληνικής ΤΝ δεν είναι απλώς μια κλειστή υπόθεση εργαστηρίων και υπολογιστικής ισχύος. Είναι και μια συλλογική άσκηση ανάγνωσης, κρίσης και επιμέλειας.
Οι 32.869 αξιολογήσεις είναι μόνο η αρχή. Είναι το σημείο όπου αρχίζει να διαφαίνεται τι μπορεί να επιτευχθεί όταν η τεχνολογία συναντά τη συλλογική γνώση.
Οι εγγραφές για νέους αξιολογητές γίνονται μέσω της φόρμας συμμετοχής της ΕΕΛΛΑΚ:
https://opensource.ellak.gr/register-argilla-glossapi-gr/
*Μετά τη συμπλήρωση της φόρμας, θα σας σταλεί στο email username και password.
**Η ΕΕΛΛΑΚ εκδίδει επίσημη βεβαίωση συμμετοχής σε όσες και όσους συνεισφέρουν ενεργά στη δράση.