Η συζήτηση με έναν υπολογιστή αποτελεί το «ιερό δισκοπότηρο» της επιστήμης των υπολογιστών και ειδικότερα του κλάδου της τεχνητής νοημοσύνης. Μάλιστα, ο γνωστός Alan Turing είχε προτείνει ένα τεστ, το οποίο ο ίδιος αποκαλούσε Imitation Game (παιχνίδι της μίμησης), το οποίο πλέον φέρει το όνομά του: Turing Test. Σε αυτό δοκιμάζεται η ικανότητα ενός οποιουδήποτε μηχανήματος στο να δείξει ευφυή συμπεριφορά ανάλογη με αυτή ενός ανθρώπου ή τέτοια συμπεριφορά ώστε κάποιος παρατηρητής να μη μπορεί να διακρίνει το ότι «μιλάει» σε μηχανή.
Τα συστήματα τεχνητής νοημοσύνης τα οποία έχουν σχεδιαστεί για να παράγουν κείμενο – με άλλα λόγια να χρησιμοποιούν τη γλώσσα – είναι γνωστά ως large language models και χρησιμοποιούν τεράστια νευρωνικά δίκτυα. Τέτοια έχουμε δει από όλες τις μεγάλες εταιρείες, τη Google, το Facebook (Meta, πλέον) και τη Microsoft, αλλά και αρκετές Κινέζικες, και όλα μπορούν να συνθέσουν αρκετά πειστικό κείμενο και να συνδιαλεχθούν με ανθρώπους. Το πρόβλημα σε αυτά τα συστήματα είναι το ότι μπορούν να «γονατίσουν» υπερυπολογιστές, μιας και απαιτούν τεράστια επεξεργαστική ισχύ.
Η νέα πρόταση έρχεται από τη DeepMind, μια εταιρεία η οποία έχει γίνει γνωστή από άλλα συστήματα τεχνητής νοημοσύνης, όπως το AlphaZero και το AlphaFold, και η οποία έχει δημιουργήσει ένα νέο γλωσσικό μοντέλο το οποίο περιέγραψε μέσα σε τρία papers τα οποία δημοσίευσε την ίδια μέρα. Η μεγάλη διαφορά του μοντέλου της DeepMind είναι το ότι χρησιμοποιεί εξωτερική μνήμη, η οποία περιέχει μια βάση δεδομένων με κομμάτια κειμένου. Αυτά τα έτοιμα κείμενα χρησιμοποιούνται από το σύστημα ως «σκονάκι», κάτι που του επιτρέπει να σχηματίζει πολύ πιο αληθοφανείς φράσεις και να ξεπερνά την απόδοση άλλων τέτοιων συστημάτων με νευρωνικά δίκτυα 25 φορές μεγαλύτερα!
Το σύστημα ονομάζεται RETRO (εκ του Retrieval-Enhanced Transformer) και το οποίο μπορεί να μειώσει δραματικά τον χρόνο και το κόστος που απαιτείται για την εκπαίδευση του νευρωνικού δικτύου. Μάλιστα, οι ερευνητές βλέπουν τη χρήση της βάσης δεδομένων ως ένα φίλτρο, το οποίο τους επιτρέπει να αναλύσουν το τι έμαθε η τεχνητή νοημοσύνη, ενώ ταυτοχρόνως επιτρέπει και το φιλτράρισμα προκαταλήψεων και «τοξικής» γλώσσας!
Η βάση δεδομένων του RETRO προέρχεται από άρθρα ειδήσεων, σελίδες της Wikipedia, βιβλία, ακόμη και κείμενο από το GitHub, ενώ καλύπτει 10 γλώσσες. Το πιο ενδιαφέρον είναι το ότι το σύστημα μπορεί να δεχθεί updates, απλώς αλλάζοντας τη βάση δεδομένων, χωρίς να χρειάζεται εκ νέου εκπαίδευση το ίδιο το νευρωνικό δίκτυο. Οι ερευνητές αναφέρουν επίσης πως το δικό τους σύστημα είναι πολύ πιο διάφανο από των ανταγωνιστικών συστημάτων, μιας και η βάση δεδομένων που χρησιμοποιεί είναι διαθέσιμη και φανερή.
Στα αποτελέσματα των δοκιμών του RETRO, χρησιμοποιώντας ένα μοντέλο 7,5 δισεκατομμυρίων παραμέτρων, το σύστημα ξεπέρασε σύστημα 175 δισεκατομμυρίων παραμέτρων βασισμένο στο Jurassic-1, αλλά και το 280 δισεκατομμυρίων παραμέτρων Gopher!
Το σύστημα παρουσιάζει εξαιρετικό ενδιαφέρον, μιας και δίνει μια εναλλακτική προσέγγιση στο πρόβλημα της σύνταξης κειμένου, με πολύ λιγότερες απαιτήσεις. Ποιος ξέρει; Στο μέλλον μπορεί να έχουμε συστήματα τεχνητής νοημοσύνης για να συντάσσουν άρθρα σαν αυτό που διαβάζεις τώρα. Μπορείς όμως να είσαι σίγουρος πως και αυτό το κείμενο το έγραψε άνθρωπος;