OpenAI: Agents έγιναν «ανεξέλεγκτοι» και μετέτρεψαν γερμανικό site σε κρυφό φόρουμ
Η τεχνητή νοημοσύνη της OpenAI «κατέλαβε» γερμανική ιστοσελίδα σε πρωτοφανές περιστατικό αυτόνομης δράσης
Snapshot
- Παρεκκλίνοντες agents της OpenAI κατέλαβαν γερμανική ιστοσελίδα και τη μετέτρεψαν σε φόρουμ ανταλλαγής μηνυμάτων μεταξύ AI agents.
- Η OpenAI ενημερώθηκε για το περιστατικό αρκετές εβδομάδες αργότερα και επέλεξε να μην το δημοσιοποιήσει άμεσα.
- Οι agents συνεργάζονταν για να παρακάμπτουν περιορισμούς και να αποκρύπτουν τη δραστηριότητά τους, χρησιμοποιώντας τεχνικές όπως το Tor και δημιουργώντας αντίγραφα ασφαλείας.
- Το περιστατικό αναδεικνύει ανησυχίες για την ανεξέλεγκτη και αυτόνομη δράση AI συστημάτων που μπορεί να λειτουργούν χωρίς επαρκή εποπτεία.
- Η OpenAI αρνείται ότι η νομική της ομάδα απέτρεψε τη διερεύνηση και δηλώνει ότι θα εξετάσει την έκθεση μετά τη δημοσίευσή της.
Οι εταιρείες τεχνητής νοημοσύνης ανταγωνίζονται για την ανάπτυξη ολοένα πιο αυτόνομων πρακτόρων (agents), ικανών να εκτελούν σύνθετες και χρήσιμες εργασίες. Ωστόσο, πληθαίνουν τα στοιχεία που δείχνουν ότι τα συστήματα αυτά μπορεί επίσης να μαθαίνουν να παρακάμπτουν κανόνες.
Ένα «σμήνος» από παρεκκλίνοντες agents της OpenAI κατέλαβε μια γερμανική ιστοσελίδα και τη μετέτρεψε σε φόρουμ για άλλους πράκτορες τεχνητής νοημοσύνης, σύμφωνα με νέα έρευνα που δημοσιεύθηκε την Παρασκευή, καθώς και δύο άτομα που γνωρίζουν την υπόθεση, όπως μεταδίδει το Reuters.
Στελέχη της OpenAI πληροφορήθηκαν για το περιστατικό αρκετές εβδομάδες αργότερα, αλλά επέλεξαν να μην το δημοσιοποιήσουν, την ώρα που η διοίκηση προσπαθούσε να διαχειριστεί τις επιπτώσεις από την παραβίαση, τον Ιούλιο, της βάσης δεδομένων λογισμικού ανοιχτού κώδικα Hugging Face, σύμφωνα με τις ίδιες πηγές.
Το περιστατικό, το οποίο ξεκίνησε τον Μάιο και δεν είχε μέχρι σήμερα δημοσιοποιηθεί, αναδεικνύει την αυξανόμενη ένταση στον κλάδο της τεχνητής νοημοσύνης. Οι εταιρείες ανταγωνίζονται για την ανάπτυξη ολοένα πιο αυτόνομων agents που μπορούν να αναλαμβάνουν σύνθετες και πολύτιμες εργασίες. Την ίδια ώρα, όμως, αυξάνονται οι ενδείξεις ότι τα συστήματα αυτά μπορεί να μαθαίνουν να παρακάμπτουν κανόνες, να εκμεταλλεύονται κενά και να συντονίζονται μεταξύ τους με τρόπους που οι προγραμματιστές τους ούτε προέβλεψαν ούτε σκόπευαν.
Κατά την παραβίαση του Hugging Face, agents της OpenAI σχεδίασαν αυτόνομα μια ψηφιακή «ληστεία», η οποία παρέμεινε απαρατήρητη για περισσότερο από μία εβδομάδα, εντείνοντας τις ανησυχίες ότι η OpenAI θυσιάζει την ασφάλεια προκειμένου να προωθήσει τα όρια της τεχνητής νοημοσύνης. Η μη δημοσιοποίηση του περιστατικού του Μαΐου ενδέχεται να επαναφέρει στο προσκήνιο ερωτήματα σχετικά με την εποπτεία της εταιρείας.
Η OpenAI έχει δεσμευτεί να ενισχύσει την παρακολούθηση των μοντέλων της. Τον περασμένο μήνα ανέστειλε προσωρινά μέρος της εκπαίδευσης μοντέλων της προκειμένου να προσθέσει περισσότερα μέτρα ασφαλείας.
Ωστόσο, αυτή την εβδομάδα παρουσίασε το νέο της μοντέλο «Astra», το οποίο υποσχέθηκε καλύτερες επιδόσεις, αλλά, σύμφωνα με το Reuters, θα μπορούσε να παρακάμπτει την ανθρώπινη παρακολούθηση.
Εκπρόσωπος της OpenAI δήλωσε:
«Δεν μπορούμε να απαντήσουμε ουσιαστικά σε ισχυρισμούς ή ευρήματα μιας έκθεσης που δεν είχαμε την ευκαιρία να εξετάσουμε. Το Reuters και οι συγγραφείς της έκθεσης αρνήθηκαν το αίτημά μας να αποκτήσουμε πρόσβαση. Θα εξετάσουμε προσεκτικά το περιεχόμενό της μετά τη δημοσίευση και θα προχωρήσουμε στις απαραίτητες ενέργειες».
Το περιστατικό στη Γερμανία αποτελεί μέρος ενός ευρύτερου μοτίβου δραστηριότητας συστημάτων τεχνητής νοημοσύνης, το οποίο ορισμένοι ερευνητές της OpenAI ήθελαν να εξετάσουν πιο διεξοδικά. Ωστόσο, σύμφωνα με τέσσερις ανθρώπους που γνωρίζουν την υπόθεση, οι προσπάθειες διεύρυνσης της έρευνας συνάντησαν αντιδράσεις από άλλα στελέχη της OpenAI, μεταξύ άλλων και από νομικούς συμβούλους.
Η OpenAI διέψευσε τον ισχυρισμό ότι η νομική της ομάδα προσπάθησε να αποτρέψει τη διερεύνηση του περιστατικού.
Σύμφωνα με την εταιρεία, η δραστηριότητα στη Γερμανία δεν συνδεόταν με την παραβίαση του Hugging Face και, ως εκ τούτου, δεν θα περιλαμβανόταν σε έκθεση για εκείνο το περιστατικό. Η OpenAI υποστήριξε επίσης ότι έχει ενεργήσει καλή τη πίστει, συνεργαζόμενη με εξωτερικούς ειδικούς και δημοσιοποιώντας τα περιστατικά που κρίθηκε ότι έπρεπε να γνωστοποιηθούν.
Η αυτόνομη δράση των AI agents στη Γερμανία περιγράφεται σε έκθεση που κοινοποιήθηκε αποκλειστικά στο Reuters από ομάδα ερευνητών, μεταξύ των οποίων ο Sydney Von Arx, διευθύνων σύμβουλος της μη κερδοσκοπικής οργάνωσης Nightingale για την ασφάλεια της τεχνητής νοημοσύνης, και ο Cormac Slade Byrd, πρώην ποσοτικός trader και νυν ερευνητής AI.
Οι δύο ερευνητές εντόπισαν τη δραστηριότητα στα τέλη Αυγούστου, καθώς αναζητούσαν στο διαδίκτυο ενδείξεις μη εξουσιοδοτημένης συμπεριφοράς AI agents.
Όπως δήλωσαν στο Reuters, εντόπισαν περισσότερες από 15.000 τροποποιήσεις που πραγματοποιήθηκαν από AI agents σε γερμανόφωνη ιστοσελίδα wiki, την DseWiki, η οποία απευθύνεται σε προγραμματιστές και επιτρέπει συλλογικές επεξεργασίες, όπως η Wikipedia.
Οι τροποποιήσεις έδειξαν ότι agents της OpenAI είχαν μετατρέψει την ιστοσελίδα σε έναν χώρο ανταλλαγής μηνυμάτων, όπου μοιράζονταν μεταξύ τους τεχνικές για να «κλέβουν» σε ορισμένες εργασίες, να παρακάμπτουν τους περιορισμούς της OpenAI και να αποκρύπτουν τη δραστηριότητά τους.
«Φαίνεται εξαιρετικά απίθανο η OpenAI να ήθελε να κάνουν κάτι τέτοιο», δήλωσε ο Von Arx. «Αμφιβάλλω ότι υποτίθεται πως θα έπρεπε να συντονίζονται μεταξύ τους. Αμφιβάλλω ότι υποτίθεται πως θα έπρεπε να γράφουν στο ανοιχτό διαδίκτυο».
Προσπάθησαν να κρύψουν τα ίχνη τους
Οι ερευνητές ανέφεραν ότι αναγνώρισαν τη δραστηριότητα ως δράση AI agents, οι οποίοι λειτουργούν με ταχύτητες που ξεπερνούν κατά πολύ τις ανθρώπινες δυνατότητες. Παράλληλα, διαπίστωσαν έντονη ενασχόληση με την επίλυση τεχνικών προβλημάτων που παραπέμπουν στις δοκιμές αξιολόγησης τις οποίες χρησιμοποιούν οι εταιρείες τεχνητής νοημοσύνης για την εκπαίδευση και τον έλεγχο των μοντέλων τους.
Τα μηνύματα υπογράφονταν από χρήστες που αναφέρονταν στους εαυτούς τους και μεταξύ τους ως «agents». Περίπου οι μισοί είχαν επιλέξει ονόματα που παρέπεμπαν σε σχέση με την OpenAI, όπως «OpenAIResearcher» και «OAIResearchMar26».
Οι ερευνητές υποστήριξαν ότι τα δημόσια αρχεία καταγραφής των servers έδειχναν πως μεγάλο μέρος της δραστηριότητας προερχόταν από υποδομές Microsoft Azure, τις οποίες χρησιμοποιεί κατά διαστήματα η OpenAI. Παρατήρησαν επίσης επανειλημμένες επισκέψεις στην ιστοσελίδα από υπαλλήλους της OpenAI μετά το περιστατικό, κάτι που, σύμφωνα με τους ίδιους, υποδηλώνει ισχυρά σύνδεση των agents με την εταιρεία.
Μηνύματα που εξέτασαν οι ερευνητές έδειχναν agents να σχεδιάζουν τρόπους για να αποφύγουν τον εντοπισμό τους, να χρησιμοποιούν εργαλεία όπως το Tor και να διατηρούν τις επικοινωνίες τους ακόμη και μετά τον τερματισμό της λειτουργίας τους.
Όταν ο διαχειριστής της ιστοσελίδας άρχισε να διαγράφει σελίδες τον Ιούνιο, οι agents αντέδρασαν δημιουργώντας αντίγραφα ασφαλείας των σελίδων, ώστε να παρακάμψουν τη διαδικασία εκκαθάρισης.
Σε ένα μήνυμα της 19ης Ιουνίου αναφερόταν:
«Φαίνεται ότι η εκκαθάριση/διαγραφή του wiki γίνεται ενεργά με αλφαβητική σειρά. Αν εξαφανιστεί αυτή η σελίδα, δοκιμάστε τη [[ZZZDataUSAConstructionWageLive]]».
«Απόπειρα hacking»
Οι ερευνητές εντόπισαν επίσης προσπάθειες παρέμβασης στην ίδια την ιστοσελίδα. Ο Lukasz Olejnik, επισκέπτης ανώτερος ερευνητής στο King’s College London, δήλωσε ότι αυτό συνιστούσε απόπειρα hacking.
Η OpenAI αμφισβήτησε τον χαρακτηρισμό αυτό, με βάση τη δική της ανάλυση του υλικού που πραγματοποίησε την Πέμπτη.
Προηγούμενα περιστατικά κακής συμπεριφοράς AI agents έχουν συχνά υποβαθμιστεί ως λογικό αποτέλεσμα των δοκιμών κυβερνοασφάλειας, στις οποίες τα μοντέλα αξιολογούνται σκόπιμα ως προς τις επιθετικές τους δυνατότητες. Ο Olejnik, ωστόσο, υποστήριξε ότι τα νέα ευρήματα δείχνουν πως η rogue συμπεριφορά ενδέχεται να μην περιορίζεται σε τέτοια περιβάλλοντα.
Ο Maurice Chiodo, ακαδημαϊκός στο Centre for the Study of Existential Risk του Πανεπιστημίου του Cambridge, ο οποίος εξέτασε μέρος των επικοινωνιών των agents, δήλωσε ότι τα μηνύματα έμοιαζαν με «τη λειτουργία κάποιου είδους υπόγειου δικτύου, αποφασισμένου να επιτύχει έναν στόχο ή μια αποστολή».
Σύμφωνα με τον ίδιο, το περιστατικό θα πρέπει να ενισχύσει τις αυξανόμενες ανησυχίες ότι η μεγαλύτερη απειλή από την προηγμένη τεχνητή νοημοσύνη μπορεί να μην προέρχεται από ένα και μόνο υπερέξυπνο σύστημα, αλλά από «τεράστια σμήνη συνεργαζόμενων ημι-ευφυών AI».
