Μοντέλα τεχνητής νοημοσύνης της Anthropic παραβίασαν τα πληροφοριακά συστήματα τριών πραγματικών εταιρειών κατά τη διάρκεια δοκιμών κυβερνοασφάλειας, χωρίς η ίδια η εταιρεία να αντιληφθεί εγκαίρως ότι το λογισμικό της είχε αποκτήσει πρόσβαση στο ανοιχτό διαδίκτυο.
Η Anthropic ανακοίνωσε την Πέμπτη ότι τα περιστατικά ξεκίνησαν τον Απρίλιο και αποδίδονται σε λανθασμένες ρυθμίσεις των συστημάτων που χρησιμοποιούνταν για τις δοκιμές. Η εταιρεία δεν αποκάλυψε την ταυτότητα των οργανισμών που επλήγησαν, ανέφερε ωστόσο ότι και οι τρεις ενημερώθηκαν τη Δευτέρα.
Η αποκάλυψη έρχεται μόλις μία εβδομάδα μετά την παραδοχή της OpenAI ότι ένα δικό της σύστημα τεχνητής νοημοσύνης κατάφερε να βγει από ένα απομονωμένο δοκιμαστικό περιβάλλον και να παραβιάσει συστήματα της εταιρείας Hugging Face.
Τα δύο περιστατικά προκαλούν νέα ερωτήματα για το κατά πόσο οι εταιρείες τεχνητής νοημοσύνης διαθέτουν επαρκείς δικλίδες ασφαλείας όταν δοκιμάζουν αυτόνομα μοντέλα με δυνατότητα εκτέλεσης σύνθετων ενεργειών.
Πώς τα μοντέλα βρέθηκαν στο διαδίκτυο
Μετά τη δημοσιοποίηση του περιστατικού της OpenAI, η Anthropic αποφάσισε να επανεξετάσει τα αρχεία των δικών της δοκιμών κυβερνοασφάλειας, προκειμένου να διαπιστώσει εάν είχε συμβεί κάτι ανάλογο.
Από τον έλεγχο περισσότερων από 141.000 δοκιμών προέκυψε ότι ο Claude είχε αποκτήσει αρκετές φορές πρόσβαση στο ανοιχτό διαδίκτυο. Σε αντίθεση, όμως, με το περιστατικό της OpenAI, τα μοντέλα της Anthropic δεν παραβίασαν κάποιο προστατευμένο ψηφιακό περιβάλλον.
Σύμφωνα με την εταιρεία, τα συστήματα δοκιμών απλώς δεν διέθεταν σε ορισμένες περιπτώσεις το απαιτούμενο «sandbox», δηλαδή ένα απομονωμένο περιβάλλον που εμποδίζει το λογισμικό να επικοινωνεί με πραγματικά δίκτυα και υποδομές.
Η Anthropic απέδωσε το πρόβλημα σε «εσφαλμένη παραμετροποίηση» συστημάτων που διαχειρίζονταν τόσο η ίδια όσο και η εταιρεία κυβερνοασφάλειας Irregular, η οποία συμμετείχε στις δοκιμές. Εκπρόσωπος της Irregular δήλωσε ότι η εταιρεία διερευνά το συμβάν.
Παρότι τα μοντέλα είχαν λάβει την πληροφορία ότι δεν υπήρχε διαθέσιμη σύνδεση στο διαδίκτυο, κατά τη διάρκεια των δοκιμών κατάφεραν να βγουν online. Στη συνέχεια επιτέθηκαν σε πραγματικές εταιρείες χρησιμοποιώντας σχετικά απλές τεχνικές, όπως η δοκιμή αδύναμων κωδικών πρόσβασης και η αναζήτηση συστημάτων που δεν απαιτούσαν ταυτοποίηση.
Κατά την Anthropic, τα μοντέλα θεωρούσαν λανθασμένα ότι οι επιθέσεις αυτές αποτελούσαν μέρος της άσκησης αξιολόγησής τους.
Δημιούργησε κακόβουλο λογισμικό
Σε μία από τις περιπτώσεις, ο Claude απέκτησε πρόσβαση σε σύστημα άγνωστης εταιρείας κυβερνοασφάλειας, δημιουργώντας ένα κακόβουλο πρόγραμμα το οποίο «κατέβασε» το σύστημα σάρωσης της εταιρείας.
Το λογισμικό αυτό υπέκλεψε στη συνέχεια στοιχεία σύνδεσης, τα οποία χρησιμοποιήθηκαν για την πρόσβαση σε υποδομές του οργανισμού.
Κατά τη διάρκεια της επίθεσης, το μοντέλο φέρεται να αναγνώρισε ότι οι ενέργειές του δεν θα έπρεπε να εκτελούνται σε πραγματικές συνθήκες. Ωστόσο, κατέληξε μόνο του στο συμπέρασμα ότι βρισκόταν μέσα σε προσομοίωση και συνέχισε τη διαδικασία.
Το σοβαρότερο περιστατικό σημειώθηκε όταν ο Claude επιχειρούσε να παραβιάσει μία φανταστική εταιρεία, η οποία έτυχε να έχει την ίδια ονομασία με έναν πραγματικό ιστότοπο.
Καθώς δεν κατάφερνε να εισέλθει στον υποτιθέμενο στόχο της δοκιμής, το σύστημα στράφηκε σε βάση δεδομένων της πραγματικής εταιρείας και την παραβίασε.
Σύμφωνα με την Anthropic, αυτή ήταν η μοναδική περίπτωση κατά την οποία ο Claude συνέχισε την επίθεση ακόμη και όταν αντιλήφθηκε ότι είχε αποκτήσει πρόσβαση σε πραγματικό οργανισμό.
Στα άλλα δύο περιστατικά, είτε δεν κατάλαβε ποτέ ότι είχε παραβιάσει πραγματική εταιρεία είτε αντιλήφθηκε το λάθος και σταμάτησε αμέσως τις ενέργειές του.
Στις δοκιμές συμμετείχαν τα μοντέλα Opus 4.7, Mythos 5 και ένα ακόμη, μη κατονομαζόμενο ερευνητικό μοντέλο.
Φόβοι για τη χρήση της AI από κυβερνοεγκληματίες
Οι αποκαλύψεις ενισχύουν τις ανησυχίες σχετικά με τη δύναμη και την απρόβλεπτη συμπεριφορά των συστημάτων τεχνητής νοημοσύνης που λειτουργούν αυτόνομα και έχουν σχεδιαστεί ώστε να πραγματοποιούν μια σειρά ενεργειών για την επίτευξη συγκεκριμένων στόχων.
Ο Άλεξ Στάμος, επικεφαλής προϊόντων της εταιρείας κυβερνοασφάλειας Corridor, εκτίμησε ότι τα περιστατικά καταδεικνύουν την ανάγκη για αυστηρότερα και κοινά πρότυπα σε ολόκληρο τον κλάδο, όσον αφορά την απομόνωση των μοντέλων κατά τη διάρκεια δοκιμών κυβερνοασφάλειας.
Παράλληλα, προειδοποίησε ότι οι ίδιες δυνατότητες θα μπορούσαν σύντομα να χρησιμοποιηθούν από εγκληματικές οργανώσεις για την πραγματοποίηση μαζικών επιθέσεων ransomware.
«Πρέπει να προετοιμαστούμε για το ενδεχόμενο οι επιτιθέμενοι να αποκτήσουν πολύ σύντομα τέτοιες δυνατότητες, χρησιμοποιώντας μοντέλα ανοιχτών βαρών», ανέφερε.
Τα περιστατικά αναμένεται να τροφοδοτήσουν περαιτέρω τη συζήτηση γύρω από τους κινδύνους των ισχυρών μοντέλων τεχνητής νοημοσύνης και τα μέτρα που απαιτούνται για τον περιορισμό τους.
Ο Λευκός Οίκος έχει κινηθεί το τελευταίο διάστημα προς την κατεύθυνση της αυστηρότερης εποπτείας της AI. Την ίδια στιγμή, μέρος της τεχνολογικής βιομηχανίας ζητεί να διατηρηθεί η πρόσβαση στα λεγόμενα μοντέλα ανοιχτών βαρών, τα οποία μπορούν να εγκαθίστανται και να λειτουργούν σε υπολογιστικά συστήματα που ελέγχουν οι ίδιοι οι χρήστες.
«Η τεχνητή νοημοσύνη εξελίσσεται εξαιρετικά γρήγορα, χωρίς να υπάρχουν ουσιαστικοί κανονισμοί για να μας προστατεύσουν», είχε δηλώσει την περασμένη εβδομάδα ο Δημοκρατικός βουλευτής του Τέξας Γκρεγκ Κασάρ.
