Η Apple βρίσκεται σε συζητήσεις με μια μικρή εταιρεία της Σίλικον Βάλι, η οποία υποστηρίζει ότι μπορεί να συμπιέσει ισχυρά μοντέλα τεχνητής νοημοσύνης τόσο ώστε να εκτελούνται απευθείας σε ένα iPhone, όπως δήλωσε στο CNBC ο διευθύνων σύμβουλος της startup.
Η PrismML, μια εταιρεία που προέκυψε από το Ινστιτούτο Τεχνολογίας της Καλιφόρνιας (Caltech) και υποστηρίζεται από την Khosla Ventures, κυκλοφόρησε δημόσια την Τρίτη συμπιεσμένες εκδόσεις του ανοικτού μοντέλου Qwen της Alibaba. Σύμφωνα με την εταιρεία, κατάφερε να μειώσει το μέγεθος του μοντέλου από περίπου 54 GB σε λιγότερο από 4 GB, επιτρέποντας και στις 27 δισεκατομμύρια παραμέτρους του να εκτελούνται σε iPhone 15 ή νεότερο.
Ο διευθύνων σύμβουλος της PrismML, Babak Hassibi, δήλωσε στο CNBC ότι η Apple και άλλες εταιρείες αξιολογούν ήδη τα μοντέλα της startup, μετρώντας την ταχύτητα, την ενεργειακή τους αποδοτικότητα και τις επιδόσεις τους στις συσκευές. «Αυτή τη στιγμή αξιολογούν πραγματικά την τεχνολογία μας», είπε αναφερόμενος στην Apple.
Χαρακτήρισε τις συζητήσεις ως πολύ πρώιμες και σημείωσε ότι παραμένει ασαφές πού θα καταλήξουν, προσθέτοντας όμως ότι «τα πράγματα εξελίσσονται πολύ καλά».
Η ανακοίνωση αυτή έρχεται μία ημέρα μετά τη διάθεση της δημόσιας beta του iOS 27 από την Apple, δίνοντας στους κατόχους iPhone την πρώτη ευρεία πρόσβαση στη σημαντικά καθυστερημένη αναβάθμιση της Siri. Η Apple προσπαθεί να καταστήσει τη Siri πιο ανταγωνιστική απέναντι στους βοηθούς τεχνητής νοημοσύνης της OpenAI και της Anthropic, διατηρώντας παράλληλα όσο το δυνατόν περισσότερα προσωπικά δεδομένα και επεξεργασία AI απευθείας στη συσκευή.
Η προσέγγιση αυτή θα μπορούσε να αντιμετωπίσει έναν από τους βασικούς περιορισμούς της στρατηγικής AI της Apple. Τα πιο ισχυρά μοντέλα απαιτούν συνήθως υπερβολικά μεγάλη μνήμη και υπολογιστική ισχύ για να λειτουργήσουν σε ένα smartphone.
Η Apple μπορεί να στέλνει σύνθετα αιτήματα σε μοντέλα που λειτουργούν στο cloud, όμως η εκτέλεση περισσότερων λειτουργιών AI απευθείας στο iPhone θα μείωνε την καθυστέρηση που προκαλεί η αποστολή δεδομένων σε απομακρυσμένους διακομιστές, θα περιόριζε το κόστος του cloud computing και θα ενίσχυε το αφήγημα της εταιρείας γύρω από την προστασία της ιδιωτικότητας. Επιπλέον, θα επέτρεπε σε ορισμένες λειτουργίες να λειτουργούν ακόμη και χωρίς σύνδεση στο διαδίκτυο.
Η Carolina Milanesi, πρόεδρος και επικεφαλής αναλύτρια της Creative Strategies, δήλωσε ότι μικρότερα μοντέλα θα μπορούσαν να επιτρέψουν στην Apple να μεταφέρει πιο απαιτητικές λειτουργίες απευθείας στο iPhone, όπως η υπολογιστική φωτογραφία (computational photography), η δημιουργία βίντεο και εργαλεία υγείας ή φυσικής κατάστασης που βασίζονται σε ευαίσθητα προσωπικά δεδομένα.
«Όσο περισσότερα μπορείς να κάνεις στη συσκευή, τόσο καλύτερο είναι», δήλωσε, επισημαίνοντας ότι δεδομένα όπως αυτά της υγείας ή της φαρμακευτικής αγωγής είναι πληροφορίες που οι χρήστες θέλουν να παραμένουν ιδιωτικές.
Η PrismML ανέφερε ότι μειώνει το μέγεθος των μοντέλων AI απλοποιώντας δραστικά τον τρόπο με τον οποίο αποθηκεύονται οι εσωτερικές τους πληροφορίες. Συγκεκριμένα, κάθε τιμή περιορίζεται από αναπαράσταση 16 bit σε μόλις μία ή τρεις πιθανές τιμές, γεγονός που μειώνει σημαντικά τη μνήμη που απαιτείται τόσο για την αποθήκευση όσο και για τη λειτουργία του μοντέλου.
Ο Hassibi παρομοίασε την εξέλιξη αυτή με τη μετάβαση της βιομηχανίας των μικροτσίπ από την επεξεργασία 8 bit στα 4 bit, σημειώνοντας όμως ότι η τεχνολογία της PrismML προχωρά ακόμη ένα βήμα παραπέρα.
Η startup υποστηρίζει ότι τα συμπιεσμένα μοντέλα χρησιμοποιούν 10 έως 15 φορές λιγότερη μνήμη, παράγουν απαντήσεις 6 έως 8 φορές ταχύτερα και καταναλώνουν 3 έως 6 φορές λιγότερη ενέργεια σε σύγκριση με τις συμβατικές εκδόσεις που εκτελούνται στο υπάρχον υλικό.
Ο Hassibi παραδέχθηκε πάντως ότι υπάρχει και ένα τίμημα. Τα μοντέλα της PrismML χάνουν συνήθως μερικές ποσοστιαίες μονάδες στη συνολική απόδοση, με την ακρίβεια στην ανάκληση πραγματικών πληροφοριών να επηρεάζεται περισσότερο από ό,τι οι ικανότητες συλλογισμού, τα μαθηματικά ή ο προγραμματισμός.
Η PrismML διαθέτει δωρεάν δύο συμπιεσμένες εκδόσεις του μοντέλου, σχεδιασμένες να λειτουργούν σε καθημερινές συσκευές όπως iPhone, MacBook και υπολογιστές με κάρτες γραφικών Nvidia.
Η τεχνολογία προήλθε από την ερευνητική ομάδα του Hassibi στο Caltech. Το πανεπιστήμιο κατέχει τις σχετικές πατέντες και έχει παραχωρήσει αποκλειστική άδεια εκμετάλλευσής τους στην PrismML. Τον Μάρτιο, η εταιρεία εξασφάλισε χρηματοδότηση ύψους 16,25 εκατομμυρίων δολαρίων σε seed round, με επικεφαλής την Khosla Ventures και τη συμμετοχή και άλλων επενδυτών.
Ο Hassibi δήλωσε ότι το επόμενο μοντέλο που θα συμπιεστεί είναι το ανοικτού κώδικα Gemma της Google, ενώ στη συνέχεια θα ακολουθήσουν πολύ μεγαλύτερα μοντέλα, συμπεριλαμβανομένων εκείνων που αναπτύσσονται από κορυφαία ερευνητικά εργαστήρια και σήμερα απαιτούν εξοπλισμό data centers.
Σύμφωνα με την PrismML, η τεχνολογία αυτή θα μπορούσε τελικά να αξιοποιηθεί πολύ πέρα από τα τηλέφωνα και τους φορητούς υπολογιστές, σε εφαρμογές όπως η ρομποτική, τα αυτόνομα συστήματα και άλλα προϊόντα που πρέπει να λαμβάνουν αποφάσεις γρήγορα χωρίς να βασίζονται σε σύνδεση με το cloud.
«Είναι εξαιρετικά σημαντικό η νοημοσύνη να βρίσκεται τοπικά στη συσκευή και να μπορεί να λειτουργεί γρήγορα», κατέληξε ο Hassibi.
