Η έκρηξη της Τεχνητής Νοημοσύνης έχει πυροδοτήσει έναν πρωτοφανή επενδυτικό αγώνα για data centers, GPU και ηλεκτρική ενέργεια. Την ίδια στιγμή, όμως, μια αντίθετη τεχνολογική τάση κερδίζει έδαφος: ένα αυξανόμενο μέρος της Τεχνητής Νοημοσύνης μετακινείται από τα τεράστια data centers στις συσκευές που έχουμε ήδη στην τσέπη και στο γραφείο μας.
Είναι η εποχή του on-device AI. Και το πραγματικά ενδιαφέρον ερώτημα δεν είναι αν οι συσκευές μας θα αποκτήσουν περισσότερες λειτουργίες ΤΝ. Αυτό ήδη συμβαίνει. Το ερώτημα είναι γιατί πρέπει να στέλνουμε συνεχώς προσωπικά δεδομένα στο cloud, όταν ένα μεγάλο μέρος της επεξεργασίας μπορεί πλέον να γίνεται στη συσκευή.
Γιατί τώρα;
Η μετακίνηση αυτή οφείλεται σε δύο πολύ σημαντικές παράλληλες εξελίξεις. Από τη μία, τα μικρότερα και περισσότερο βελτιστοποιημένα μοντέλα ΤΝ που απαιτούν λιγότερη μνήμη και υπολογιστική ισχύ. Από την άλλη οι εξειδικευμένες μονάδες NPU (Neural Processing Units) με τις οποίες εξοπλίζονται ολοένα και περισσότερα σύγχρονα smartphones και PCs, που είναι σχεδιασμένες να εκτελούν εργασίες ΤΝ με πολύ χαμηλότερη κατανάλωση ενέργειας.
Όταν η ΤΝ δεν χρειάζεται να φύγει από το κινητό
On-device AI, σημαίνει ότι ένα μοντέλο ΤΝ εκτελείται τοπικά στη συσκευή του χρήστη, αντί η επεξεργασία να πραγματοποιείται σε έναν απομακρυσμένο server. Ένα κινητό για παράδειγμα, μπορεί να συνοψίζει ένα κείμενο ή να επεξεργάζεται μια φωτογραφία χωρίς να χρειάζεται κάθε φορά να στέλνει δεδομένα σε ένα data center. Η ιδέα δεν είναι καινούργια. Τα smartphones χρησιμοποιούν εδώ και χρόνια ΤΝ για βιομετρική αναγνώριση, πληκτρολόγηση και άλλες λειτουργίες. Αυτό που αλλάζει είναι η πολυπλοκότητα των εργασιών που μπορούν πλέον να πραγματοποιούνται τοπικά. Τα μοντέλα ΤΝ γίνονται μικρότερα και αποδοτικότερα, ενώ το hardware ισχυρότερο. Έτσι, εργασίες που μέχρι πρόσφατα εκτελούνταν μόνο στο cloud μπορούν τώρα να εκτελούνται στην τσέπη μας.
Το πρώτο μεγάλο πλεονέκτημα: η ιδιωτικότητα
Η πρώτη και ίσως σημαντικότερη συνέπεια αυτής της μετατόπισης αφορά την ιδιωτικότητα. Ένα smartphone γνωρίζει εξαιρετικά πολλά για τον ιδιοκτήτη του όπως: φωτογραφίες, μηνύματα, επαφές, έγγραφα και πιθανά οικονομικά δεδομένα ή πληροφορίες υγείας. Για να μας βοηθήσει πραγματικά, η ΤΝ πρέπει να γνωρίζει πολλά για εμάς και επομένως είναι μεγάλη η αξία αυτού του περιεχομένου. Αν όμως για να λειτουργήσει πρέπει όλα αυτά τα δεδομένα να μεταφέρονται σε απομακρυσμένους servers, δημιουργείται ένα προφανές ερώτημα: ποια προσωπικά μας δεδομένα χρειάζεται πραγματικά να φύγουν από τη συσκευή;
Το on-device AI δίνει μια διαφορετική απάντηση. Ένα σημαντικό μέρος της επεξεργασίας θα γίνεται τοπικά και το προσωπικό περιεχόμενο δεν χρειάζεται καν να αποσταλεί στο cloud. Αυτό δεν σημαίνει ότι μια συσκευή γίνεται αυτομάτως ασφαλής επειδή χρησιμοποιεί local AI καθώς η ασφάλεια του λειτουργικού συστήματος, των εφαρμογών και του hardware εξακολουθεί να είναι κρίσιμη. Η επεξεργασία on-device δεν εξασφαλίζει την απόλυτη ιδιωτικότητα αλλά μειώνει σημαντικά τον κίνδυνο από τη μεταφορά προσωπικών δεδομένων εκτός της συσκευής για κάθε λειτουργία ΤΝ.
Η διάσταση αυτή έχει ιδιαίτερη σημασία στην Ευρώπη, όπου η προστασία προσωπικών δεδομένων αποτελεί βασικό κομμάτι του κανονιστικού πλαισίου. Ο European Data Protection Supervisor έχει επισημάνει ότι το on-device AI μπορεί να επιτρέψει σε προσωπικά δεδομένα να παραμένουν στη συσκευή, αντί να μεταφέρονται σε απομακρυσμένες υπηρεσίες. Για επιχειρήσεις που χειρίζονται ευαίσθητες πληροφορίες, από τράπεζες και ασφαλιστικές μέχρι εταιρείες υγείας και δικηγορικά γραφεία, η δυνατότητα αυτή αποκτά ιδιαίτερη σημασία.
Το δεύτερο μεγάλο πλεονέκτημα: η ταχύτητα και η λειτουργία χωρίς Internet
Όταν ένα αίτημα πρέπει να ταξιδέψει από ένα smartphone σε ένα data center, να υποστεί επεξεργασία και να επιστρέψει, υπάρχει αναπόφευκτα καθυστέρηση. Σε πολλές εφαρμογές αυτή η διαφορά μπορεί να είναι μικρή. Σε εφαρμογές πραγματικού χρόνου όμως, όπως η ζωντανή μετάφραση, η όραση υπολογιστή (computer vision), η επαυξημένη πραγματικότητα (augmented reality) και τα συστήματα των αυτόνομων αυτοκινήτων, ακόμη και λίγες εκατοντάδες milliseconds έχουν σημασία.
Υπάρχει όμως και ένα δεύτερο πλεονέκτημα: η ΤΝ μπορεί να λειτουργεί χωρίς Internet. Ένα local model δεν εξαρτάται από Wi-Fi ή 5G ούτε από τη διαθεσιμότητα ενός cloud provider. Μπορεί να συνεχίσει να λειτουργεί σε ένα αεροπλάνο, σε μια περιοχή με κακή κάλυψη ή σε ένα περιβάλλον όπου η αποστολή δεδομένων εκτός της συσκευής δεν επιτρέπεται. Στα αυτοκίνητα, στη βιομηχανία και στα wearables, η δυνατότητα αυτή αφορά όχι απλώς την ευκολία αλλά την αξιοπιστία της υπηρεσίας.
Το κρυφό κόστος κάθε ερώτησης στην ΤΝ
Υπάρχει όμως και ένας πρόσθετος οικονομικός λόγος πίσω από αυτή τη μετακίνηση. Κάθε φορά που ένας χρήστης κάνει ένα αίτημα σε ένα cloud AI model, κάποιος πληρώνει για την επεξεργασία του με πραγματικό κόστος: ηλεκτρική ενέργεια, ψύξη, δίκτυα και υποδομές data center.
Σε ένα μεμονωμένο αίτημα το κόστος μπορεί να φαίνεται αμελητέο. Όταν όμως μια υπηρεσία εξυπηρετεί εκατοντάδες εκατομμύρια χρήστες η οικονομική εξίσωση αλλάζει. Εδώ το on-device AI δημιουργεί μια σημαντική μετατόπιση.
Ειδικά στα σύγχρονα multimodal AI systems που επεξεργάζονται όλο και μεγαλύτερες ποσότητες εικόνας, ήχου, video και δεδομένων αισθητήρων, η συνεχής μεταφορά αυτών των δεδομένων προς το cloud απαιτεί bandwidth και υποδομές. Αν η βασική επεξεργασία γίνεται τοπικά, μπορεί να μεταδίδεται μόνο η πληροφορία που είναι πραγματικά απαραίτητη. Μια κάμερα, για παράδειγμα, δεν χρειάζεται να ανεβάζει συνεχώς ολόκληρο το video στο cloud για να εντοπίσει ένα συγκεκριμένο γεγονός. Η ανάλυση μπορεί να πραγματοποιηθεί στη συσκευή και να αποσταλεί μόνο η απαραίτητη πληροφορία.
Αν επομένως ένα μεγάλο μέρος της επεξεργασίας μπορεί να εκτελεστεί πάνω στη συσκευή, ο πάροχος μπορεί να περιορίσει σημαντικά τον αριθμό των εργασιών που απαιτούν cloud inference. Για μια εταιρεία που προσφέρει υπηρεσίες ΤΝ, αυτό είναι μεγάλη αλλαγή καθώς η αύξηση της χρήσης της ΤΝ δεν μεταφράζεται σε αντίστοιχη αύξηση του cloud bill.
Στην πράξη βέβαια, μέρος του υπολογιστικού κόστους μεταφέρεται από την υποδομή του παρόχου στη συσκευή που έχει ήδη αγοράσει ο χρήστης.
Χρειάζεται πραγματικά ένα data center για να διορθώσουμε ένα email;
Ταυτόχρονα αλλάζουν και τα ίδια τα μοντέλα ΤΝ. Συνεχώς αναπτύσσονται ολοένα ικανότερα Small Language Models, τα οποία είναι σχεδιασμένα να λειτουργούν με περιορισμένους πόρους.
Αυτό δημιουργεί πολλά ενδιαφέροντα ερωτήματα: Χρειάζεται πραγματικά ένα τεράστιο μοντέλο ΤΝ για να διορθώσει ένα email; Χρειάζεται ένα data center για να συνοψίσει μια ειδοποίηση; Χρειάζεται μια προσωπική φωτογραφία να εγκαταλείψει το κινητό και να ανέβει στο cloud για μια απλή επεξεργασία; Σε όλο και περισσότερες περιπτώσεις η απάντηση αρχίζει να γίνεται «όχι». Ένα μικρότερο μοντέλο δεν χρειάζεται να γνωρίζει τα πάντα. Αρκεί να είναι αρκετά καλό στη συγκεκριμένη εργασία που του ανατίθεται.
Ούτε μόνο local ούτε μόνο cloud. Το μέλλον είναι υβριδικό.
Θα ήταν, ωστόσο, λάθος να θεωρήσουμε ότι το on-device AI σηματοδοτεί το τέλος των data centers. Ένα smartphone έχει αυστηρούς περιορισμούς σε μνήμη, ενέργεια, θερμοκρασία και αποθηκευτικό χώρο. Ένα data center μπορεί να προσφέρει υπολογιστική ισχύ που καμία φορητή συσκευή δεν μπορεί να πλησιάσει.
Τα μεγαλύτερα και πιο προηγμένα μοντέλα θα εξακολουθήσουν να βρίσκονται στο cloud. Εργασίες που απαιτούν τεράστιο context, σύνθετο reasoning, πρόσβαση σε μεγάλες βάσεις δεδομένων ή απαιτητική παραγωγή εικόνας και video θα συνεχίσουν να χρειάζονται κεντρικές υποδομές.
Γι’ αυτό το πιθανότερο μέλλον δεν είναι αποκλειστικά local ούτε αποκλειστικά cloud. Είναι υβριδικό με βάση την αρχή: τοπικά όπου μπορεί και στο cloud όπου είναι απαραίτητο (Local when possible, cloud when necessary). Το ερώτημα επομένως είναι ποια εργασία ΤΝ πρέπει να εκτελείται πού.
Μια συσκευή μπορεί σταδιακά να αποφασίζει ποια εργασία πρέπει να γίνει τοπικά και ποια χρειάζεται το cloud. Π.χ. Μια απλή περίληψη μιας ειδοποίησης; Τοπικά στη συσκευή. Ένα πολύ σύνθετο ερώτημα που απαιτεί frontier model και τεράστια υπολογιστική ισχύ; Στο cloud.
Ποιοι κερδίζουν από τη μεγάλη μετακίνηση
Αν αυτή η τάση επιταχυνθεί, μπορεί να αναδιαμορφώσει σημαντικό μέρος της αλυσίδας αξίας της Τεχνητής Νοημοσύνης.
- Οι κατασκευαστές smartphones και PCs αποκτούν έναν νέο λόγο για να πείσουν τους καταναλωτές να αναβαθμίσουν τις συσκευές τους.
- οι εταιρείες ημιαγωγών αποκτούν έναν νέο ανταγωνιστικό άξονα: όχι απλώς CPU/GPU performance, αλλά AI performance
- Οι developers μπορούν να μειώσουν το κόστος των υπηρεσιών τους μεταφέροντας μέρος του inference στο hardware του πελάτη.
- Και οι χρήστες μπορούν να αποκτήσουν περισσότερη ιδιωτικότητα, χαμηλότερο latency και AI που λειτουργεί ακόμη και χωρίς σύνδεση.
Οι hyperscalers, από την άλλη, δεν είναι απαραίτητα οι χαμένοι. Google, Microsoft και άλλοι βρίσκονται ταυτόχρονα και στις δύο πλευρές της αγοράς: επενδύουν τεράστια ποσά σε data centers, αλλά παράλληλα αναπτύσσουν hardware, λειτουργικά συστήματα και software για local AI.
Πιθανότερο είναι επομένως να αλλάξει και το είδος της ζήτησης για cloud και όχι να εξαφανιστεί η ανάγκη γι’ αυτό. Τα data centers μπορούν να επικεντρωθούν περισσότερο σε workloads που πραγματικά απαιτούν την κλίμακά τους: training, frontier models, σύνθετο reasoning και βαριά multimodal workloads ενώ η συσκευή θα αναλαμβάνει ένα αυξανόμενο μέρος των υπόλοιπων εργασιών.
Το on-device AI δεν απειλεί τα data centers. Θα αλλάξει όμως το τι θα ζητάμε από αυτά.
Αυτό είναι ίσως και το πιο ενδιαφέρον οικονομικό στοιχείο της μετάβασης. Η πρώτη φάση της έκρηξης της ΤΝ δημιούργησε έναν τεράστιο αγώνα επενδύσεων σε data centers, GPU και ενεργειακές υποδομές.
Το on-device AI δεν ακυρώνει αυτή την τάση. Εισάγει όμως μια σημαντική νέα παράμετρο: η αύξηση της χρήσης της ΤΝ δεν σημαίνει απαραίτητα ότι κάθε επιπλέον interaction πρέπει να δημιουργεί ένα επιπλέον workload σε κάποιο data center. Μέρος αυτής της ζήτησης μπορεί να απορροφηθεί από δισεκατομμύρια συσκευές που έχουν ήδη αγοράσει οι καταναλωτές.
Το on-device AI δεν σημαίνει ότι οι επενδύσεις δισεκατομμυρίων στα data centers ήταν λάθος. Φαίνεται όμως ότι θα αλλάξει τη σύνθεση της μελλοντικής ζήτησης. Training, frontier models και σύνθετο inference παραμένουν στο cloud, ενώ εκατομμύρια μικρότερες καθημερινές εργασίες μπορούν σταδιακά να μετακινηθούν στις συσκευές. Με έναν τρόπο, ο ίδιος ο χρήστης αποκτά ένα μικρό κομμάτι της παγκόσμιας υποδομής ΤΝ μέσα στη συσκευή του.
Συμπέρασμα: Η συσκευή γίνεται ένα μικρό AI data center
Η πρώτη φάση της επανάστασης της ΤΝ χτίστηκε στο cloud και στα data centers. Η επόμενη μπορεί να χτιστεί εν μέρει στις συσκευές που έχουμε ήδη, οι οποίες μετασχηματίζονται σταδιακά σε μικρές υπολογιστικές πλατφόρμες ΤΝ. Δεν θα αντικαταστήσουν τα data centers. Τα μεγάλα μοντέλα θα παραμείνουν στο cloud και η εκπαίδευση της επόμενης γενιάς τους θα συνεχίσει να απαιτεί τεράστια clusters και επενδύσεις δισεκατομμυρίων. Αλλά η καθημερινή ΤΝ θα αρχίσει να ζει πολύ πιο κοντά στον χρήστη: στην τσέπη του, στον υπολογιστή του, στο αυτοκίνητό του, στο ρολόι ή στα έξυπνα γυαλιά του.
Και ίσως αυτή να είναι η ουσία της μεγάλης μετακίνησης που βρίσκεται τώρα στην αρχή της: Δεν τελειώνει το cloud. Απλώς, για πρώτη φορά, ένα αυξανόμενο μέρος της Τεχνητής Νοημοσύνης δεν έχει λόγο να φτάσει ποτέ μέχρι εκεί.
