Όλο και περισσότερες εταιρείες επιλέγουν αυτο-φιλοξενούμενα μοντέλα ανοιχτής στάθμισης. Η Revolut διατηρεί τα Claude και Codex για εξαιρετικές περιπτώσεις, ενώ επιλέγει το κορυφαίο μοντέλο από την κινεζική Z.ai.
Η Revolut έχει καταστήσει το GLM, το κορυφαίο μοντέλο AI από την κινεζική Z.ai, τον προεπιλεγμένο βοηθό προγραμματισμού για τους περίπου 2.000 μηχανικούς της. Σύμφωνα με τον David Abitbol, Διευθυντή Λειτουργιών και Υποδομών AI στη Revolut, πλέον διατηρούν τα εργαλεία Anthropic και OpenAI μόνο για τις πιο σύνθετες εργασίες.
Τοπικά μοντέλα έναντι μοντέλων edge. Τα τοπικά και αυτο-φιλοξενούμενα μοντέλα έχουν αλλάξει δραματικά σε μόλις δύο χρόνια. Τα πιο προηγμένα μοντέλα μπορούν να εκτελέσουν εργασίες που προηγουμένως φαίνονταν αδύνατες και επωφελούνται επίσης από το γεγονός ότι είναι φθηνότερα στη χρήση και διατηρούν τα πάντα τοπικά. Η Revolut πλέον βασίζεται σε αυτά στις καθημερινές της λειτουργίες και όλο και περισσότερες εταιρείες πειραματίζονται με αυτή τη μετατόπιση.
Ο David Abitbol ανέφερε κατά τη διάρκεια του GTC της Nvidia στο Βερολίνο ότι η Revolut πληρώνει πλέον περίπου το ένα δέκατο του κόστους συγκρίσιμων μοντέλων edge. Αυτό συμβαίνει σε μια εταιρεία fintech με πάνω από 80 εκατομμύρια πελάτες παγκοσμίως.
Τι έχει αλλάξει; Όπως εξηγεί ο David Abitbol, οι μηχανικοί της Revolut βασίζονταν στο Claude Code της Anthropic και στο Codex της OpenAI. Τώρα εργάζονται κυρίως με το GLM, ένα μοντέλο ανοιχτών βαρών του οποίου οι παράμετροι είναι διαθέσιμες στο κοινό και το οποίο η Revolut εκτελεί στους δικούς της διακομιστές. Η Abitbol υποδεικνύει ότι τα εργαλεία edge εξακολουθούν να είναι διαθέσιμα, αλλά ως αποκλειστική επιλογή για μικρότερους προϋπολογισμούς και τα πιο απαιτητικά προβλήματα.
Οι αριθμοί
Σύμφωνα με την παρουσίαση του στελέχους της ψηφιακής neobank, η Revolut παρέχει στους μηχανικούς της αυτό το μοντέλο χρησιμοποιώντας περίπου 56 GPU Nvidia. Το συνδυασμένο κόστος είναι περίπου 30 σεντς ανά εκατομμύριο tokens. Ο λογαριασμός είναι επίσης σταθερός, αντί να αυξάνεται με κάθε αίτημα.
Τα αποτελέσματα
Ο Abitbol μοιράστηκε ορισμένα δεδομένα σχετικά με αυτήν τη νέα αλλαγή στρατηγικής με περίπου 2.000 μηχανικούς. Δήλωσε ότι ο χρόνος ανάπτυξης μειώθηκε κατά περίπου 60% και ο χρόνος παράδοσης (από την ανάθεση ζητημάτων έως την ανάπτυξη) κατά περίπου 70%.
Η Revolut παρουσίασε για πρώτη φορά το Google Gemini τον Ιανουάριο, το οποίο, σύμφωνα με τον Abitbol, βελτίωσε τον χρόνο παράδοσης κατά περίπου 10% και τον χρόνο ανάπτυξης κατά 20%. Στη συνέχεια, λάνσαρε το Claude Code με προϋπολογισμό 300 $ ανά μήνα ανά μηχανικό. Σε αυτήν την περίπτωση, δήλωσε ότι η αύξηση της παραγωγικότητας ήταν μικρή επειδή η κατανομή δεν διήρκεσε ολόκληρο τον μήνα. Με το αυτοφιλοξενούμενο μοντέλο που κυκλοφόρησε φέτος, η υπόσχεση ήταν απεριόριστα tokens.
Πώς ξοδεύει η Revolut τα tokens της
Ο Abitbol σημείωσε ότι, χωρίς προϋπολογισμό για τον οποίο να ανησυχούν, χρησιμοποίησαν τα tokens για εργασίες όπως η αναζήτηση στο Confluence (ένα wiki επιχειρήσεων), η διαχείριση ζητημάτων στο Jira και η αναζήτηση αντικειμένων στο Slack. Όπως επισημαίνει ο Abitbol, αυτό καταδεικνύει ότι το πραγματικό εμπόδιο δεν ήταν η συγγραφή κώδικα, αλλά η λύση που χρειαζόταν για να το παρακάμψει.
Ο Abitbol υπέδειξε ότι η νέα διαμόρφωση με το μοντέλο δεν λειτούργησε αμέσως. Στην πραγματικότητα, εξηγεί, τον Ιούνιο, οι χρόνοι απόκρισης ξεπέρασαν τα 10 δευτερόλεπτα με τέσσερα αιτήματα ανά δευτερόλεπτο. Μετά την προσαρμογή της ανάπτυξης στον ίδιο αριθμό GPU, η Revolut χειριζόταν περισσότερα από οκτώ αιτήματα ανά δευτερόλεπτο με καθυστέρηση κάτω από 1,8 δευτερόλεπτα.
Μεταξύ των συμβουλών που δίνει στην ομιλία του είναι ο περιορισμός του παραθύρου περιβάλλοντος σε 256.000 διακριτικά, η χρήση μορφών FP4 χαμηλότερης ακρίβειας αντί για FP8 για εξοικονόμηση περίπου 40% της χωρητικότητας της GPU και η παρακολούθηση των ποσοστών επιτυχίας της προσωρινής μνήμης. Ο Abitbol συμβουλεύει να αντισταθεί κανείς στον πειρασμό να προσθέτει περισσότερο υλικό κάθε φορά που αυξάνεται η κίνηση.
Το ζήτημα της Κίνας
Η χρήση ενός κινεζικού μοντέλου σε μια ρυθμιζόμενη τράπεζα μπορεί να προκαλέσει κάποια ερωτήματα και ο Abitbol το αναγνωρίζει αυτό. Τονίζει όμως ότι η Revolut χρησιμοποιεί μόνο τα βάρη του μοντέλου και τα φιλοξενεί στη δική της υποδομή ή σε έναν πάροχο της ΕΕ ή των ΗΠΑ, επομένως δεν καταλήγουν δεδομένα σε κινεζική υπηρεσία. Δηλώνει επίσης ότι αυτό είναι ακόμη καλύτερο για την προστασία της ιδιωτικής ζωής από την αποστολή κώδικα στο OpenAI ή το Anthropic.
Επιπλέον, ο Abitbol διευκρινίζει ότι οι πράκτορες εκτελούνται σε ένα ασφαλές περιβάλλον (sandbox) που επιτρέπει ορισμένες εντολές και αποκλείει άλλες, διατηρώντας πάντα έναν άνθρωπο ενήμερο. Το GLM είναι μόνο κείμενο, επομένως η Revolut αναθέτει εργασίες εικόνας σε ένα φθηνότερο μοντέλο όπως το Gemini Flash.
