Γ.Δ.
1446.92 -0,17%
ACAG
+0,69%
5.84
CENER
-0,91%
9.8
CNLCAP
0,00%
7.25
DIMAND
+4,05%
9
NOVAL
-0,73%
2.72
OPTIMA
0,00%
11.78
TITC
+0,32%
31.4
ΑΑΑΚ
0,00%
5.85
ΑΒΑΞ
-0,14%
1.426
ΑΒΕ
0,00%
0.462
ΑΔΜΗΕ
-0,22%
2.235
ΑΚΡΙΤ
0,00%
0.95
ΑΛΜΥ
+1,41%
2.875
ΑΛΦΑ
-1,60%
1.658
ΑΝΔΡΟ
-0,93%
6.42
ΑΡΑΙΓ
-2,24%
11.81
ΑΣΚΟ
-3,81%
2.78
ΑΣΤΑΚ
+1,39%
7.3
ΑΤΕΚ
0,00%
0.418
ΑΤΡΑΣΤ
+0,47%
8.6
ΑΤΤ
-1,12%
13.3
ΑΤΤΙΚΑ
+2,37%
2.59
ΒΑΡΝΗ
0,00%
0.24
ΒΙΟ
-1,17%
5.9
ΒΙΟΚΑ
-5,20%
2.37
ΒΙΟΣΚ
0,00%
1.3
ΒΙΟΤ
0,00%
0.24
ΒΙΣ
0,00%
0.142
ΒΟΣΥΣ
0,00%
2.36
ΓΕΒΚΑ
+1,26%
1.61
ΓΕΚΤΕΡΝΑ
+0,45%
17.9
ΔΑΑ
-0,05%
7.996
ΔΑΙΟΣ
0,00%
3.4
ΔΕΗ
-0,62%
11.25
ΔΟΜΙΚ
-3,96%
3.515
ΔΟΥΡΟ
0,00%
0.25
ΔΡΟΜΕ
+0,62%
0.323
ΕΒΡΟΦ
+1,00%
1.51
ΕΕΕ
+1,63%
32.52
ΕΚΤΕΡ
-0,49%
4.1
ΕΛΒΕ
+2,83%
5.45
ΕΛΙΝ
-1,35%
2.2
ΕΛΛ
+0,73%
13.85
ΕΛΛΑΚΤΩΡ
+0,39%
2.6
ΕΛΠΕ
-0,67%
7.46
ΕΛΣΤΡ
0,00%
2.34
ΕΛΤΟΝ
-0,34%
1.75
ΕΛΧΑ
+0,22%
1.836
ΕΝΤΕΡ
0,00%
8.01
ΕΠΙΛΚ
0,00%
0.128
ΕΠΣΙΛ
0,00%
12
ΕΣΥΜΒ
-0,77%
1.285
ΕΤΕ
-0,65%
7.948
ΕΥΑΠΣ
+0,29%
3.41
ΕΥΔΑΠ
-0,34%
5.78
ΕΥΡΩΒ
-0,05%
2.119
ΕΧΑΕ
+0,21%
4.78
ΙΑΤΡ
-4,13%
1.74
ΙΚΤΙΝ
+0,64%
0.394
ΙΛΥΔΑ
-1,13%
1.745
ΙΝΚΑΤ
-0,40%
4.98
ΙΝΛΙΦ
+2,81%
5.12
ΙΝΛΟΤ
-0,94%
1.258
ΙΝΤΕΚ
+0,17%
5.99
ΙΝΤΕΡΚΟ
+0,82%
2.46
ΙΝΤΕΤ
-2,37%
1.235
ΙΝΤΚΑ
-0,57%
3.47
ΚΑΡΕΛ
0,00%
336
ΚΕΚΡ
-5,06%
1.5
ΚΕΠΕΝ
0,00%
1.75
ΚΛΜ
-1,97%
1.495
ΚΟΡΔΕ
-0,40%
0.494
ΚΟΥΑΛ
-0,63%
1.26
ΚΟΥΕΣ
-1,14%
5.21
ΚΡΕΚΑ
0,00%
0.28
ΚΡΙ
+1,30%
11.65
ΚΤΗΛΑ
0,00%
1.72
ΚΥΡΙΟ
+3,08%
1.17
ΛΑΒΙ
-2,49%
0.9
ΛΑΜΔΑ
+0,55%
7.3
ΛΑΜΨΑ
0,00%
35.6
ΛΑΝΑΚ
0,00%
0.965
ΛΕΒΚ
0,00%
0.314
ΛΕΒΠ
+5,34%
0.276
ΛΙΒΑΝ
0,00%
0.125
ΛΟΓΟΣ
-2,10%
1.4
ΛΟΥΛΗ
0,00%
2.71
ΜΑΘΙΟ
0,00%
0.852
ΜΕΒΑ
+1,01%
4
ΜΕΝΤΙ
-2,97%
2.61
ΜΕΡΚΟ
0,00%
45.2
ΜΙΓ
+0,80%
3.795
ΜΙΝ
+1,69%
0.6
ΜΛΣ
0,00%
0.57
ΜΟΗ
-1,05%
22.56
ΜΟΝΤΑ
+2,35%
3.48
ΜΟΤΟ
-0,55%
2.73
ΜΟΥΖΚ
0,00%
0.675
ΜΠΕΛΑ
-1,81%
25
ΜΠΛΕΚΕΔΡΟΣ
0,00%
3.47
ΜΠΡΙΚ
+0,26%
1.94
ΜΠΤΚ
0,00%
0.58
ΜΥΤΙΛ
-1,06%
35.4
ΝΑΚΑΣ
0,00%
2.72
ΝΑΥΠ
0,00%
0.91
ΞΥΛΚ
-2,06%
0.285
ΞΥΛΠ
0,00%
0.426
ΟΛΘ
+2,39%
21.4
ΟΛΠ
+0,18%
27.2
ΟΛΥΜΠ
0,00%
2.5
ΟΠΑΠ
+1,28%
15.8
ΟΡΙΛΙΝΑ
-0,67%
0.892
ΟΤΕ
+0,43%
14.1
ΟΤΟΕΛ
-1,53%
11.62
ΠΑΙΡ
-2,80%
1.04
ΠΑΠ
-1,24%
2.39
ΠΕΙΡ
+0,53%
3.81
ΠΕΤΡΟ
0,00%
8.6
ΠΛΑΘ
-0,77%
3.855
ΠΛΑΚΡ
+0,68%
14.8
ΠΡΔ
0,00%
0.25
ΠΡΕΜΙΑ
0,00%
1.154
ΠΡΟΝΤΕΑ
0,00%
7.15
ΠΡΟΦ
-1,49%
5.3
ΡΕΒΟΙΛ
-0,52%
1.9
ΣΑΡ
-2,63%
11.1
ΣΑΡΑΝ
0,00%
1.07
ΣΑΤΟΚ
0,00%
0.031
ΣΕΝΤΡ
-0,87%
0.342
ΣΙΔΜΑ
-2,06%
1.66
ΣΠΕΙΣ
+1,17%
6.94
ΣΠΙ
-0,59%
0.67
ΣΠΥΡ
+9,29%
0.153
ΤΕΝΕΡΓ
+0,10%
19.31
ΤΖΚΑ
0,00%
1.5
ΤΡΑΣΤΟΡ
0,00%
1.14
ΤΡΕΣΤΑΤΕΣ
+0,86%
1.634
ΥΑΛΚΟ
0,00%
0.162
ΦΙΕΡ
0,00%
0.359
ΦΛΕΞΟ
0,00%
7.95
ΦΡΙΓΟ
0,00%
0.22
ΦΡΛΚ
-0,89%
3.89
ΧΑΙΔΕ
0,00%
0.665

Ανησυχήστε για την τεχνητή νοημοσύνη, αλλά με μέτρο

«Nα αυτοματοποιήσουμε όλες τις θέσεις εργασίας, συμπεριλαμβανομένων εκείνων που εκπληρώνουν ανάγκες; Nα αναπτύξουμε μη ανθρώπινα μυαλά που θα μπορούσαν τελικά να μας ξεπεράσουν, όχι μόνο αριθμητικά, αλλά και στη νοημοσύνη… και τελικά να μας αντικαταστήσουν; Να διακινδυνεύσουμε την απώλεια του ελέγχου του πολιτισμού μας;». Αυτά τα ερωτήματα έθεσε τον περασμένο μήνα σε μια ανοιχτή επιστολή το Ινστιτούτο Μέλλον της Ζωής, μια μη κυβερνητική οργάνωση. Ζήτησε εξάμηνη «παύση» όσον αφορά τη δημιουργία των πιο εξελιγμένων μορφών τεχνητής νοημοσύνης (ΑΙ), ενώ το κείμενο υπογραφόταν από προσωπικότητες της τεχνολογίας, όπως ο Elon Musk. Πρόκειται για το πιο χαρακτηριστικό παράδειγμα του πώς η ραγδαία πρόοδος στην τεχνητή νοημοσύνη έχει προκαλέσει ανησυχία για τους πιθανούς κινδύνους της τεχνολογίας.

Ειδικότερα, τα νέα «μεγάλα γλωσσικά μοντέλα» (large language models – LLMs) -όπως αυτό που τροφοδοτεί το ChatGPT, το chatbot που κατασκευάστηκε από την Openai, μια νεοσύστατη εταιρεία- έχουν εκπλήξει ακόμα και τους δημιουργούς τους με τα απροσδόκητα ταλέντα τους, τα οποία κλιμακώνονται. Αυτές οι «αναδυόμενες» ικανότητες περιλαμβάνουν τα πάντα, από την επίλυση λογικών γρίφων και τη συγγραφή κώδικα υπολογιστή μέχρι την αναγνώριση ταινιών από περιλήψεις πλοκής γραμμένες σε emoji.

Τα μοντέλα αυτά αναμένονται να μεταμορφώσουν τη σχέση των ανθρώπων με τους υπολογιστές, τη γνώση, αλλά και με τον ίδιο τους τον εαυτό. Οι υποστηρικτές της τεχνητής νοημοσύνης στηρίζουν τις δυνατότητές της να λύσει μεγάλα προβλήματα, αναπτύσσοντας νέα φάρμακα, σχεδιάζοντας νέα υλικά για την καταπολέμηση της κλιματικής αλλαγής ή αποσαφηνίζοντας την πολυπλοκότητα της ενέργειας σύντηξης. Για άλλους, το γεγονός ότι οι ικανότητες της τεχνητής νοημοσύνης ξεπερνούν ήδη την κατανόηση των δημιουργών της κινδυνεύει να ζωντανέψει το επιστημονικής φαντασίας σενάριο καταστροφής που η μηχανή ξεπερνά τον εφευρέτη της, συχνά με μοιραίες συνέπειες.

Αυτό το μείγμα ενθουσιασμού και φόβου, που «σιγοβράζει», δυσκολεύει τη στάθμιση των ευκαιριών και των κινδύνων. Ωστόσο, υπάρχουν διδάγματα από άλλους κλάδους και από τεχνολογικές αλλαγές του παρελθόντος στα οποία μπορούμε να ανατρέξουμε. Τι έχει αλλάξει λοιπόν και αυτή η ΑΙ είναι τόσο ικανότερη; Πόσο πρέπει να φοβόμαστε; Και τι πρέπει να κάνουν οι κυβερνήσεις;

Σε ένα ειδικό επιστημονικό τμήμα διερευνούμε τη λειτουργία των LLMs και τη μελλοντική τους κατεύθυνση. Το πρώτο κύμα των σύγχρονων συστημάτων τεχνητής νοημοσύνης, που εμφανίστηκε πριν από μια δεκαετία, βασίστηκε σε προσεκτικά επισημασμένα δεδομένα εκπαίδευσης. Αφού εκτέθηκαν σε επαρκή αριθμό κατηγοριοποιημένων παραδειγμάτων, τα συστήματα αυτά μπορούσαν να μάθουν να κάνουν πράγματα όπως η αναγνώριση εικόνων ή η μεταγραφή λόγου. Τα σημερινά συστήματα δεν απαιτούν προσήμανση και, ως εκ τούτου, μπορούν να εκπαιδευτούν χρησιμοποιώντας πολύ μεγαλύτερα σύνολα δεδομένων που προέρχονται από διαδικτυακές πηγές. Τα LLMs, με άλλα λόγια, μπορούν να εκπαιδευτούν χρησιμοποιώντας ολόκληρο το Διαδίκτυο, γεγονός που εξηγεί και τις ικανότητές τους, καλές ή κακές.

Οι ικανότητές αυτές έγιναν εμφανείς στο ευρύτερο κοινό όταν τον Νοέμβριο κυκλοφόρησε το ChatGPT. Ένα εκατομμύριο άνθρωποι το χρησιμοποίησαν μέσα σε μια εβδομάδα -100 εκατομμύρια μέσα σε δύο μήνες. Σύντομα χρησιμοποιήθηκε για τη δημιουργία σχολικών δοκιμίων και γαμήλιων ομιλιών. Η δημοτικότητα του ChatGPT και η κίνηση της Microsoft να το ενσωματώσει στο Bing τη μηχανή αναζήτησης ώθησε τις αντίπαλες εταιρείες να κυκλοφορήσουν επίσης chatbots.

Ορισμένα από αυτά παρήγαγαν περίεργα αποτελέσματα. Ο Bing Chat πρότεινε σε έναν δημοσιογράφο να αφήσει τη γυναίκα του. Το ChatGPT έχει κατηγορηθεί για δυσφήμηση από έναν καθηγητή Νομικής. Τα LLMs παράγουν απαντήσεις που έχουν την επίφαση της αλήθειας, αλλά συχνά περιέχουν πραγματικά λάθη ή ξεκάθαρα κατασκευασμένες πληροφορίες. Ακόμα κι έτσι, η Microsoft, η Google και άλλες εταιρείες τεχνολογίας έχουν αρχίσει να ενσωματώνουν τα LLMs στα προϊόντα τους, για να βοηθούν τους χρήστες να δημιουργούν έγγραφα και να εκτελούν άλλες εργασίες.

Η πρόσφατη επιτάχυνση τόσο της ισχύος, όσο και της ορατότητας των συστημάτων τεχνητής νοημοσύνης, αλλά και η αυξανόμενη συνειδητοποίηση των δυνατοτήτων και των ελαττωμάτων τους, έχουν εγείρει φόβους ότι η τεχνολογία εξελίσσεται πλέον τόσο γρήγορα, που δεν μπορεί να ελεγχθεί με ασφάλεια. Εξ ου και η έκκληση για παύση και η αυξανόμενη ανησυχία ότι η τεχνητή νοημοσύνη θα μπορούσε να απειλήσει όχι μόνο τις θέσεις εργασίας, την ακρίβεια των γεγονότων και τη φήμη, αλλά και την ύπαρξη της ίδιας της ανθρωπότητας.

Εξαφάνιση; Επανάσταση;

Ο φόβος ότι οι μηχανές θα κλέψουν τις θέσεις εργασίας πλανιέται εδώ και αιώνες. Ωστόσο, μέχρι στιγμής η νέα τεχνολογία έχει δημιουργήσει νέες θέσεις εργασίας, για να αντικαταστήσει αυτές που κατέστρεψε. Οι μηχανές είναι σε θέση να εκτελούν ορισμένες εργασίες, ενώ άλλες όχι, αυξάνοντας τη ζήτηση για ανθρώπους που να μπορούν να κάνουν τις εργασίες που δεν μπορούν να υλοποιήσουν οι μηχανές. Θα μπορούσε αυτήν τη φορά τα πράγματα να είναι διαφορετικά; Μια ξαφνική διαταραχή στις αγορές εργασίας δεν μπορεί να αποκλειστεί, ακόμα και αν μέχρι στιγμής δεν υπάρχουν ενδείξεις για κάτι τέτοιο. Η προηγούμενη τεχνολογία είχε την τάση να αντικαθιστά την ανειδίκευτη εργασία, αλλά τα LLMs μπορούν να εκτελούν ορισμένα καθήκοντα υπαλλήλων γραφείου, όπως η σύνοψη εγγράφων και η συγγραφή κώδικα.

Ο βαθμός του υπαρξιακού κινδύνου που ενέχει η τεχνητή νοημοσύνη έχει συζητηθεί έντονα. Οι ειδικοί διχάζονται. Μια έρευνα που πραγματοποιήθηκε από ερευνητές της τεχνητής νοημοσύνης το 2022 έδειξε ότι το 48% πίστευε ότι υπήρχε τουλάχιστον 10% πιθανότητα οι επιπτώσεις της τεχνητής νοημοσύνης να είναι «εξαιρετικά άσχημες (π.χ. η εξόντωση του ανθρώπου)». Ωστόσο, το 25% δήλωσε ότι ο κίνδυνος ήταν 0%. Ο μέσος ερευνητής τοποθετούσε τον κίνδυνο στο 5%. Ο εφιάλτης είναι μια προηγμένη τεχνητή νοημοσύνη να προκαλεί μαζική βλάβη, κατασκευάζοντας δηλητήρια ή ιούς ή πείθοντας τους ανθρώπους να διαπράξουν τρομοκρατικές ενέργειες. Δεν χρειάζεται να έχει κακή πρόθεση: οι ερευνητές ανησυχούν ότι οι μελλοντικές τεχνητές νοημοσύνες μπορεί απλώς να έχουν στόχους που δεν θα ευθυγραμμίζονται απαραίτητα με εκείνους των ανθρώπων δημιουργών τους.

Τέτοια σενάρια δεν πρέπει να απορρίπτονται. Ωστόσο, όλα περιλαμβάνουν ένα τεράστιο ποσό εικασιών και ένα άλμα σε σχέση με τη σημερινή τεχνολογία. Πολλοί φαντάζονται ότι οι μελλοντικές ΑΙ θα έχουν απρόσκοπτη πρόσβαση σε ενέργεια, χρήματα και υπολογιστική ισχύ, που αποτελούν πραγματικούς περιορισμούς σήμερα και θα μπορούσαν να απαγορευτούν σε μια «αχρεία» ΑΙ στο μέλλον. Επιπλέον, οι εμπειρογνώμονες τείνουν να υπερεκτιμούν τους κινδύνους στον τομέα τους, σε σύγκριση με άλλους που κάνουν προβλέψεις. (Και ο κ. Musk, ο οποίος δρομολογεί τη δική του νεοφυή επιχείρηση τεχνητής νοημοσύνης, έχει συμφέρον οι αντίπαλοί του να σταματήσουν τις προσπάθειές τους). Η επιβολή αυστηρών ρυθμίσεων ή και παύσης σήμερα φαίνεται υπερβολική αντίδραση. Μια παύση θα ήταν επίσης ανεφάρμοστη.

Η ρύθμιση είναι απαραίτητη, αλλά για πιο πεζούς λόγους από τη διάσωση της ανθρωπότητας. Τα υπάρχοντα συστήματα τεχνητής νοημοσύνης εγείρουν πραγματικές ανησυχίες σχετικά με τη μεροληψία, την προστασία της ιδιωτικής ζωής και τα δικαιώματα πνευματικής ιδιοκτησίας. Καθώς η τεχνολογία εξελίσσεται, άλλα προβλήματα θα μπορούσαν να φανούν στον ορίζοντα. Το κλειδί είναι να εξισορροπήσουμε την υπόσχεση της τεχνητής νοημοσύνης με την αξιολόγηση των κινδύνων και να είμαστε έτοιμοι να προσαρμοστούμε.

Μέχρι στιγμής οι κυβερνήσεις ακολουθούν τρεις διαφορετικές προσεγγίσεις. Στο ένα άκρο του φάσματος βρίσκεται η Βρετανία, η οποία έχει προτείνει μια «διακριτική» προσέγγιση χωρίς νέους κανόνες ή ρυθμιστικές αρχές, αλλά εφαρμόζει τους υφιστάμενους κανονισμούς στα συστήματα ΑΙ. Ο στόχος είναι να ενισχυθούν οι επενδύσεις και να μετατραπεί η Βρετανία σε «υπερδύναμη της τεχνητής νοημοσύνης». Η Αμερική έχει υιοθετήσει παρόμοια προσέγγιση, αν και η κυβέρνηση Biden ζητεί τώρα τις απόψεις του κοινού για το πώς θα μπορούσε να μοιάζει ένα εγχειρίδιο κανόνων.

Η ΕΕ ακολουθεί πιο σκληρή γραμμή. Ο προτεινόμενος νόμος της κατηγοριοποιεί τις διάφορες χρήσεις της ΑΙ ανάλογα με τον βαθμό κινδύνου και απαιτεί όλο και αυστηρότερη παρακολούθηση και γνωστοποίηση καθώς ο βαθμός κινδύνου αυξάνεται, π.χ. από τη μουσική σύσταση μέχρι τα αυτοοδηγούμενα αυτοκίνητα. Ορισμένες χρήσεις της τεχνητής νοημοσύνης απαγορεύονται εντελώς, όπως η υποσυνείδητη διαφήμιση και η τηλεβιομετρία. Στις επιχειρήσεις που παραβιάζουν τους κανόνες θα επιβάλλονται πρόστιμα. Για ορισμένους επικριτές αυτοί οι κανονισμοί είναι πολύ ασφυκτικοί.

Υπάρχουν, βέβαια, κι εκείνοι που λένε ότι χρειάζεται μια ακόμα αυστηρότερη προσέγγιση. Οι κυβερνήσεις θα πρέπει να αντιμετωπίζουν την τεχνητή νοημοσύνη όπως τα φάρμακα, με μια ειδική ρυθμιστική αρχή, αυστηρές δοκιμές και προέγκριση πριν από οποιαδήποτε κυκλοφορία. Η Κίνα το κάνει, απαιτώντας από τις επιχειρήσεις να καταχωρίζουν τα προϊόντα τεχνητής νοημοσύνης και να υποβάλλονται σε έλεγχο ασφαλείας πριν από την κυκλοφορία. Εντούτοις, η ασφάλεια μπορεί να αποτελεί λιγότερο κίνητρο από την πολιτική: μια βασική απαίτηση είναι η παραγωγή τεχνητής νοημοσύνης να αντικατοπτρίζει τη «βασική αξία του σοσιαλισμού».

Άρα τι κάνουμε; Η διακριτική προσέγγιση είναι απίθανο να είναι αρκετή. Αν η τεχνητή νοημοσύνη είναι τόσο σημαντική τεχνολογία όσο τα αυτοκίνητα, τα αεροπλάνα και τα φάρμακα -και υπάρχουν βάσιμοι λόγοι να πιστεύουμε ότι είναι- τότε, όπως και αυτά, θα χρειαστεί νέους κανόνες. Κατά συνέπεια, το μοντέλο της ΕΕ είναι πιο κοντά στον στόχο, αν και το σύστημα ταξινόμησής της είναι υπερβολικό. Μια προσέγγιση βασισμένη σε αρχές θα ήταν πιο ευέλικτη. Η υποχρεωτική γνωστοποίηση του τρόπου εκπαίδευσης των συστημάτων, του τρόπου λειτουργίας και του τρόπου παρακολούθησής τους, καθώς και η απαίτηση επιθεωρήσεων, θα ήταν εφάμιλλη με παρόμοιους κανόνες σε άλλους κλάδους.

Κάτι τέτοιο θα μπορούσε να επιτρέψει αυστηρότερη ρύθμιση με την πάροδο του χρόνου, αν χρειαστεί. Υπό αυτήν την έννοια, μια ειδική ρυθμιστική αρχή μπορεί να φανεί καταλληλότερη. Το ίδιο μπορεί να συμβεί και με τις διακυβερνητικές συνθήκες, παρόμοιες με εκείνες που διέπουν τα πυρηνικά όπλα, εάν προκύψουν εύλογα στοιχεία για υπαρξιακό κίνδυνο. Για την παρακολούθηση αυτού του κινδύνου οι κυβερνήσεις θα μπορούσαν να δημιουργήσουν έναν οργανισμό κατά το πρότυπο του CERN, του εργαστηρίου σωματιδιακής φυσικής, ο οποίος θα μπορούσε επίσης να μελετήσει την ασφάλεια και την ηθική της τεχνητής νοημοσύνης -τομείς στους οποίους οι εταιρείες δεν έχουν κίνητρα να επενδύσουν όσο θα επιθυμούσε η κοινωνία.

Αυτή η ισχυρή τεχνολογία ενέχει νέους κινδύνους, αλλά προσφέρει και εξαιρετικές ευκαιρίες. Η εξισορρόπηση αυτών των δύο προϋποθέτει προσεκτικό σχεδιασμό. Μια μετρημένη προσέγγιση σήμερα μπορεί να δημιουργήσει τα θεμέλια πάνω στα οποία θα μπορούν να προστεθούν περαιτέρω κανόνες στο μέλλον. Η ώρα, όμως, να αρχίσουμε να κατασκευάζουμε αυτά τα θεμέλια είναι τώρα.

 

© 2023 The Economist Newspaper Limited. All rights reserved.
Άρθρο από τον Economist, το οποίο μεταφράστηκε και δημοσιεύθηκε με επίσημη άδεια από την www.powergame.gr. Το πρωτότυπο άρθρο, στα αγγλικά, βρίσκεται στο www.economist.com

Google News icon
Ακολουθήστε το Powergame.gr στο Google News για άμεση και έγκυρη οικονομική ενημέρωση!