ΜΑΘΗΜΑ 4 ΣΤΟ "PROMPT ENGINEERING" ΓΙΑ "ΑΙ"

ΔΕΙΓΜΑΤΟΛΗΨΙΑ (Top-k Sampling) & ΛΕΚΤΙΚΕΣ ΜΟΝΑΔΕΣ (Tokens)

Η Δειγματοληψία Top-k (Top-k Sampling ) είναι μια τεχνική που χρησιμοποιείται στην επεξεργασία φυσικής γλώσσας (NLP) και σε εργασίες παραγωγής κειμένου, για να δημιουργηθεί κείμενο με ελεγχόμενο τρόπο.

Όταν ένα μοντέλο παράγει κείμενο, προβλέπει την επόμενη λέξη με βάση τα συμφραζόμενα των προηγούμενων λέξεων.

Κάθε πιθανή επόμενη λέξη συσχετίζεται με μια πιθανότητα, η οποία δείχνει πόσο πιθανό είναι να ακολουθήσει το δεδομένο συμφραζόμενο.

Δηλαδή περιορίζει τις επιλογές του μοντέλου στον αριθμό των k (ακέραιος αριθμός π.χ. 5) πιο πιθανών επόμενων (εάν κ=5) πέντε λέξεων με την μεγαλύτερη πιθανότητα από το σύνολο των πολλών πιθανολογούμενων λέξεων που έχουν μικρότερες πιθανότητες.

Το μοντέλο θα επιλέξει για εξέταση μόνο αυτές τις k λέξεις για χρήση ως επόμενη λέξη στο κείμενο ώστε να υπάρξει πιο αυστηρός έλεγχο στην ποιότητας παραγωγής κειμένου.

Ας δούμε πως λειτουργεί το Top-k Sampling:

1. Παραγωγή Προβλέψεων (Prediction Generation): Το γλωσσικό μοντέλο δημιουργεί μια κατανομή πιθανότητας για το λεξιλόγιο σχετικά με την επόμενη λέξη που ια χρησιμοποιήσει στη σειρά.

2. Φιλτράρισμα (Filtering): Αντί να εξετάζονται όλες οι δυνατές λέξεις στο λεξιλόγιο, το Top-k Sampling περιορίζει την επιλογή στις k λέξεις με τις υψηλότερες πιθανότητες. Για παράδειγμα, αν k = 5, μόνο οι πέντε λέξεις με τις υψηλότερες πιθανότητες θα ληφθούν υπόψη.

3. Δειγματοληψία (Sampling): Η επόμενη λέξη επιλέγεται τυχαία από αυτό το υποσύνολο των k λέξεων, σύμφωνα πάντα με τις σχετικές πιθανότητές τους.

Περιορίζοντας τις επιλογές στις κορυφαίες k πιθανές λέξεις, το Top-k Sampling εξισορροπεί την ανάγκη για ποικιλία και συνοχή στην παραγωγή κειμένου. Αποφεύγει μερικές κοινές παγίδες:

• Αποφυγή Λέξεων με Χαμηλή Πιθανότητα (Avoiding Low-Probability Words): Εξαιρώντας λέξεις με πολύ χαμηλές πιθανότητες, το παραγόμενο κείμενο είναι λιγότερο πιθανό να περιλαμβάνει ασυναρτησίες ή άσχετες λέξεις.

• Εισαγωγή Ποικιλίας (Introducing Diversity): Με την τυχαία δειγματοληψία μέσα στις κορυφαίες k λέξεις, το παραγόμενο κείμενο δεν είναι ντετερμινιστικό, δηλαδή μπορεί να παράγει διάφορες εκδοχές για την ίδια είσοδο, ενισχύοντας τη δημιουργικότητα και μειώνοντας την επανάληψη.

Για παράδειγμα, αν το μοντέλο προβλέπει την επόμενη λέξη με πιθανότητες όπως:

• "the": 0.40

• "cat": 0.25

• "sat": 0.15

• "on": 0.10

• "mat": 0.05

• άλλες (συνολικά): 0.05

Με το Top-k Sampling όπου k = 3, το μοντέλο θα λάβει υπόψη μόνο τις 3 λέξεις "the", "cat", και "sat" που έχουν τις μεγαλύτερες πιθανότητες, ως τις πιθανές επόμενες λέξεις.

Μία από αυτές τις λέξεις θα επιλεγεί με βάση τις σχετικές πιθανότητές τους.

Το Top-k Sampling συχνά χρησιμοποιείται σε συνδυασμό με άλλες τεχνικές όπως η κλιμάκωση θερμοκρασίας (temperature scaling) που αναφέραμε στο πρώτο μάθημα, η οποία προσαρμόζει την κατανομή πιθανότητας ώστε να την κάνει πιο ή λιγότερο τυχαία, ρυθμίζοντας περαιτέρω την ισορροπία μεταξύ συνοχής (coherence) και ποικιλία (diversity) στην παραγωγή κειμένου.

ΜΕΓΙΣΤΟΣ ΑΡΙΘΜΟΣ ΛΕΚΤΙΚΩΝ ΜΟΝΑΔΩΝ (Max Tokens)

Το "Max Tokens" στο πλαίσιο της τεχνητής νοημοσύνης (AI), ιδιαίτερα στην επεξεργασία φυσικής γλώσσας (NLP) και σε μοντέλα όπως το GPT (Generative Pre-trained Transformer), αναφέρεται στον μέγιστο αριθμό των tokens που το μοντέλο θα επεξεργαστεί ή θα παραγάγει σε μια αλληλεπίδραση ή ένα ερώτημα.

Max Tokens:

1. Ορισμός μίας “Λεκτικής Μονάδας (Token)”:

• Μία Λεκτική Μονάδα (token) μπορεί να είναι τόσο μικρή όσο ένας χαρακτήρας ή τόσο μεγάλο όσο μία λέξη (ή και περισσότερο). Στα αγγλικά, για παράδειγμα, κοινές λέξεις όπως "the" ή "is" είναι “tokens”, αλλά το ίδιο ισχύει και για τα σημεία στίξης και τμήματα σύνθετων λέξεων.

2. Ορισμός ενός Ορίου (Setting a Limit):

• Η παράμετρος "Max Tokens" θέτει ένα ανώτατο όριο στον αριθμό των λεκτικών μονάδων ( tokens) που το μοντέλο θα εξετάσει όταν παράγει μια απάντηση ή επεξεργάζεται μια εισαγωγή.

Αυτό βοηθά στη διαχείριση των υπολογιστικών πόρων και διασφαλίζει ότι η απάντηση παράγεται σε εύλογο χρονικό διάστημα.

3. Επίδραση στην Επικοινωνία (Impact on Interaction):

• Το μοντέλο, όταν παράγει κείμενο, θα σταματήσει μόλις φτάσει στον καθορισμένο αριθμό των tokens. Αν ζητήσουμε να παραχθεί μια μακρά παράγραφος ή ένα έγγραφο, μπορεί να φτάσουμε αυτό το όριο, με αποτέλεσμα η έξοδος να είναι περικομμένη.

• Όταν το μοντέλο επεξεργάζεται μια εισαγωγή, αν αυτή υπερβαίνει το όριο του μέγιστου αριθμού Λεκτικών Μονάδων που θέλουμε (max tokens), το μοντέλο είτε θα περικόψει την είσοδο είτε θα την απορρίψει, ανάλογα με την υλοποίηση.

4. Πρακτικό Παράδειγμα:

• Επεξεργασία Εισαγωγής/Εισόδου (Input Processing): Αν θέσουμε το όριο των “max tokens” σε 512 και δώσουμε στην είσοδο μία εισαγωγή που υπερβαίνει αυτό το όριο, το μοντέλο θα εξετάσει μόνο τα πρώτα 512 tokens της εισόδου μας.

• Παραγωγή Κειμένου (Text Generation): Αν ζητήσουμε από το μοντέλο να παραγάγει κείμενο με όριο “max tokens” το 100, τότε το μοντέλο θα συμπεριλάβει έως και 100 tokens στην απάντησή του.

5. Σημασία του Max Tokens:

• Διαχείριση Πόρων (Resource Management): Ελέγχει το υπολογιστικό φορτίο ως προς τους πόρους του μοντέλου, καθιστώντας δυνατή την αποδοτική λειτουργία των μοντέλων.

• Ποιότητα Έξοδου (Output Quality): Βοηθά στην προσαρμογή της εξόδου ώστε να ταιριάζει σε συγκεκριμένες απαιτήσεις, όπως η παραγωγή μιας περίληψης ή μιας σύντομης απάντησης.

• Αποδοτικότητα Αλληλεπίδρασης (Interaction Efficiency): Διασφαλίζει ότι οι απαντήσεις παρέχονται έγκαιρα, βελτιώνοντας την εμπειρία του χρήστη.

6. Συνεπώς, ο μέγιστος αριθμός Λεκτικών μονάδων ("Max Tokens") είναι μια κρίσιμη παράμετρος στα μοντέλα τεχνητής νοημοσύνης, που καθορίζει το μήκος των εισόδων και εξόδων κειμένου, εξισορροπώντας μεταξύ της χρήσης πόρων και της ποιότητας της αλληλεπίδρασης.

Όλες οι αντιδράσεις:

2Σταύρος Σταθόπουλος και Kwstas Argyrakhs