ΜΑΘΗΜΑ 7ο: PROMPT ENGINEERING

ΜΟΝΤΕΛΑ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

Υπάρχουν πολλά μοντέλα μηχανικής μάθησης (Machine learning - ML) και βαθιάς μάθησης (Deep learning - DL), το καθένα με διαφορετικές δυνατότητες και χαρακτηριστικά. Παρακάτω παρουσιάζονται μερικά από τα πιο κοινά μοντέλα και οι δυνατότητές τους:

1. Common Machine Learning Models

α. Γραμμικά Μοντέλα (Linear Models)

(1) Γραμμική Παλινδρόμηση (Linear Regression)

• Χρήση: Πρόβλεψη συνεχών τιμών (π.χ., τιμές σπιτιών, θερμοκρασίες).

• Δυνατότητες: Απλότητα, ερμηνευσιμότητα, καλή απόδοση σε γραμμικά δεδομένα.

• Περιορισμοί: Χαμηλή απόδοση σε μη γραμμικά δεδομένα.

(2) Λογιστική Παλινδρόμηση (Logistic Regression)

• Χρήση: Δυαδική ταξινόμηση (π.χ., ναι/όχι, θετικό/αρνητικό).

• Δυνατότητες: Απλότητα, ερμηνευσιμότητα, καλή απόδοση σε γραμμικά διαχωρίσιμα δεδομένα.

• Περιορισμοί: Χαμηλή απόδοση σε πολύπλοκα και μη γραμμικά δεδομένα.

β. Μοντέλα Δέντρων Αποφάσεων

(1) Δέντρα Αποφάσεων (Decision Trees)

• Χρήση: Ταξινόμηση και παλινδρόμηση.

• Δυνατότητες: Ερμηνευσιμότητα, διαχείριση πολυδιάστατων δεδομένων, όχι πολλές προϋποθέσεις για τα δεδομένα.

• Περιορισμοί: Επιρρεπή σε υπερεκπαίδευση (overfitting).

(2) Τυχαία Δάση (Random Forest): είναι ένας ευρέως χρησιμοποιούμενος αλγόριθμος μηχανικής μάθησης, (με εμπορικό σήμα από τους Leo Breiman και Adele Cutler), ο οποίος συνδυάζει την έξοδο πολλαπλών δέντρων αποφάσεων (“decision trees” – εξ ου και το “forest”) για να φτάσει σε ένα μόνο αποτέλεσμα. Η ευκολία χρήσης και η ευελιξία του έχουν ενισχύσει την υιοθέτησή του, καθώς διαχειρίζεται τα προβλήματα ταξινόμησης και παλινδρόμησης.

• Χρήση: Ταξινόμηση και παλινδρόμηση.

• Δυνατότητες: Ανθεκτικότητα σε υπερεκπαίδευση, καλή απόδοση σε μεγάλα και πολυδιάστατα δεδομένα.

• Περιορισμοί: Λιγότερο ερμηνεύσιμα από τα απλά δέντρα αποφάσεων.

(3) Ενισχυμένα Δέντρα Αποφάσεων (gradient-boosted decision trees): Ας ξεκινήσουμε με την κατανόηση του Boosting! Το Boosting είναι μια μέθοδος μετατροπής “αδύναμων μαθητών” σε “δυνατούς μαθητές”. Στην ενίσχυση, με ένα συγκεκριμένο αλγόριθμο (AdaBoost) ξεκινάμε την εκπαίδευση ενός δέντρου αποφάσεων.

Εδώ, η ιδέα είναι να βελτιώσουμε τις προβλέψεις του πρώτου δέντρου. Αφού αξιολογήσουμε το πρώτο δέντρο, αυξάνουμε τα βάρη αφού σταθμίσουμε τα δεδομένα και αναπτύσσουμε διαδοχικά το δεύτερο δένδρο αποφάσεως.

Το δεύτερο δέντρο λοιπόν αναπτύσσεται με αυτά τα σταθμισμένα δεδομένα.

Το νέο μας μοντέλο είναι επομένως Δέντρο 1 + Δέντρο 2. Στη συνέχεια, υπολογίζουμε το σφάλμα ταξινόμησης από αυτό το νέο μοντέλο συνόλου 2 δέντρων και αναπτύσσουμε ένα τρίτο δέντρο για να προβλέψουμε τα αναθεωρημένα εξαγώμενα.

Επαναλαμβάνουμε αυτή τη διαδικασία για έναν καθορισμένο αριθμό επαναλήψεων. Τα επόμενα δέντρα μας βοηθούν να ταξινομήσουμε τις παρατηρήσεις που δεν ταξινομούνται καλά από τα προηγούμενα δέντρα. Οι προβλέψεις του τελικού μοντέλου συνόλου είναι επομένως το σταθμισμένο άθροισμα των προβλέψεων που έγιναν από τα προηγούμενα μοντέλα δέντρων.

• Χρήση: Ταξινόμηση (Classification) και γραμμική παλινδρόμηση (Linear Regression).

- Ταξινόμηση κειμένων είναι η διαδικασία ανάλυσης αλληλουχιών κειμένων και χαρακτηρισμού τους με μια ετικέτα, προκειμένου να τοποθετηθούν σε μια κατηγορία με βάση την συνάφεια του περιεχομένου της. Η ταξινόμηση κειμένου βασίζεται σχεδόν σε κάθε εργασία τεχνητής νοημοσύνης ή μηχανικής μάθησης που περιλαμβάνει την Επεξεργασία Φυσικής Γλώσσας (NLP).

- Γραμμική Παλινδρόμηση σε ένα μοντέλο μηχανικής μάθησης είναι η λειτουργία προσδιορισμού μιας γραμμική συνάρτηση μεταξύ των μεταβλητών X (ανεξάρτητη μεταβλητή) και Y (εξαρτημένη μεταβλητή) που περιγράφει καλύτερα τη σχέση μεταξύ των δύο μεταβλητών (Υ=mX+b, όπου m η κλίση της γραμμής στην γραφική παράσταση της συνάρτησης) .

• Δυνατότητες: Πολύ καλή απόδοση, διαχείριση πολύπλοκων σχέσεων.

• Περιορισμοί: Υψηλό υπολογιστικό κόστος, λιγότερο ερμηνεύσιμα.

(4) Υποστηρικτικές Διανυσματικές Μηχανές (Support Vector Machines, SVM)

• Χρήση: Ταξινόμηση και παλινδρόμηση.

• Δυνατότητες: Καλή απόδοση σε πολύπλοκα και μη γραμμικά δεδομένα με κατάλληλους πυρήνες (kernels). Στη μηχανική μάθηση, οι μηχανές πυρήνα (Kernels) είναι μια κατηγορία αλγορίθμων για ανάλυση μοτίβων. Αυτές οι μέθοδοι περιλαμβάνουν τη χρήση γραμμικών ταξινομητών για την επίλυση μη γραμμικών προβλημάτων. Το γενικό έργο της ανάλυσης μοτίβων είναι να βρει και να μελετήσει γενικούς τύπους σχέσεων (για παράδειγμα συστάδες, ταξινομήσεις, κύρια συστατικά, συσχετίσεις, ταξινομήσεις) σε σύνολα δεδομένων.

• Περιορισμοί: Υψηλό υπολογιστικό κόστος, απαιτεί καλή ρύθμιση των παραμέτρων.

γ. Νευρωνικά Δίκτυα

(1) Πολυεπίπεδα Νευρωνικά Δίκτυα (Multi-Layer Perceptrons, MLP)

• Χρήση: Ταξινόμηση και παλινδρόμηση.

• Δυνατότητες: Δυνατότητα μάθησης πολύπλοκων σχέσεων.

• Περιορισμοί: Χρειάζεται μεγάλη ποσότητα δεδομένων και υπολογιστική ισχύ.

(2) Συνελισσόμενα Νευρωνικά Δίκτυα(Convolutional Neural Networks, CNN ή ConvNet):Ένα συνελισσόμενο νευρωνικό δίκτυο (CNN ή ConvNet) είναι μια αρχιτεκτονική δικτύου για βαθιά μάθηση που μαθαίνει απευθείας από δεδομένα. Τα CNN είναι ιδιαίτερα χρήσιμα για την εύρεση μοτίβων σε εικόνες για την αναγνώριση αντικειμένων, κλάσεων και κατηγοριών.

• Χρήση: Ανάλυση εικόνας και βίντεο.

• Δυνατότητες: Εξαιρετική απόδοση στην αναγνώριση προτύπων και αντικειμένων.

• Περιορισμοί: Υψηλό υπολογιστικό κόστος, απαιτεί μεγάλη ποσότητα δεδομένων.

(3) Περιοδικά Νευρωνικά Δίκτυα (Recurrent Neural Networks, RNN): τα δίκτυα αυτά χρησιμοποιούν διαδοχικά δεδομένα για την επίλυση κοινών χρονικών προβλημάτων που παρατηρούνται στη μετάφραση γλώσσας και την αναγνώριση ομιλίας

• Χρήση: Επεξεργασία ακολουθιών δεδομένων (π.χ., κείμενο, φωνή).

• Δυνατότητες: Διαχείριση χρονοσειρών και δεδομένων ακολουθίας (μια ακολουθία δεδομένων σε διακριτούς χρόνους για ευρετήριο).

• Περιορισμοί: Δυσκολίες στην εκπαίδευση, ειδικά σε μακρές ακολουθίες.

(4) Μετασχηματιστές (Transformers)

• Χρήση: Επεξεργασία φυσικής γλώσσας (NLP), μηχανική μετάφραση.

• Δυνατότητες: Εξαιρετική απόδοση σε προβλήματα NLP, παράλληλη επεξεργασία δεδομένων.

• Περιορισμοί: Υψηλό υπολογιστικό κόστος, ανάγκη για μεγάλη ποσότητα δεδομένων.

δ. Μοντέλα Ομαδοποίησης (Clustering)

(1) K-Means

Το K-Means Clustering είναι ένας από τους παλαιότερους και πιο συχνά χρησιμοποιούμενους τύπους αλγορίθμων ομαδοποίησης και λειτουργεί με βάση διανυσματική κβαντοποίηση (μετατροπή του αρχικού αναλογικού σήματος των δειγμάτων-αντιπροσωπευτικό τμήμα ενός πλήθους δεδομένων- σε ψηφιακή μορφή). Περιορίζουμε δηλαδή τις τιμές των δειγμάτων σε προκαθορισμένα και πεπερασμένα επίπεδα. Υπάρχει ένα σημείο στο διάστημα που επιλέγεται ως αρχή και στη συνέχεια, σχεδιάζονται διανύσματα από την αρχή αυτή προς όλα τα σημεία δεδομένων στο σύνολο δεδομένων. Τα συμπλέγματα είναι απλώς ομάδες στοιχείων και η ομαδοποίηση είναι απλώς η τοποθέτηση στοιχείων σε αυτές τις ομάδες.

• Χρήση: Ομαδοποίηση δεδομένων σε k ομάδες.

• Δυνατότητες: Απλότητα, ταχύτητα.

• Περιορισμοί: Εξάρτηση από την αρχική επιλογή των κεντρικών σημείων, δεν λειτουργεί καλά σε μη σφαιρικές ομάδες.

(2) Ιεραρχική Ομαδοποίηση (Hierarchical Clustering)

Η ιεραρχική ομαδοποίηση ξεκινάει αντιμετωπίζοντας κάθε σημείο δεδομένων ως ξεχωριστό σύμπλεγμα. Η μέθοδος αυτή προσδιορίζει τα 2 πιο κοντινά clusters μεταξύ τους και συγχωνεύει τα 2 πιο απομακρυσμένα clusters. Έπειτα συνεχίζει την διαδικασία μέχρι να συγχωνευθούν όλα τα συμπλέγματα.

• Χρήση: Δημιουργία ιεραρχικών ομάδων.

• Δυνατότητες: Οπτικοποίηση μέσω δενδρογραμμάτων, δεν χρειάζεται τον αριθμό των ομάδων εκ των προτέρων.

• Περιορισμοί: Υψηλό υπολογιστικό κόστος για μεγάλα σύνολα δεδομένων.

ε. Μοντέλα Συνόλου (Ensemble Models)

Η μοντελοποίηση συνόλου είναι η διαδικασία εκτέλεσης δύο ή περισσότερων σχετικών αλλά διαφορετικών αναλυτικών μοντέλων και στη συνέχεια σύνθεσης των αποτελεσμάτων σε μια ενιαία βαθμολογία. Αυτό βελτιώνει την ακρίβεια των εφαρμογών προγνωστικής ανάλυσης και εξόρυξης δεδομένων.

(1) Αλγόριθμος για εργασίες ταξινόμησης AdaBoost (AdaBoost)

Το AdaBoost είναι ένας ισχυρός και ευρέως χρησιμοποιούμενος αλγόριθμος μηχανικής μάθησης που έχει εφαρμοστεί με επιτυχία σε εργασίες ταξινόμησης και παλινδρόμησης σε μεγάλη ποικιλία τομέων.

• Χρήση: Ταξινόμηση και παλινδρόμηση.

• Σπουδαιότητα: Βελτιώνει την απόδοση αδύναμων ταξινομητών, ευρέως χρησιμοποιούμενο.

(2) XGBoost

Το XGBoost (eXtreme Gradient Boosting) είναι μια βιβλιοθήκη λογισμικού ανοιχτού κώδικα που παρέχει ένα πλαίσιο ενίσχυσης κλίσης για γλώσσες προγραμματισμού C++, Java, Python, R, Julia, Perl, και Scala .

• Χρήση: Ταξινόμηση και παλινδρόμηση.

• Σπουδαιότητα: Κορυφαία απόδοση σε διαγωνισμούς και εφαρμογές, γρήγορη εκπαίδευση και αποτελεσματική.

(3) Naive Bayes:

Ο ταξινομητής Naïve Bayes είναι ένας εποπτευόμενος αλγόριθμος μηχανικής μάθησης που χρησιμοποιείται για εργασίες ταξινόμησης, όπως ταξινόμηση κειμένου. Χρησιμοποιεί αρχές πιθανοτήτων για την εκτέλεση εργασιών ταξινόμησης.

• Χρήση: Ταξινόμηση-Κατηγοριοποίηση (Classification).

• Δυνατότητες: Ταχύτητα, λειτουργεί καλά με μεγάλα σύνολα δεδομένων, προϋποθέτει ανεξαρτησία λειτουργίας.

Η επιλογή του κατάλληλου μοντέλου εξαρτάται από τη φύση των δεδομένων, το πρόβλημα που πρέπει να λυθεί και τους περιορισμούς του έργου.