ΕΡΓΑΣΙΑ 07: Θεώνη Πετράτου

ΕΜΠ ΔΠΜΣ

Εφαρμοσμένες Μαθηματικές Επιστήμες

Αλγόριθμοι Εξόρυξης Πληροφορίας

Διάλεξη 07:

Αλγόριθμοι Εκμάθησης

Συναρτήσεις και μεταμαθησιακοί αλγόριθμοι

Γραμμικά Μοντέλα

  • Λειτουργούν εκ φύσεως με αριθμητικά χαρακτηριστικά
  • Τυπική τεχνική αριθμητικής πρόβλεψης: γραμμική παλινδρόμηση. Το αποτέλεσμα είναι γραμμικώς συνδιασμός των χαρακτηριστικών
  • Οποιαδήποτε τεχνική παλινδρόμησης μπορεί να χρησιμοποιηθεί, εκτός της αριθμητικής πρόβλεψης, για ταξινόμηση (classification)
  • Το πρόβλημα που δημιουργείται είναι η παραβίαση κάποιων υποθέσεων κατα την υιοθέτηση γραμμικής παλινδρόμησης σε προβλήματα ταξινόμησης
  • Γενικά τα γραμμικά μοντέλα είανι ακατάλληλα στην περίπτωση που τα δεδομένα παρουσιάζουν μη γραμμικές εξαρτήσεις
  • Ωστόσο μπορουν να αποτελέσουν πρώτη ύλη για την κατασκευή περισσότερο πολύπλοκων σχημάτων (π.χ. model trees). Μια εναλλακτική προσέγγιση είναι η εκμάθηση υπερεπιπέδου (perceptron) που διαχωρίζει τα υποδείγματα διαφορετικών τάξεων.

Μηχανές Διανυσμάτων Υποστήριξης

  • Οι μηχανές διανυσμάτων υποστήριξης αποτελούν αλγορίθμους που επιτυγχάνουν εκμάθηση γραμμικών ταξινομητών
  • Έχουν χαμηλό υπολογιστικό κόστος ακόμη και στην περίπτωση μη γραμμικότητας
  • Οι αλγόριθμοι μηχανών διανυσμάτων υποστήριξης επιταχύνονται στην περίπτωση που τα δεδομένα είναι αραιά (sparse, δηλαδή πολλές τιμές είναι μηδενικές) και αυτό γιατί υπολογίζονται πολλά διανυσματικά γινόμενα

Νευρωνικά Δίκτυα

  • Σύνδεση πολλών απλών όμοιων προς το perceptron μοντέλο σε μία ιεραρχική δομή: νευρωνικά δίκτυα (neural networks)
  • Είναι ικανά να απεικονίσουν μη γραμμικά όρια αποφάσεων
  • Ένα perceptron περιγράφεται συχνά ως ένας τεχνικός νευρώνας
  • Η ακόλουθη παρατήρηση ενέπνευσε τη δημιουργεία τεχνιτών νευρώνων: οι νευρώνες του ανθρωπίνου εγκεφάλου διασυνδέονται σε μαζική κλίμακα, επιτρέποντας την αποσύνθεση ενός προβλήματος σε υποπροβλήμτα που μπορούν να επιλυθούν σε επίπεδο νευρώνα.

Μετα-μαθησιακά Σχήματα

  • Θεμελιώδης ιδέα: κατασκευή πολλών “εμπειρογνωμόνων”, ανάδειξη της πλειοψηφούσας γνώμης. Εμπειρογνώμονας είναι ένα μοντέλο που δημιουργήθηκε με τεχνικές μηχανικής μάθησης
  • Πλεονέκτημα: συχνά βελτιώνει σημαντικά την προβλεπτική ικανότητα
  • Μειονέκτημα: τα εξαγόμενα είναι πολύ δύσκολο να αναλυθούν
  • Σχήματα (εφαρμόζονται τόσο για ταξινόμηση όσο και για αριθμητική πρόβλεψη):
  1. Εμφωλίαση (bagging)
  2. Ενδυνάμωση (boosting)
  3. Συσσώρευση (stacking)
  4. Κώδικες διόρθωσης σφαλμάτων εξόδου (error-correcting output codes)

 

 

 

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s