Data Mining, a Course by Blog

Το dataset που εξετάζουμε είναι το soybean.arff. Παρατηρούμε ότι όλα τα attributes είναι της μορφής nominal.

Σκοπός μας είναι να μετασχηματίσουμε τα attributes  της μορφής nominal σε attributes της μορφής numeric. Η διαδικασία που ακολουθούμε είναι η εξής:

Filter – Choose – filters – unsupervised – attributes – NominalToBinary – Apply

Έτσι λοιπόν παίρνουμε τα ακόλουθα: 

Η προεπεξεργασία και η επιλογή δεδομένων είναι πολύ χρήσιμη όταν έχουμε μια μεγάλη βάση δεδομένων, από την οποία θέλουμε να αντλήσουμε πληροφορίες για την επίλυση ενός προβλήματος. Για το σκοπό αυτό υπάρχουν πολλοί τρόποι που μας βοηθούν να μειώσουμε τον αριθμό των attributes ώστε η επεξεργασία των δεδομένων μας να είναι πιο εύκολη. Ορισμένοι από αυτούς τους τρόπους είναι οι ακόλουθοι:

• Με τη βοήθεια της εντολής visualize all θα μας εμφανιστούν τα ιστογράμματα όλων των μεταβλητών και μπορούμε οπτικά να αποκλείσουμε κάποιες μεταβλητές. Για παράδειγμα, στο training set βλέπουμε ότι το attribute 38 μπορεί να εξαιρεθεί.
• Πριν ξεκινήσουμε την ανάλυση είναι χρήσιμο να ελέγχουμε αν υπάρχουν missing values στο dataset μας. Το weka   μας παρέχει την δυνατότητα να αντικαταστήσουμε τις ελλειπούσες τιμές  με την εντολή replace missing values. Στο training set που έχουμε για ανάλυση δεν υπάρχουν missing values.
• Στη συνέχεια μπορούμε να δούμε τις συχνότητες όλων των attributes και να αφαιρέσουμε αυτά που η συχνότητα τους είναι χαμηλή.
• Επίσης σε ορισμένες περιπτώσεις είναι χρήσιμο  να μετατρέψουμε ορισμένες μεταβλητές από numeric σε nominal ώστε να είναι εφικτή η ανάλυση των δεδομένων.
• Το weka διαθέτει πολλά φίλτρα που επιλέγουν αυτόματα τις μεταβλητές, αλλά επειδή υπάρχει ο κίνδυνος να εξαιρεθεί κάποια μεταβλητή που να είναι χρήσιμη θα πρέπει να εφαρμοσθούν πολλά φίλτρα για να καταλήξουμε σε μια απόφαση.

1ο μέρος

2ο μέρος

1. Στην Ελληνική Εταιρεία Τραύματος & Επείγουσας Χειρουργικής έχει δημιουργηθεί μια βάση δεδομένων, στην οποία καταγράφονται όλες οι πληροφορίες που αφορούν ασθενείς οι οποίοι έχουν νοσηλευτεί σε υγειονομικούς σχηματισμούς εξαιτίας τροχαίων ατυχημάτων, αθλητικών ατυχημάτων, πτώσεων κ.α. Η δομή της βάσης δεδομένων είναι τέτοια ώστε τα ιατρικά δεδομένα που συλλέγονται απο το τόπο του ατυχήματος, απο την άφιξη ενός τραυματία στο τμήμα επειγόντων περιστατικών (ΤΕΠ), από τη διάρκεια παραμονής του στο ΤΕΠ καθώς και από την ενδονοσοκομειακή του περίθαλψη να ομαδοποιούνται σε πίνακες έτσι ώστε να διευκολύνονται σημαντικά τόσο η καταχώρηση όσο και η ανεύρεση τους. Σκοπός της Ελληνικής Εταιρείας Τραύματος & Επείγουσας Χειρουργικής είναι να καταγράψει όλους τους παράγοντες που επηρεάζουν την θνητότητα των ατόμων από τραύμα και να βρούν το βέλτιστο μοντέλο που θα περιέχει μόνο τους σημαντικούς παράγοντες με στόχο τη μείωση του ποσοστού θνητότητας.
2. Μια εταιρεία που κατασκευάζει κινητά τηλέφωνα, καταγράφει σε βάση δεδομένων τις απαιτήσεις ενός μέρους του αγοραστικού κοινού ηλικίας 16-60 ετών. Σκοπός της εταιρείας είναι η κατασκευή νέων μοντέλων κινητής τηλεφωνείας που να ικανοποιούν αυτές τις απαιτήσεις με στόχο την αύξηση των πωλήσεων των προιόντων της.

ΣΠΟΥΔΕΣ: