Τι είναι το κέρδος πληροφοριών εντροπίας;
Τι είναι το κέρδος πληροφοριών εντροπίας;

Βίντεο: Τι είναι το κέρδος πληροφοριών εντροπίας;

Βίντεο: Τι είναι το κέρδος πληροφοριών εντροπίας;
Βίντεο: Claude Shannon: Πώς η πληροφορία έγινε μέγεθος 2024, Δεκέμβριος
Anonim

Κέρδος πληροφοριών = πόσο Εντροπία αφαιρέσαμε, λοιπόν

Αυτό έχει νόημα: υψηλότερο Κέρδος πληροφοριών = περισσότερο Εντροπία αφαιρέθηκε, που είναι αυτό που θέλουμε. Στην τέλεια περίπτωση, κάθε κλάδος θα περιέχει μόνο ένα χρώμα μετά τη διαίρεση, το οποίο θα ήταν μηδέν εντροπία !

Επιπλέον, τι είναι το κέρδος πληροφοριών και η εντροπία στο δέντρο αποφάσεων;

Κέρδος πληροφοριών : Ο κέρδος πληροφοριών βασίζεται στη μείωση του εντροπία αφού ένα σύνολο δεδομένων χωριστεί σε ένα χαρακτηριστικό. Κατασκευάζοντας α δέντρο απόφασης έχει να κάνει με την εύρεση χαρακτηριστικού που επιστρέφει το υψηλότερο κέρδος πληροφοριών (δηλαδή οι πιο ομοιογενείς κλάδοι). Βήμα 1: Υπολογίστε εντροπία του στόχου.

Ομοίως, τι είναι η εντροπία στα δεδομένα; Πληροφορίες εντροπία είναι ο μέσος ρυθμός με τον οποίο παράγονται πληροφορίες από μια στοχαστική πηγή δεδομένα . Το μέτρο της πληροφορίας εντροπία συνδέονται με κάθε δυνατό δεδομένα τιμή είναι ο αρνητικός λογάριθμος της συνάρτησης μάζας πιθανότητας για την τιμή: όπου είναι η προσδοκία που ορίζεται από την πιθανότητα.

Από αυτή την άποψη, τι σημαίνει κέρδος πληροφοριών;

Κέρδος πληροφοριών υπολογίζει τη μείωση της εντροπίας ή της έκπληξης από τον μετασχηματισμό ενός συνόλου δεδομένων με κάποιο τρόπο. Κέρδος πληροφοριών είναι η μείωση της εντροπίας ή της έκπληξης μετασχηματίζοντας ένα σύνολο δεδομένων και χρησιμοποιείται συχνά σε δέντρα αποφάσεων εκπαίδευσης.

Ποιος είναι ο ορισμός της εντροπίας στο δέντρο αποφάσεων;

Ορισμός : Εντροπία είναι τα μέτρα της ακαθαρσίας, της αταξίας ή της αβεβαιότητας σε ένα σωρό παραδείγματα.

Συνιστάται: