Βίντεο: Τι είναι μείωση με κλειδί;
2024 Συγγραφέας: Lynn Donovan | [email protected]. Τελευταία τροποποίηση: 2023-12-15 23:45
Η συνάρτηση Spark RDD reduceByKey συγχωνεύει τις τιμές για καθεμία κλειδί χρησιμοποιώντας έναν συνειρμικό περιορίζω λειτουργία. Αυτό σημαίνει διαισθητικά ότι αυτή η συνάρτηση παράγει το ίδιο αποτέλεσμα όταν εφαρμόζεται επαναλαμβανόμενα στο ίδιο σύνολο δεδομένων RDD με πολλαπλές κατατμήσεις ανεξάρτητα από τη σειρά των στοιχείων.
Τότε, ποια είναι η διαφορά μεταξύ του groupByKey και του reduceByKey;
groupByKey () είναι απλώς για να ομαδοποιήσετε το σύνολο δεδομένων σας με βάση ένα κλειδί. reduceByKey () είναι κάτι σαν ομαδοποίηση + συνάθροιση. reduceByKey μπορεί να χρησιμοποιηθεί όταν τρέχουμε σε μεγάλο σύνολο δεδομένων. Η aggregateByKey() είναι λογικά ίδια με reduceByKey () αλλά σας επιτρέπει να επιστρέψετε το αποτέλεσμα διαφορετικός τύπος.
Γνωρίστε επίσης, γιατί η μείωση είναι η δράση σε σπινθήρα; Μείωση σπινθήρα λειτουργία είναι μια δράση είδος λειτουργίας και ενεργοποιεί μια πλήρη εκτέλεση DAG για όλες τις παραταγμένες τεμπέλικες οδηγίες. Σπίθα RDD περιορίζω Η συνάρτηση μειώνει τα στοιχεία αυτού του RDD χρησιμοποιώντας τον καθορισμένο δυαδικό τελεστή αντικατάστασης και συσχέτισης. Μείωση σπινθήρα η λειτουργία είναι σχεδόν παρόμοια με περιορίζω μέθοδος στη Scala.
Εκτός από το παραπάνω, τι είναι το Pairrdd;
Το Spark παρέχει ειδικές λειτουργίες σε RDD που περιέχουν ζεύγη κλειδιών/τιμών. Αυτά τα RDD ονομάζονται ζεύγη RDD. Τα ζεύγη RDD είναι ένα χρήσιμο δομικό στοιχείο σε πολλά προγράμματα, καθώς εκθέτουν λειτουργίες που σας επιτρέπουν να ενεργείτε σε κάθε κλειδί παράλληλα ή να ομαδοποιείτε ξανά δεδομένα σε όλο το δίκτυο. PairRDDs είναι ζεύγη KEY/VALUE.
Είναι το reduceByKey μια ενέργεια;
Το reduce() εξάγει μια συλλογή που δεν προσθέτει στο κατευθυνόμενο άκυκλο γράφημα (DAG), επομένως υλοποιείται ως δράση . Ωστόσο, reduceByKey () επιστρέφει ένα RDD που είναι απλώς ένα άλλο επίπεδο/κατάσταση στο DAG, επομένως είναι ένας μετασχηματισμός.
Συνιστάται:
Τι είναι το ιδιωτικό κλειδί και το δημόσιο κλειδί στο Blockchain;
Όταν κάποιος σας στέλνει κρυπτονομίσματα μέσω του Blockchain, στην πραγματικότητα τα στέλνει σε μια κατακερματισμένη έκδοση αυτού που είναι γνωστό ως «Δημόσιο Κλειδί». Υπάρχει ένα άλλο κλειδί που είναι κρυμμένο από αυτούς, το οποίο είναι γνωστό ως "Ιδιωτικό κλειδί". Αυτό το ιδιωτικό κλειδί χρησιμοποιείται για την παραγωγή του δημόσιου κλειδιού
Μπορεί ένα πρωτεύον κλειδί να είναι και ξένο κλειδί;
Τα κύρια κλειδιά πρέπει πάντα να είναι μοναδικά, τα ξένα κλειδιά πρέπει να επιτρέπουν μη μοναδικές τιμές, εάν ο πίνακας είναι μια σχέση ένα προς πολλά. Είναι πολύ καλό να χρησιμοποιείτε ένα ξένο κλειδί ως πρωτεύον κλειδί εάν ο πίνακας συνδέεται με μια σχέση ένα προς ένα και όχι με μια σχέση ένα προς πολλά
Τι είναι η μείωση χαρακτηριστικών στη μηχανική εκμάθηση;
Ο σκοπός της χρήσης της μείωσης χαρακτηριστικών είναι να μειωθεί ο αριθμός των δυνατοτήτων (ή μεταβλητών) που πρέπει να επεξεργαστεί ο υπολογιστής για να εκτελέσει τη λειτουργία του. Η μείωση χαρακτηριστικών χρησιμοποιείται για τη μείωση του αριθμού των διαστάσεων, καθιστώντας τα δεδομένα λιγότερο αραιά και πιο στατιστικά σημαντικά για εφαρμογές μηχανικής εκμάθησης
Τι είναι το δευτερεύον κλειδί πρωτεύοντος και το ξένο κλειδί;
Ξένο κλειδί: Είναι το Πρωτεύον κλειδί ένας πίνακας που εμφανίζεται (διασταυρούμενη αναφορά) σε έναν άλλο πίνακα. Δευτερεύον (ή εναλλακτικό) κλειδί: Είναι οποιοδήποτε πεδίο στον πίνακα που δεν έχει επιλεγεί ως οποιοσδήποτε από τους δύο παραπάνω τύπους
Τι είναι η παθητική μείωση θορύβου;
Η παθητική ακύρωση θορύβου είναι ο θόρυβος που αποκλείουν τα ακουστικά με βάση τη φυσική σχεδίαση των ακουστικών. Με βάση το σχήμα των ακουστικών των ακουστικών και τον τρόπο που εφαρμόζουν πάνω από το κεφάλι καθορίζει σε μεγάλο βαθμό πόσο θόρυβο μπορούν να αποκλείσουν τα ακουστικά. Έτσι, επιτρέπουν τη μέγιστη μείωση του εξωτερικού θορύβου