Πίνακας περιεχομένων:

Πώς μπορώ να ξεκινήσω τον διακομιστή Spark History;
Πώς μπορώ να ξεκινήσω τον διακομιστή Spark History;

Βίντεο: Πώς μπορώ να ξεκινήσω τον διακομιστή Spark History;

Βίντεο: Πώς μπορώ να ξεκινήσω τον διακομιστή Spark History;
Βίντεο: Πώς να ξεκινήσετε μία επιχείρηση ΧΩΡΙΣ αρχικό κεφαλαιο βήμα βήμα 2024, Νοέμβριος
Anonim

Για να ενεργοποιήσετε τον διακομιστή ιστορικού Spark:

  1. Δημιουργήστε έναν κατάλογο για αρχεία καταγραφής συμβάντων στο σύστημα αρχείων DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Όταν είναι ενεργοποιημένη η καταγραφή συμβάντων, η προεπιλεγμένη συμπεριφορά είναι να αποθηκεύονται όλα τα αρχεία καταγραφής, γεγονός που προκαλεί την αύξηση του χώρου αποθήκευσης με την πάροδο του χρόνου.

Εκτός από αυτό, πώς μπορώ να ρυθμίσω έναν διακομιστή Spark History;

Για να ενεργοποιήσετε τον διακομιστή ιστορικού Spark:

  1. Δημιουργήστε έναν κατάλογο για αρχεία καταγραφής συμβάντων στο σύστημα αρχείων DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Όταν είναι ενεργοποιημένη η καταγραφή συμβάντων, η προεπιλεγμένη συμπεριφορά είναι να αποθηκεύονται όλα τα αρχεία καταγραφής, γεγονός που προκαλεί την αύξηση του χώρου αποθήκευσης με την πάροδο του χρόνου.

Ομοίως, πώς μπορώ να βρω τη διεύθυνση URL του διακομιστή Spark History; Π.χ., για το διακομιστή ιστορίας , θα ήταν συνήθως προσβάσιμες στη διεύθυνση υπηρέτης - url >:18080/api/v1, και για μια εφαρμογή που εκτελείται, στη διεύθυνση https://localhost:4040/api/v1. Στο API, μια εφαρμογή αναφέρεται με το αναγνωριστικό εφαρμογής της, [app-id].

Ομοίως, τι είναι ο διακομιστής Spark History;

ο Spark history server είναι ένα εργαλείο παρακολούθησης που εμφανίζει πληροφορίες για ολοκληρωμένες Σπίθα εφαρμογές. Αυτή η πληροφορία είναι αντλούνται από τα δεδομένα που οι εφαρμογές εγγράφουν από προεπιλογή σε έναν κατάλογο στο Hadoop Distributed File System (HDFS).

Τι είναι το Sparkui;

Το Spark Web UI σάς δίνει τη δυνατότητα να δείτε μια λίστα με τα στάδια και τις εργασίες του προγραμματιστή, περιβαλλοντικές πληροφορίες, πληροφορίες σχετικά με τους εκτελεστές που εκτελούνται και πολλά άλλα. Παρακολουθήστε αυτήν την επίδειξη διάρκειας 30 λεπτών για να μάθετε σχετικά με: Στοιχεία και κύκλος ζωής ενός προγράμματος Spark. Πώς εκτελείται η εφαρμογή Spark σε ένα σύμπλεγμα Hadoop.

Συνιστάται: