Πού μπορώ να βρω κορμούς σπινθήρων;

2024 Συγγραφέας: Lynn Donovan | [email protected]. Τελευταία τροποποίηση: 2023-12-15 23:45

Κούτσουρο καταλόγους

Η προεπιλεγμένη τοποθεσία SPARK_WORKER_LOG_DIR είναι /var/ κούτσουρο / σπίθα /εργάτης. Η προεπιλεγμένη κούτσουρο κατάλογο για την εκκίνηση του Σπίθα Ο διακομιστής SQL Thrift είναι $HOME/ σπίθα -Trift-server. Σπίθα Κέλυφος και εφαρμογή κούτσουρα εξάγονται στην κονσόλα. Κούτσουρο Τα αρχεία ρυθμίσεων βρίσκονται στον ίδιο κατάλογο με σπίθα -env.sh.

Σε σχέση με αυτό, πώς μπορώ να λάβω κορμούς σπινθήρων;

Σπίθα εργασία ή εφαρμογή από τη σελίδα Ανάλυση, μπορείτε να αποκτήσετε πρόσβαση στο κούτσουρα μέσω της διεπαφής χρήστη της εφαρμογής και Σπίθα UI εφαρμογής. σελίδα, μπορείτε να αποκτήσετε πρόσβαση στο κούτσουρα μέσω του Σπίθα UI εφαρμογής. Μπορείτε επίσης να συμπληρώσετε κούτσουρα για να εντοπίσετε τα λάθη και τις εξαιρέσεις σε Σπίθα αποτυχίες εργασίας ή εφαρμογής.

Ομοίως, πώς ελέγχετε τα κούτσουρα των νημάτων; Προβολή α κούτσουρο αρχείο The κούτσουρα μιας κύριας εφαρμογής μπορεί επίσης να προβληθεί σε ένα πρόγραμμα περιήγησης στη διεπαφή χρήστη της διαχείρισης πόρων στο νήμα .resourcemanager.webapp.address}/cluster (https://localhost:8088 σε έναν μόνο κόμβο "cluster").

Παρομοίως, κάποιος μπορεί να ρωτήσει, πώς μπορώ να λάβω αρχεία καταγραφής εκτελεστών στο Spark;

Απάντηση

1. Οδηγίες για τη λήψη των αρχείων καταγραφής του εκτελεστή Spark:
2. Για το Amabari -- 1) Μεταβείτε στην υπηρεσία Spark και στην καρτέλα Configs: 2) Βρείτε την καταχώρηση "Advanced spark-log4j-properties".
3. Για το Cloudera -- Σετ: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Πώς μπορώ να βρω τη διεύθυνση URL του διακομιστή Spark History;

Π.χ., για το διακομιστή ιστορίας , θα ήταν συνήθως προσβάσιμες στη διεύθυνση υπηρέτης - url >:18080/api/v1, και για μια εφαρμογή που εκτελείται, στη διεύθυνση https://localhost:4040/api/v1. Στο API, μια εφαρμογή αναφέρεται με το αναγνωριστικό εφαρμογής της, [app-id].