Το s3 βασίζεται σε HDFS;
Το s3 βασίζεται σε HDFS;

Βίντεο: Το s3 βασίζεται σε HDFS;

Βίντεο: Το s3 βασίζεται σε HDFS;
Βίντεο: Введение в веб-сервисы Amazon, Лев Жадановский 2024, Απρίλιος
Anonim

S3 είναι στην πραγματικότητα ένας άπειρος χώρος αποθήκευσης στο σύννεφο αλλά HDFS δεν είναι. HDFS φιλοξενείται σε φυσικές μηχανές, ώστε να μπορείτε να εκτελέσετε οποιοδήποτε πρόγραμμα εκεί. Δεν μπορείτε να εκτελέσετε τίποτα S3 καθώς είναι απλώς το Object Store και όχι το FS.

Τότε, είναι το s3 ένα κατανεμημένο σύστημα αρχείων;

S3 δεν είναι α κατανεμημένο σύστημα αρχείων . Είναι ένα δυαδικό κατάστημα αντικειμένων που αποθηκεύει δεδομένα σε ζεύγη κλειδιών-τιμών. Είναι ουσιαστικά ένας τύπος βάσης δεδομένων NoSQL. Κάθε κάδος είναι μια νέα «βάση δεδομένων», με τα κλειδιά να είναι η «διαδρομή φακέλου» και οι τιμές τα δυαδικά αντικείμενα ( αρχεία ).

Μπορεί επίσης να ρωτήσει κανείς, το AWS βασίζεται στο Hadoop; Hadoop είναι ένα πλαίσιο που βοηθά στην επεξεργασία μεγάλων συνόλων δεδομένων σε πολλούς υπολογιστές. Περιλαμβάνει Map/Reduce (παράλληλη επεξεργασία) και HDFS (κατανεμημένο σύστημα αρχείων). AWS είναι μια αποθήκη δεδομένων χτισμένο πάνω από μια ιδιόκτητη τεχνολογία που αναπτύχθηκε αρχικά από την ParAccel.

Εκτός από αυτό, πώς μπορώ να μεταφέρω αρχεία από το s3 στο HDFS;

Απάντηση. Δεν υπάρχει άμεση τρόπος αντιγραφής αρχείων από S3 σε HDFS χωρίς να περάσει από τοπικό αρχεία . Ωστόσο, μπορείτε να χρησιμοποιήσετε το στοιχείο tSystem σε μια τυπική εργασία για να καλέσετε την εγγενή Hadoop εντολή που χρησιμοποιείτε συνήθως αντιγραφή αρχείων , για παράδειγμα, s3 -dist-cp.

Τι είναι η βάση δεδομένων s3;

Αμαζόνα S3 ή Amazon Simple Storage Service είναι μια υπηρεσία που προσφέρεται από την Amazon Web Services (AWS) που παρέχει αποθήκευση αντικειμένων μέσω μιας διεπαφής υπηρεσίας web. Αμαζόνα S3 χρησιμοποιεί την ίδια επεκτάσιμη υποδομή αποθήκευσης που χρησιμοποιεί η Amazon.com για τη λειτουργία του παγκόσμιου δικτύου ηλεκτρονικού εμπορίου της.

Συνιστάται: