Θυμάστε πριν από πολύ καιρό όταν εισαγάγαμε μια δυνατότητα στην προσθήκη Big Data Tools που ονομάζεται ZTools που σας επιτρέπει να βλέπετε την τρέχουσα κατάσταση των μεταβλητών σε ένα σημειωματάριο Zeppelin; Θυμάστε ότι κάναμε σημαντικές αλλαγές στην εφαρμογή του ZTools σχεδόν πριν από ένα χρόνο;

Είναι παράδοση μας να κάνουμε μεγάλες ανακοινώσεις για αυτό το μέρος του Big Data Tools κάθε χρόνο και σήμερα ανακοινώνουμε πολλές συναρπαστικές αλλαγές. Εάν προτιμάτε να τα ελέγξετε μόνοι σας, εδώ είναι ο σύνδεσμος για την προσθήκη:

Νέο όνομα

Το πιο σημαντικό, αυτή η δυνατότητα ονομάζεται πλέον "State Viewer". Αποφασίσαμε να αλλάξουμε το όνομα επειδή το State Viewer μπορεί να εφαρμόσει μεταβλητή προβολή και για άλλα σημειωματάρια, όχι μόνο για το Zeppelin. Εξετάζονταν μερικά άλλα ονόματα και η επιλογή δεν ήταν εύκολη.

Εδώ είναι πώς φαίνεται:

Στην ίδια εικόνα, μπορείτε να δείτε ότι το State Viewer είναι πλέον ενεργοποιημένο από προεπιλογή!

Χοντρός διακομιστής σε χοντρό πελάτη

Η πρώτη σημαντική αλλαγή που κάναμε ήταν η μετάβαση από ένα μοντέλο "thin client" σε ένα "thin server". Αυτό σημαίνει ότι το IDE δεν χρειάζεται να εγκαταστήσει τίποτα στον διερμηνέα του Zeppelin. Με τη σειρά του, αυτό είναι ευεργετικό όταν δεν ελέγχετε πλήρως την παρουσία του Zeppelin.

Πώς λειτουργεί; Λοιπόν, αυτές οι αλλαγές είναι εξελικτικές και όχι εξελικτικές. Προηγουμένως, το State Viewer χρησιμοποιούσε την εκτέλεση κελιών παρασκηνίου μόνο για να καλέσει μια μέθοδο από μια βιβλιοθήκη που εγκαταστήσαμε στον διερμηνέα Zeppelin. Τώρα το πρόσθετο λειτουργεί διαφορετικά, εκτελώντας τη λογική συλλογής δεδομένων από το Zeppelin και στέλνοντάς τα στο παράθυρο State Viewer.

Ο κωδικός του κρυμμένου (εξαφανιζόμενου) κελιού είναι επίσης αρκετά εντυπωσιακός. Ξεκινά ως εξής:

Μην δέχεστε τα λόγια μας - ελέγξτε μόνοι σας τον κωδικό! Για να το κάνετε αυτό, ενεργοποιήστε τη "Λειτουργία εντοπισμού σφαλμάτων" στις ρυθμίσεις:

Αυτό μας οδηγεί στην ακόλουθη σημαντική αλλαγή: οι ρυθμίσεις προβολής κατάστασης έχουν ανανεωθεί.

Κατάσταση ρυθμίσεων προβολής

Η πλήρως διευρυμένη προβολή των ρυθμίσεων του State Viewer μοιάζει με αυτό:

Είναι απολύτως τεράστιο, σωστά;

Όπως μπορούμε να δούμε στο προηγούμενο στιγμιότυπο οθόνης, αποτελείται από 3 κύρια μέρη:

1. Κοινές ρυθμίσεις διερμηνέα

2. Μεταβλητές ρυθμίσεις Introspector

3. Ρυθμίσεις SQL Introspector

Ας ελπίσουμε ότι το όνομα "Common Interpreter Settings" είναι αυτονόητο. Μπορείτε να ενεργοποιήσετε ή να απενεργοποιήσετε τη συλλογή πληροφοριών σχετικά με τις μεταβλητές από το Spark SQL και σας επιτρέπει να ενεργοποιήσετε τη λειτουργία εντοπισμού σφαλμάτων. Ομολογουμένως αυτό είναι πιο χρήσιμο για εμάς, τους προγραμματιστές προσθηκών, αλλά μπορείτε να το χρησιμοποιήσετε για να κατανοήσετε βαθύτερα τις εσωτερικές λειτουργίες του πρόσθετου. Ρυθμίσεις μεταβλητού Introspector

Η πολύτιμη ανατροφοδότηση από τους πελάτες μας μάς έδωσε να κατανοήσουμε τις συναρπαστικές γωνιακές περιπτώσεις κατά την ενδοσκόπηση μεταβλητών. Το Variable Introspector Settings αντιμετωπίζει όλα τα πιθανά προβλήματα που ενδέχεται να αντιμετωπίσετε. Χρειάζεστε ενδοσκόπηση μεγαλύτερων κειμένων; Αυξήστε το όριο του μεγέθους συμβολοσειράς. Τώρα χρειάζεται περισσότερος χρόνος για να τα εξαγάγετε όλα; Αυξήστε το τάιμ άουτ περιμένοντας να απαντήσει ο Zeppelin. Πρέπει να εργαστείτε με βαθιά ένθετες δομές; Μπορείτε να ρυθμίσετε το μέγιστο βάθος εκσκαφής.

Ρυθμίσεις SQL Introspector

Δεν είχαμε καν συνειδητοποιήσει πόσο χρήσιμο θα ήταν το SQL Introspector για ορισμένους από τους πελάτες μας! Χρειαζόταν να ανακαλύψουμε πόσο πολύπλοκα μπορεί να είναι τα σενάρια χρήσης σε πολλά σχήματα και πίνακες, κάτι που μας οδήγησε στην επόμενη συναρπαστική λύση:

Ανάλογα με το μέγεθος της βάσης δεδομένων Spark, μπορείτε να χρησιμοποιήσετε διαφορετικές στρατηγικές όταν χρειάζεται να κάνετε αλλαγές από τη βάση δεδομένων Spark. Μερικές φορές οι βάσεις δεδομένων είναι τόσο εκτεταμένες που αποφασίζουμε να μην πραγματοποιήσουμε καθόλου αλλαγές αυτόματα.

Όλες αυτές οι αλλαγές μας οδήγησαν να ενεργοποιήσουμε τα Big Data Tools από προεπιλογή σε αυτήν την έκδοση.

Μάθαμε επίσης ότι όταν οι πελάτες μας εργάζονται με το Spark, εργάζονται με περισσότερα από τον προεπιλεγμένο κατάλογο. Μερικές φορές, ο "προεπιλεγμένος" κατάλογος είναι απολύτως τεράστιος και πρέπει να φιλτράρουν τα δεδομένα από αυτόν με κάποιο τρόπο. Γι' αυτό εισαγάγαμε το ακόλουθο φίλτρο στο SQL Introspector:

Εδώ μπορείτε να φιλτράρετε και να προσθέσετε περισσότερους καταλόγους για να αναζητήσετε δεδομένα για αυτόματη συμπλήρωση, καθώς και να περιορίσετε το υποσύνολο των ερωτηθέντων πινάκων μέσα σε έναν κατάλογο.

Εάν χρησιμοποιείτε το AWS Glue ή το Hive Metastore, μπορεί επίσης να βρείτε αυτό το πλαίσιο ελέγχου χρήσιμο:

Η κόλλα της εταιρείας σας είναι πιθανό να είναι απίστευτα μεγάλη και χρειάζεστε μόνο τα δεδομένα που βάλατε εκεί κατά τη διάρκεια της συνεδρίας σας.

Το State Viewer είναι πλέον ενεργοποιημένο από προεπιλογή

Έχουμε εισαγάγει πολλές βελτιώσεις από την τελευταία μας ανάρτηση ιστολογίου σε αυτήν τη δυνατότητα. Είμαστε πολύ ευγνώμονες στους πελάτες μας για τη συνεχή υποστήριξή τους και τα συνεχή σχόλιά τους – ήταν δυνατή η εφαρμογή πολλών αλλαγών εξαιτίας τους! Είμαστε πλέον βέβαιοι ότι το Big Data Tools είναι αρκετά σταθερό και ευέλικτο ώστε το ευρύ κοινό μας να μπορεί να το χρησιμοποιεί συνεχώς για τους εξής λόγους:

1. Δεν απαιτεί πλέον αλλαγές στο Zeppelin.

2. Σας επιτρέπει να προσαρμόσετε με ακρίβεια τη μεταβλητή ενδοσκόπηση στην περίπτωση χρήσης σας.

3. Σας επιτρέπει να συντονίζετε την ενδοσκόπηση SQL σύμφωνα με το πλαίσιο και την πολυπλοκότητα των εργασιών σας.

4. Η μηχανική των κρυφών κελιών έχει βελτιωθεί.

5. Έχουμε μια μέθοδο για τους χρήστες μας να ελέγχουν και να κατανοούν σε βάθος τη λειτουργικότητα της προσθήκης. κάναμε ένα επιπλέον βήμα για να επιτρέψουμε στους πελάτες μας να "ελέγξουν σε εμάς" και να βεβαιωθούν ότι κάνουμε μόνο αυτό που λέμε ότι κάνουμε και όχι περισσότερο.

Εάν ενδιαφέρεστε να δοκιμάσετε τα Big Data Tools, μπορείτε εύκολα να βρείτε την προσθήκη εδώ .