Τι είναι τα μεγάλα δεδομένα;

Πως να

ΜεRyan Dube

Τελευταία ενημέρωση στις26 Μαρτίου 2020

Καθ 'όλη τη διάρκεια των ετών, πολλές λέξεις-κλειδιά γίνονται μοντέρνες σε πολλές βιομηχανίες. Υπάρχουν λίγοι που έχουν γίνει τόσο δημοφιλείς και για τόσο πολύ καιρό, όσο μεγάλα δεδομένα. Αλλά τι είναι τα μεγάλα δεδομένα;

Τα μεγάλα δεδομένα αφορούν έναν εικονικό ωκεανό πληροφοριών από διάφορες πηγές, που αναλύονται και φιλτράρονται με τέτοιο τρόπο ώστε να αναπτύσσονται ουσιαστικά αποτελέσματα και αποτελέσματα.

Η διαδικασία μετατροπής των "μεγάλων δεδομένων" σε σημαντικά αποτελέσματα μπορεί να φαίνεται περίπλοκη και δύσκολη. Ωστόσο, μόλις καταλάβετε ποια είναι τα μεγάλα δεδομένα και πώς λειτουργεί, η κατανόηση του τρόπου με τον οποίο μπορεί να γίνει νόημα δεν φαίνεται τόσο περίπλοκη.

Τι είναι τα μεγάλα δεδομένα;

Όταν ακούτε τους ανθρώπους να μιλάνε για "μεγάλα δεδομένα", είναι συνήθως με πολλά χέρια και μεγάλα λόγια. Αλλά όταν βράζετε όλη την υπερβολή, τα πραγματικά "δεδομένα" είναι στην πραγματικότητα πολλές πολλαπλές ροές εισόδου δεδομένων.

Για να κατανοήσουμε αυτό, ένα παράδειγμα μπορεί να βοηθήσει. Ας πούμε ότι τρέχετε μια εταιρεία κατασκευής ομπρελών. Το τμήμα μάρκετίνγκ σας αναζητά έναν τρόπο να προβλέψετε καλύτερα πότε η ζήτηση της αγοράς πρόκειται να ωθήσει.

Πριν από τις ημέρες των μεγάλων δεδομένων, οι έμποροι θα μελετήσουν τις τάσεις της αγοράς, θα στείλουν έρευνες πελατών και πολλές άλλες δραστηριότητες.

Θα συλλέγουν όλα αυτά τα δεδομένα και θα τα αποθηκεύουν στις εσωτερικές βάσεις δεδομένων της δικής τους εταιρείας. Κάποιος μπορεί να είναι υπεύθυνος για την ενημέρωση των δεδομένων της έρευνας μάρκετινγκ σε ετήσια ή τριμηνιαία βάση.

Ωστόσο, η έλευση μεγάλων δεδομένων διευρύνει την ικανότητα διεξαγωγής αυτού του είδους έρευνας. Ειδικότερα, τα μεγάλα δεδομένα είναι ιδιαίτερα αποτελεσματικά στον εντοπισμό σημαντικών τάσεων ή γεγονότων σε σχεδόν πραγματικό χρόνο.

Οι εισροές δεδομένων για αυτό το είδος της ανάλυσης "μεγάλων δεδομένων" ενδέχεται να περιλαμβάνουν ροές δεδομένων σε πραγματικό χρόνο, γράφοντας κώδικα που συνδέεται με το Διεπαφή προγραμματισμού εφαρμογών (API) από πολλές διαφορετικές εταιρείες που έχουν κάνει τα δεδομένα αυτά δημόσια:

• Twitter και Facebook: Προσδιορίστε πότε και γιατί οι άνθρωποι συζητούν την αγορά ομπρέλες.
• Καιρός: Προσδιορίζοντας καιρικές συνθήκες ή προβλέψεις που θα μπορούσαν να μετατραπούν σε υψηλότερες πωλήσεις ομπρέλας.
• Χρηματιστήριο: Εποχιακές μεταβολές στο κόστος των πρώτων υλών για την παραγωγή ομπρελών.
• Χρήση διαδικτυακού πελάτη: Χρήση πληροφοριών από το μπισκότα ηλεκτρονικών υπολογιστών των ατόμων που επισκέπτονται τον κατάλογο της εταιρείας για να κατανοήσουν τις συμπεριφορές αγορών.
• Ιστορικό αγοράς πελατών: Παρακολούθηση της γεωγραφίας και των εποχών των σημείων πώλησης από τους λιανοπωλητές.

Για να χρησιμοποιήσει μεγάλα δεδομένα, η ομάδα μάρκετινγκ της εταιρείας αυτής θα πρέπει, σε ορισμένες περιπτώσεις, να εγκαταστήσει νέες τεχνολογίες.

Μεγάλα δεδομένα και το Διαδίκτυο

Αυτό μπορεί να περιλαμβάνει την τεχνολογία Internet of Things (IoT) στους εμπόρους λιανικής πώλησης που παρακολουθεί και αναφέρει τις καταναλωτικές συμπεριφορές. Ή θα μπορούσε να έχει προγραμματιστής να γράψει τον κώδικα που απαιτείται για να συνδεθεί με το API του Twitter για να φιλτράρει τυχόν Tweets που αναφέρουν "ομπρέλες" ή το όνομα της εταιρείας.

Κάθε μία από αυτές τις τεχνολογίες είναι πλέον διαθέσιμη χάρη στο διαδίκτυο. Το διαδίκτυο επιτρέπει σε οποιονδήποτε να αξιοποιήσει ροές δεδομένων από όλο τον κόσμο.

Εδώ είναι πώς η ρύθμιση στο δικό μας παράδειγμα μπορεί να λειτουργήσει σε αυτή την περίπτωση.

Αυτό το διάγραμμα δείχνει πώς τα δεδομένα ρέουν στη "λίμνη δεδομένων" της εταιρείας από πολλές διαφορετικές πηγές. Τα εισερχόμενα δεδομένα μπορούν να δομηθούν με διαφορετικό τρόπο, αλλά το σημαντικό είναι να συγκεντρωθούν όσο το δυνατόν περισσότερα δεδομένα από όλες τις πηγές.

Τι είναι μια λίμνη δεδομένων;

Σε αντίθεση με μια βάση δεδομένων, η οποία περιέχει δομημένα δεδομένα οργανωμένα σε συγκεκριμένες στήλες και σειρές, μια λίμνη δεδομένων είναι ένα τεράστιο αποθετήριο για πολλές διαφορετικές μορφές δεδομένων.

Τα δεδομένα που αποθηκεύονται μπορούν να είναι δομημένα ή μη δομημένα. Σημαίνει ότι μπορεί να έχει δομημένες σειρές και στήλες, ή μπορεί να μην έχει. Τα δεδομένα θα μπορούσαν να είναι συμβολοσειρές που χρησιμοποιούν συγκεκριμένη μορφοποίηση για να διαχωρίσουν δεδομένα. Κάθε πηγή δεδομένων μπορεί να υποβάλλει δεδομένα σε μια λίμνη δεδομένων σε οποιαδήποτε μορφή θέλει.

Φανταστείτε μια λίμνη δεδομένων σαν μια τεράστια βιβλιοθήκη που περιέχει πολλές μορφές μέσων μαζικής ενημέρωσης, όπως βιβλία, εικόνες σε μικροφωτογραφίες και βίντεο σε DVD.

Φανταστείτε τον μηχανικό της ψηφιακής νοημοσύνης και των analytics δεδομένων ως προστάτες αυτής της βιβλιοθήκης. Αυτοί οι προστάτες μπορούν να τραβήξουν ψηφιακά δεδομένα από βιβλία, μικροφωτογραφίες και DVD και να βρουν τρόπους να αναμειγνύουν και να συνδυάζουν αυτά τα δεδομένα και να μαθαίνουν πράγματα από το πώς τα δεδομένα συσχετίζονται.

Από αυτές τις μαθήσεις έρχονται πραγματική, ενεργητική νοημοσύνη. Μερικά από αυτά από το παράδειγμά μας μπορεί να περιλαμβάνουν:

• Οι συνομιλητές στο Twitter και στο Facebook δείχνουν ότι πλησιάζει η καταιγίδα στη Νέα Υόρκη, με χιλιάδες πελάτες που σχεδιάζουν να αγοράσουν ομπρέλες.
• Δεδομένα αγοράς υπολογιστών cookie και λιανικής πώλησης μηχανών checkout δείχνουν ότι οι αγοραστές στην Καλιφόρνια είναι πρόθυμοι να πληρώσουν περισσότερα για ομπρέλες σχεδιαστών από ό, τι οι άνθρωποι στη Βιρτζίνια.
• Ένα μεγάλο σχέδιο πλησίον της καταιγίδας υποδεικνύει ότι το μεγαλύτερο μέρος της Ανατολικής Ακτής θα καλύπτεται από καταιγίδα για μια ολόκληρη εβδομάδα.

Όλα αυτά τα μαθήματα θα μπορούσαν να ωθήσουν την ομάδα μάρκετινγκ να επενδύσει σε περισσότερη γεωγραφική διαφήμιση όπου η ζήτηση των ομπρελών πωλήσεων είναι πολύ ισχυρότερη. Οι μεταποιητικές επιχειρήσεις θα μπορούσαν επίσης να μεταφέρουν τις προσπάθειές τους παραγωγής σε εκείνες τις περιοχές του κόσμου πιο κοντά στις περιοχές στις οποίες οι πωλήσεις είναι πιο πιθανό να αναρριχηθούν.

Με αυτόν τον τρόπο, χρησιμοποιώντας μεγάλα δεδομένα, κάθε εταιρεία μπορεί να εξορθολογίσει το μάρκετινγκ και τις δραστηριότητές της.

Τι είναι ο Hadoop;

Η επόμενη ερώτηση είναι πώς οι επιχειρήσεις επεξεργάζονται τόσο μεγάλους όγκους δεδομένων και εντοπίζουν τάσεις;

Αυτού του είδους η τραγάνισμα δεδομένων απαιτεί τεράστιους πόρους υπολογιστών. Τόσο πολύ, οι επιχειρήσεις δεν χρησιμοποιούν πλέον μεγάλους κεντρικούς υπολογιστές σε εγκαταστάσεις όπως στο παρελθόν. Πολλές από αυτές τις υπηρεσίες είναι τώρα αγορές από το cloud. Οι υπηρεσίες πληροφοριών των Cloud δεδομένων όπως το Apache Hadoop προσφέρουν πολλούς κόμβους υπολογιστών σε ένα μεγάλο δίκτυο cloud. Κάθε ένας από αυτούς τους κόμβους συμβάλλει στη δύναμη επεξεργασίας που απαιτείται για την ανάλυση μαζικών ροών δεδομένων από πολλαπλές πηγές.

Αυτός ο τύπος επεξεργασίας είναι η καρδιά της μηχανικής ή της ψηφιακής ευφυΐας και των δεδομένων. Το Hadoop είναι το πλαίσιο λογισμικού που κάνει όλο αυτό το δίκτυο μαζικής υπολογιστικής ισχύος, όπως απαιτείται για τους μηχανικούς ψηφιακών πληροφοριών.

Μόλις ο υπολογιστικός κινητήρας παράγει ενεργό νοημοσύνη, αυτά συνήθως παρέχονται στην εταιρεία με τη μορφή πίνακα ελέγχου ή αναφορών.

Τα μεγάλα δεδομένα δεν είναι απλώς Buzzwords

Η αλήθεια είναι ότι τα "μεγάλα δεδομένα" είναι κάτι περισσότερο από το εταιρικό lingo. Πολλές εταιρείες μαθαίνουν ότι με την καλύτερη χρήση των δεδομένων είναι σε θέση να επιτύχουν πολυάριθμα επιτεύγματα.

• Οι κατασκευαστές μπορούν να βελτιώσουν τις κρίσιμες μετρήσεις παραγωγής όπως η απόδοση, η ποιότητα και η αποδοτικότητα.
• Οι έμποροι λιανικής πώλησης μπορούν να ευθυγραμμίσουν καλύτερα τις εμπορικές, διαφημιστικές και επιχειρηματικές επενδύσεις με βάση τα σήματα της αγοράς.
• Οι διανομείς είναι σε θέση να προβλέψουν πιθανά προβλήματα σε μια αλυσίδα εφοδιασμού για την πρόωρη ανάπτυξη σχεδίων έκτακτης ανάγκης.
• Οι ειδησεογραφικοί οργανισμοί μπορούν να εντοπίσουν γρήγορα νέα γεγονότα αναλύοντας δημόσια μηνύματα στο διαδίκτυο.
• Εμπειρογνώμονες στον κυβερνοχώρο χρησιμοποιήστε σήματα μέσω του διαδικτύου για να εντοπίσετε επιθέσεις στον κυβερνοχώρο ενώ βρίσκονται σε εξέλιξη.

Ενώ πολλά από τα μεγάλα δεδομένα που έχουν καταφέρει τα τελευταία χρόνια παραμένουν ουσιαστικά αόρατα για το κοινό, τα μεγάλα δεδομένα έχουν πράγματι επηρεάσει σημαντικά την καθημερινή ζωή των ανθρώπων σε όλο τον κόσμο.