सामग्री
स्रोत: नेमेडिया / ड्रीमस्टाइम.कॉम
टेकवे:
मोठा डेटा हा सर्वत्र मोठा व्यवसाय असतो, परंतु या तंत्रज्ञानाचा सर्वाधिक फायदा करणारी काही विशिष्ट क्षेत्रे.
जेव्हा मी हा लेख सुरू केला, तेव्हा मी विविध प्रकारच्या मोठ्या डेटा प्लॅटफॉर्मची यादी करण्याचा विचार करीत होतो. परंतु, तीन दिवसांनंतर सर्व वेगवेगळ्या मोठ्या डेटा ऑफरिंग्जचे अनुरुप करण्याचा प्रयत्न केला - रिलेशनल विरुद्ध नॉन रिलेशनल, एसक्यूएल विरूद्ध नोएसक्यूएल आणि डेटाबेस विरूद्ध फ्रेमवर्क - ऑर्डरच्या काही समानतेत, मी ते गोंधळ टाळण्याचा निर्णय घेतला.
दुखापतीचा अपमान करण्यासाठी, मी लेखाचा एक भाग म्हणून "बिग डेटा" हा शब्द तयार करणार्‍या व्यक्तीची ओळख करुन देण्याची आशा केली होती. पण, मी हे देखील करू शकत नाही. यावर सहमतीचे उत्तर नाही. खरं तर, एक मोठा विकसित संशोधन प्रकल्प आहे ज्याचा विचार करायचा आहे की मूळत: मोठा डेटा कोणासह आला आहे. त्याऐवजी, मी मोठा डेटा वापरल्या जाणार्‍या काही प्रमुख मार्गांवर एक नजर घेणार आहे. त्याहूनही अधिक महत्त्वाचे. आणि कदाचित आपल्याला वाटेल त्यापेक्षा हे अधिक मनोरंजक आणि आश्चर्यकारक आहे.
हे कसे झाले
पारंपारिक डेटा खनन वापरणारे विश्लेषक वर्षानुवर्षे डेटा हाताळत आहेत. या समान विश्लेषकांना आता व्यवसाय, खाजगी संस्था आणि सरकारी एजन्सीजद्वारे जतन केलेली रक्कम आणि डेटाचा विविध प्रकारांना सामोरे जाणे कठीण झाले आहे.
मोठा डेटा प्रविष्ट करा, डेटा खाणकामातील पुढील विकासात्मक पायरी. आजच्या डिजिटल जगात प्रचंड डेटाबेस आणि असंख्य प्रकारचे डेटा हाताळण्यासाठी मोठा डेटा डिझाइन केला होता. आपण "Google" आणि त्या संकलित केलेल्या सर्व डेटाबद्दल विचार करत असल्यास आपण बॉलपार्कमध्ये असाल. आपण आश्चर्यचकित होऊ शकता की Google जगातील सर्वात मोठ्या डेटाबेसच्या शीर्ष दहा यादीतील चौथ्या क्रमांकावर आहे. जानेवारी २०१ 2014 पर्यंत, वर्ल्ड डेटा सेंटर फॉर क्लायमेटने 220 टेराबाइट डेटासह या यादीत अव्वल स्थान प्राप्त केले आहे आणि काही सरकारी एजन्सीद्वारे नियंत्रित डेटाबेसच्या आकाराचा असा अंदाज कोणालाही आहे.
नक्कीच, मोठा डेटा घेतला कारण असंख्य डेटामध्ये भिन्नता हाताळणे आणि आश्चर्यकारक - आणि आश्चर्यकारकपणे तपशीलवार आणि वैयक्तिक - गोष्टी शोधणे शक्य करते. मानव संसाधन उद्योग विश्लेषक जॉन Sumser खालील उदाहरणे प्रदान करतो:
"आज आपण गृहीते बनवित आहोत आणि डेटा संकलित करतो. उद्या आम्ही उलट व्यस्त आहोत. डेटा स्थिर आणि स्थिर ठेवण्यामुळे आपण प्रश्न तयार होण्यापूर्वी डेटा पाहण्यास सक्षम होऊ. म्हणजे आम्ही न केलेल्या प्रश्नांची उत्तरे आपल्याला मिळतील. ' विचारायला माहित नाही. आम्ही वस्तुस्थिती असल्याचे गृहीत धरत आहोत त्या संपूर्ण गोष्टींचा आपण विचारही करू शकणार नाही. "
हा डेटा वापरण्यासाठी वापरल्या गेलेल्या काही विचित्र मार्गांविषयी आपण सर्वांनी ऐकले आहे, जसे की एखाद्या तरूणीची गर्भवती जाणून घेण्यापूर्वीच तिच्या कुटुंबीयांना हे समजण्यापूर्वी लक्षित करण्याची क्षमता. परंतु मोठा डेटा देखील कमी भितीदायक कारणांसाठी वापरला जात आहे. येथे अशा काही संस्था आहेत ज्यांचा सर्वात जास्त फायदा होत आहे:
जेव्हा कोणालाही सॉफ्टवेअर गुणवत्तेची काळजी नसते तेव्हा आपण आपली प्रोग्रामिंग कौशल्ये सुधारू शकत नाही.
एक स्पष्ट क्षेत्र मोठा डेटा मदत करेल वैद्यकीय संस्थांमध्ये इलेक्ट्रॉनिक आरोग्य नोंदी सुरक्षितपणे आणि अचूकपणे हाताळण्यास. अचूक नोंदी असल्यास रूग्णांना चांगली सेवा आणि त्रुटी कमी देतात. आरोग्य कारभाराचे क्षेत्र, स्पष्ट कारणांमुळे, रुग्णांच्या गोपनीयतेसंदर्भातील सरकारी नियमांचे पालन करण्यासाठी हळू गतीमध्ये मोठा डेटा अनुकूल करीत आहे.
आधी सांगितल्याप्रमाणे, मोठा डेटा अनसॅक केलेल्या प्रश्नांची उत्तरे प्रदान करण्यासाठी ओळखला जातो. आरोग्य सेवा क्षेत्रात, याचा अर्थ असा आहे की एखादे नवीन औषध किंवा उपचार शोधले जाऊ शकते जे अन्यथा आढळले नाही. मॅककिन्से अँड कंपनीच्या मते, दूरवर नसलेल्या भविष्यात मोठा डेटा खालील गोष्टी करू शकतो:
- जैविक प्रक्रिया आणि औषधांचे पूर्वानुमानित मॉडेलिंग अधिक परिष्कृत आणि व्यापक होते.
- रूग्णांना सोशल मीडियासारख्या माहितीच्या अधिक स्त्रोतांवर आधारित नैदानिक चाचण्यांमध्ये सहभाग नोंदविला जातो.
- सुरक्षितता किंवा कार्यकारी समस्या वेगाने ओळखण्यासाठी ख to्या वेळेत परीक्षण केले जातात.
- कठोर डेटा सिलोऐवजी जे शोषण करणे कठीण आहे, त्याऐवजी डेटा इलेक्ट्रॉनिक पद्धतीने हस्तगत केला जातो आणि वेगवेगळ्या युनिट्समध्ये सहजपणे वाहतो.
मोठा डेटा, मोठी संधी
काही विशिष्ट भागात मोठ्या डेटाचा फायदा होत असताना, तो खालील क्षेत्रांतील सर्व संस्थांना संधी देते:
फक्त कोणत्याही संगणकीय आणि नेटवर्किंग डिव्हाइसच्या डेटाच्या लॉगविषयी. द्रुतपणे लॉग होणार्‍या डेटाची रक्कम अपायकारक होते. मोठा डेटा सहजतेने व्यवस्थापित करू शकतो, प्रशासकांना नेटवर्क क्रियाकलापांवर नजर ठेवू शकतो, समस्यांचे निदान करू शकतो किंवा उदाहरणार्थ रुबिनने मला दिलेली विशिष्ट नेटवर्क रहदारी नमुने शोधा जी मालवेयर क्रियाकलाप दर्शवितात.
आपण हा लेख वाचत असल्यास, ओपनएसएसएलच्या आसपासच्या हार्दिक समस्येबद्दल आपल्याला माहिती असेल ही एक अगदी सुरक्षित बाब आहे. तांत्रिक समस्येव्यतिरिक्त, अनेक वर्षांपासून असुरक्षितता अस्तित्त्वात असल्याची चिंता आहे. रुबीनने नमूद केले की मोठा डेटा नेटवर्क विश्लेषकांना डेटा विश्लेषकांसह कार्य करीत असे प्रोग्राम बनविण्यास अनुमती देतो जो दुर्भावनायुक्त हृदयाचे ठोके सर्व नेटवर्क लॉग शोधेल. या ईएफएफ पोस्टचा उल्लेख आहेः
"कोणतेही नेटवर्क ऑपरेटर ज्यांच्याकडे व्यापक पॅकेट लॉग आहेत ते दुर्भावनायुक्त हार्टबीट्ससाठी तपासू शकतात, ज्याचे सामान्यत: 18 03 02 00 03 01 किंवा 18 03 01 00 03 01 (किंवा कदाचित 18 03 03 00 03 01 01) चे टीसीपी पेलोड देखील असते."शो ऑडिट कमांडचे नमुना आउटपुट खालील उदाहरण आहे:
राउटर # शो ऑडिट
* सप्टेंबर 14 18: 37: 31.535:% ऑडिट -1-रन_व्हर्शन: हॅश:
24D98B13B87D106E7E6A7E5D1B3CE0AD वापरकर्ता:
* सप्टेंबर 14 18: 37: 31.583:% ऑडिट -1-रुन_कॉनफिग: हॅश:
4AC2D776AA6FCA8FD7653CEB8969B695 वापरकर्ता:
* सप्टेंबर 14 18: 37: 31.595:% ऑडिट -1-स्टार्टअप_कॉनफिग: हॅश:
95DD497B1BB61AB33A629124CBFEC0FC वापरकर्ता:
* 14 सप्टेंबर 18: 37: 32.107:% ऑडिट -1-फाईल सिस्टम: हॅश:
330E7111F2B526F0B850C24ED5774EDE वापरकर्ता:
* सप्टेंबर 14 18: 37: 32.107:% ऑडिट -1-हार्द्वार_कॉनफिग: हॅश:
32F66463DDA802CC9171AF6386663D20 वापरकर्ता:
आपण टाईम स्टॅम्पचे अनुसरण केल्यास, त्या सर्व प्रविष्टींसाठी कालावधी एक सेकंदापेक्षा कमी होता. मी एक दिवस बाहेर काढणे इच्छित नाही, दोन वर्षे द्या!
काहीतरी पहा
आपण नोकरीच्या जाहिराती तपासल्यास मोठ्या डेटा तज्ञांची नितांत आवश्यकता आहे. याबद्दल मी रुबिनला विचारले. तो सहमत आहे, त्याचा उल्लेख करून त्यांचे विद्यार्थी त्यांच्या संभाव्यतेबद्दल उत्सुक आहेत. नंतर मला समजले की मोठे डेटा प्लॅटफॉर्म, विशेषत: मुक्त स्त्रोत मानले गेलेले, लिनक्स मुख्य प्रवाहात कसे बनले यासारखेच एक टाइमलाइन अनुसरण करीत आहेत.
विद्यापीठे बिग-डेटा प्लॅटफॉर्मच्या ओपन-सोर्स आवृत्ती आवृत करतात, विशेषत: हडूप, कारण ते विनामूल्य आहेत आणि विद्यार्थी स्त्रोत कोडमध्ये फेरफार करू शकतात. ज्या पदवीधारकांनी ही सर्व नोकरी उघडली त्यांना ओपन-सोर्स प्लॅटफॉर्मवर काम करण्यास प्राधान्य दिले जाईल, कारण त्यांना हेच चांगले माहित आहे. हे पाहणे मनोरंजक असेल.