टेकवे: होस्ट रेबेका जोझवियाक प्रख्यात उद्योग तज्ञांसह प्रवाहित विश्लेषणावर चर्चा करतात.
आपण सध्या लॉग इन केलेले नाही. कृपया व्हिडिओ पाहण्यासाठी लॉग-इन किंवा साइन-अप करा.
रेबेका जोझवियाक: महोदयांनो, हॅलो आणि २०१ 2016 च्या हॉट टेक्नॉलॉजीजमध्ये आपले स्वागत आहे! आजचे शीर्षक आहे “फायरहाजचा उपयोग करणे: स्ट्रीमिंग ticsनालिटिक्सकडून व्यवसाय मूल्य मिळवणे.” हे रेबेका जोझवियक आहे. जेव्हा आमचा प्रिय एरिक कवानाग येथे असू शकत नाही तेव्हा मी वेबकास्ट होस्टसाठी दुसरा क्रमांकाचा कमांड आहे, म्हणून आज आपल्यापैकी बर्‍याच जणांना तेथे पाहून आम्हाला आनंद झाला.
हा भाग आपल्या इतरांपेक्षा थोडा वेगळा आहे. आम्ही कोणत्या प्रकारचे गरम आहे याबद्दल बोललो आहोत आणि नक्कीच हे वर्ष गरम आहे. गेल्या कित्येक वर्षांपासून गरम आहे. नेहमीच नवीन सामान बाहेर येत असते. आज आम्ही स्ट्रीमिंग ticsनालिटिक्सबद्दल बोलत आहोत. प्रवाहित विश्लेषणे ही एक नवीन प्रकारची गोष्ट आहे. अर्थात प्रवाह, केंद्र डेटा, आरएफआयडी डेटा, हे नवीन नाही. परंतु डेटा आर्किटेक्चरच्या बाबतीत, आम्ही कित्येक दशके विश्रांती घेत असलेल्या डेटावर लक्ष केंद्रित केले आहे. डेटाबेस, फाईल सिस्टम, डेटा रिपॉझिटरीज - सर्व बहुतेक बॅच प्रक्रियेच्या उद्देशाने. परंतु आता स्ट्रीमिंग डेटा, डेटा इमोशन्स, काहीजण त्याला सजीव प्रवाह म्हणतात, यापासून मूल्य निर्माण करण्यासाठी बदलले गेले आहेत, त्यांना खरोखर प्रवाह-आधारित आर्किटेक्चर आवश्यक आहे, बाकीच्या आर्किटेक्चरमधील डेटा नाही ज्यासाठी आपण वापरत आहोत आणि त्यासाठी सक्षम असणे आवश्यक आहे वेगवान अंतर्ग्रहण, रीअल-टाइम किंवा रीअल-टाइम प्रक्रियेच्या जवळ हाताळणे. हे केवळ इंटरनेट ऑफ थिंग्जच नव्हे तर इंटरनेट ऑफ द प्रत्येक गोष्टीसाठी सक्षम असणे आवश्यक आहे.
अर्थात, आदर्शपणे, दोन आर्किटेक्चर शेजारी शेजारी राहून, एक हात दुस washing्या हाताने धुताना, असे बोलणे छान वाटेल. जरी जुना डेटा, आठवडे-जुना डेटा, अजूनही निश्चितच मूल्य आहे, ऐतिहासिक विश्लेषणे आहेत, कल विश्लेषणे आहेत, तो आजचा थेट डेटा आहे जी थेट डेटा आहे आणि म्हणूनच प्रवाहित विश्लेषण इतके महत्त्वपूर्ण झाले आहे.
मी आज याबद्दल अधिक बोलतो आहे. आमच्याकडे आमचा डेटा वैज्ञानिक, डेझ ब्लांचफिल्ड आहे, जो ऑस्ट्रेलियाकडून कॉल करीत आहे. त्याच्यासाठी आत्ता सकाळी लवकर आहे. आमच्याकडे आमचे मुख्य विश्लेषक डॉ. रॉबिन ब्लॉर आहेत. आमच्यात इंफेफस टेक्नोलॉजीजच्या स्ट्रीमएनालिटीक्सचे प्रॉडक्ट हेड आनंद वेणुगोपाल सामील आहेत. त्यांचे खरोखरच या स्थानाच्या प्रवाह विश्लेषण विश्लेषणावर लक्ष आहे.
त्यासह, मी पुढे जाईन आणि त्यास डेझ येथे देईन.
डेझ ब्लांचफिल्ड: धन्यवाद. मला येथे स्क्रीनचा ताबा मिळवणे आणि पुढे जाणे आवश्यक आहे.
रेबेका जोझवियाक: येथे आपण जा.
डेझ ब्लांचफील्ड: आम्ही स्लाइड्स पकडत असताना, मी फक्त मुख्य विषय कव्हर करू.
मी ते बर्‍यापैकी उच्च पातळीवर ठेवत आहे आणि मी हे साधारणपणे 10 मिनिटांवर ठेवतो. हा एक फार मोठा विषय आहे. मी एका प्रसंगात भाग घेतला जिथे आम्ही स्ट्रीम प्रोसेसिंग काय आहे आणि आम्ही विकसित करीत आहोत आणि सध्याच्या फ्रेमवर्क आणि त्या उच्च-खंडातील विश्लेषणे म्हणजे काय असावे याविषयी तपशीलवार माहितीसाठी दोन ते तीन दिवस घालवले.
आम्ही स्ट्रीमिंग byनालिटिक्सचा अर्थ काय आहे हे स्पष्ट करू आणि नंतर व्यवसाय मूल्य मिळवता येईल की नाही हे शोधून काढू कारण व्यवसाय खरोखरच या गोष्टी शोधत आहेत. लोक त्यांच्याकडे द्रुत आणि सुस्पष्टपणे सांगू इच्छित आहेत, आमच्या प्रवाह डेटामध्ये काही प्रकारचे ticsनालिटिक्स लावून मी मूल्य कसे मिळवू शकतो?
प्रवाह विश्लेषण काय आहे?
प्रवाहित विश्लेषणे संस्थांना उच्च-व्हॉल्यूम आणि उच्च-वेग डेटामधून मूल्य काढण्याचा मार्ग देते जे त्यांनी वेगवेगळ्या स्वरूपात व्यवसायात आणले आहेत. येथे महत्त्वाचा फरक हा आहे की मेनफ्रेमचा शोध लागल्यापासून आम्ही दशकांहून विश्रांती घेत असलेल्या विश्लेषणे आणि लेन्स आणि डेटा दृश्ये विकसित करण्याचा दीर्घकाळ इतिहास आहे. आम्ही मागील तीन ते पाच वर्षांत पाहिलेल्या मोठ्या प्रमाणावर बदल ज्याला आम्ही “वेब स्केल” म्हणतो त्या डेटाच्या प्रवाहात टॅप करत आहे वास्तविक वेळेत किंवा रिअल टाईम मधे आणि फक्त प्रक्रिया करत नाही आणि कार्यक्रम संबंधित किंवा शोधत नाही इव्हेंट ट्रिगर करतो परंतु त्या प्रवाहांवर खरोखर तपशीलवार, सखोल विश्लेषण करीत आहे. आम्ही करत होतो त्यापूर्वी ही एक महत्त्वपूर्ण बदली आहे जी एकतर डेटा संकलित करीत आहे, त्यास आता काही प्रकारचे रेपॉजिटरीमध्ये ठेवत आहे, आता पारंपारिकरित्या मोठे डेटाबेस, हडूप प्लॅटफॉर्म सारखे मोठे मोठे डेटा फ्रेमवर्क आणि त्यावर बॅच-मोड प्रक्रिया करणे आणि मिळवणे. अंतर्दृष्टी काही क्रमवारी.
आम्ही द्रुतगतीने ते करण्यास द्रुतपणे आणि भरपूर वजनदार लोखंडी गोष्टी करण्याचा प्रयत्न केला परंतु आम्ही अद्याप खरोखर डेटा कॅप्चर करीत आहोत, संचयित करीत आहोत आणि मग त्याकडे पहात आहोत आणि त्याबद्दल काही अंतर्दृष्टी किंवा विश्लेषणे घेत आहोत. डेटा जसा प्रवाहित होत आहे तसतसे त्या विश्लेषणे सादर करण्याकडे बदल ही मोठ्या डेटाच्या आसपास घडणार्‍या गोष्टींसाठी एक नवीन आणि उत्साहवर्धक क्षेत्र आहे. यासाठी फक्त कॅप्चर, स्टोअर आणि प्रक्रिया करणे आणि यावर विश्लेषण करणे यासाठी पूर्णपणे भिन्न दृष्टीकोन आवश्यक आहे.
प्रवाहात विश्लेषणे करण्यासाठी शिफ्ट आणि फोकस करण्याच्या मुख्य कार्यांपैकी एक म्हणजे डेटा आपल्याकडे जितक्या डेटाकडे येत आहे तितक्या जलद आणि अधिक त्वरेने प्राप्त करुन आपण व्यवसायातील महत्त्वपूर्ण मूल्य प्राप्त करू शकता, कारण व्यवसायासाठी माहिती उपलब्ध केली जात आहे. आता डे-ऑफ-डे प्रक्रिया करणे ही काही विशिष्ट उद्योगांमध्ये संबंधित नाही. आम्हाला फ्लायवर विश्लेषण करण्यास सक्षम व्हायचे आहे. दिवसाचा शेवट होईपर्यंत आणि 24 तासांच्या बॅचची नोकरी करण्यापेक्षा आणि त्या अंतर्दृष्टी मिळण्याऐवजी काय घडले आहे हे दिवसाच्या अखेरीस आम्हाला आधीच माहित आहे.
प्रवाहित विश्लेषणे थेट त्या प्रवाहात टॅप करण्याविषयी आहेत तर डेटाचे प्रवाह सामान्यत: अति उच्च प्रमाणात डेटा आणि डेटा आपल्याकडे गतीशील असतात, अतिशय जलद असतात आणि त्या प्रवाहांवर अंतर्दृष्टी किंवा विश्लेषणे मिळतात जेव्हा ते विरोध करतात तेव्हा. जे विश्रांती घेते आणि त्यांच्यावर विश्लेषणे सादर करण्यास अनुमती देते.
मी नमूद केल्याप्रमाणे, आमच्याकडे बॅच ticsनालिटिक्स म्हणून कार्य करत दशके आणि दशके झाली आहेत. मी येथे एक छान चित्र ठेवले आहे. हे रॅन्ड कॉर्पोरेशनने आयुष्यभरापूर्वी तयार केलेल्या विनोदी संगणकासमोर उभे राहून सज्जन माणसाचे चित्र आहे आणि असेच त्यांनी घरात कॉम्प्यूटर पाहिल्यासारखे दिसत होते. सर्वात मजेची गोष्ट म्हणजे तरीही, त्यांच्याकडे ही सर्व लहान डायल ही संकल्पना होती आणि ही डायल घरातून येणारी माहिती आणि रिअल टाइममध्ये प्रक्रिया केली जात होती आणि काय चालले आहे ते सांगत आहे. एक साधे उदाहरण म्हणजे बॅरोमेट्रिक प्रेशर आणि तपमानाचा एक संच जो आपण पाहू शकतो की रिअल टाइममध्ये काय घडत आहे ते आपण कुठे पहात आहोत. परंतु मी कल्पना करतो की अगदी त्याच वेळी जेव्हा रॅन्ड कॉर्पोरेशनने ते छोटेसे मॉकअप एकत्र ठेवले, तेव्हा ते प्रत्यक्षात डेटा प्रक्रियेबद्दल विचार करीत होते आणि त्यावर स्ट्रीम फॉरमॅटमध्ये येत असताना विश्लेषणे सादर करण्याचा विचार करत होते. त्यांनी संगणकावर स्टीयरिंग व्हील का ठेवले हे मला ठाऊक नाही, परंतु ते छान आहे.
एरचा शोध असल्याने आमच्याकडे डेटा कॅप्चर करण्याचा आणि त्यावर बॅच अ‍ॅनालिटिक्स करण्याचा एक दृष्टीकोन आहे. जसे मी आता मोठ्या शिफ्टसह म्हटले आहे आणि आम्ही हे आपल्या सर्वांना माहित असलेल्या वेब स्केल प्लेयर्सच्या पसंतीवरून पाहिले आहे, ते सर्व घरगुती ब्रँड आहेत, आणि लिंक्डइन, त्या सामाजिक प्लॅटफॉर्मसह आमच्याकडे असलेले परस्परसंवादी वर्तन आवश्यक आहे. बॅच मोडमध्ये फक्त कॅप्चर, स्टोरेज आणि नंतर प्रक्रिया करत नाही परंतु त्या प्रत्यक्षात येत असलेल्या डेटाच्या प्रवाहातून फ्लायवर विश्लेषणे कॅप्चर करतात आणि ड्राइव्ह करतात. जेव्हा मी काहीतरी ट्वीट करतो तेव्हा त्यांना केवळ ताब्यात घेण्याची आणि त्यास ठेवण्याची आणि नंतर काहीतरी करण्याची आवश्यकता नसते, परंतु ते माझ्या प्रवाहावर त्वरित परत ठेवण्यास आणि माझ्यामागे येणार्‍या इतर लोकांसह सामायिक करण्यास सक्षम असणे देखील आवश्यक असते. ते बॅच प्रोसेसिंग मॉडेल आहे.
आम्ही या मार्गावर का जाऊ? प्रवाह विश्लेषणाच्या मार्गावर प्रयत्न करण्याच्या आव्हानाचा विचार करून देखील संघटना वेळ, प्रयत्न आणि पैशांची गुंतवणूक का करतील? संस्थांकडे असलेल्या उद्योगांमधील प्रतिस्पर्ध्यांकडून त्यांच्या कामगिरीवर विजय मिळविण्याची प्रचंड इच्छा आहे आणि साध्या प्रवाह विश्लेषिकेद्वारे ही कामगिरी वेगवान अंमलात आणली जाऊ शकते आणि आम्ही आधीपासून शोधत असलेल्या रीअल-टाइम डेटाचा साधा मागोवा घेऊ शकतो. परिचित मला तेथे Google ofनालिटिक्सचा एक छोटासा स्क्रीनशॉट आला. ग्राहक-दर्जाचे विश्लेषक आम्हाला खरोखर मिळाले असा हा कदाचित प्रथमच आहे. आपल्या वेबसाइटवर एम्बेड केलेल्या HTML मध्ये आपल्या वेबपृष्ठाच्या तळाशी जावास्क्रिप्टच्या एका छोट्या छोट्या तुकड्यांसह लोक आपल्या वेबसाइटला भेट देत असताना आणि आपल्याला त्या हिट मोजण्याइतके, हे लहान कोड Google वर रिअल टाइममध्ये बनविले जात होते आणि ते होते आपल्या वेबसाइटवरील प्रत्येक पृष्ठावरून, आपल्या वेबसाइटवरील प्रत्येक वस्तूमधून रिअल टाइममध्ये आलेल्या डेटाच्या त्या प्रवाहांवर विश्लेषणे आणि ते आपल्यास रिअल-टाइम आलेख, गोंडस लिटल हिस्टोग्राम आणि लाइनच्या डॅशबोर्डवरील खरोखर गोंडस लिटिल वेबपृष्ठावर परत करतील. ग्राफ आपल्यास ऐतिहासिकदृष्ट्या हिट करणारे लोकांची संख्या दर्शवितो, परंतु आत्ता किती लोक आहेत ते येथे आहे.
आपण त्या स्क्रीनशॉटवर पाहू शकता, ते आत्ता 25 म्हणते. त्या स्क्रीनशॉटच्या वेळी त्या पृष्ठावर सध्या 25 लोक होते. ग्राहक-ग्रेड analyनालिटिक्स टूलवर आम्ही खेळलेली ही पहिली खरी संधी आहे. मला वाटते की बर्‍याच लोकांना खरोखर ते मिळाले. काय चालले आहे आणि ते त्यास कसा प्रतिसाद देऊ शकतात हे जाणून घेण्याची शक्ती त्यांना नुकतीच समजली. जेव्हा आपण एव्हिएनिक्सच्या प्रमाणाबद्दल विचार करतो, विमानाने सुमारे उड्डाण करणारे हवाई परिवहन, केवळ यूएसएमध्ये दिवसाच्या 18,700 देशांतर्गत उड्डाणे असतात. मी काही काळापूर्वी एक पेपर वाचला - सुमारे सहा किंवा सात वर्षांपूर्वी - जुन्या अभियांत्रिकी मॉडेलमध्ये त्या विमानाद्वारे तयार होणार्‍या डेटाचे प्रमाण सुमारे 200 ते 300 मेगाबाईट होते. आजच्या विमानांच्या डिझाईन्समध्ये, हे विमान प्रति फ्लाइटमध्ये सुमारे 500 गीगाबाईट डेटा किंवा सुमारे अर्धा टेराबाइट डेटा तयार करीत आहेत.
जेव्हा आपण गणिताची द्रुतगती आपल्या डोक्याच्या वरच्या बाजूला काढता तेव्हा, केवळ अमेरिकेच्या एअर स्पेसमध्ये दर 24 तासांनी 18,700 देशांतळी उड्डाणे चालू असतात, जर सर्व आधुनिक विमानांनी अर्धा तेराबाइट तयार केली असेल तर ती 43 ते 44 पेटबाइट डेटा येते. विमाने हवेत असताना हे घडत आहे. जेव्हा ते खाली उतरतात तेव्हा ते घडते आणि ते डेटा डंप करतात. जेव्हा ते दुकानात जातात आणि बीयरिंग्ज, चाके आणि इंजिनमध्ये काय घडत आहे हे पाहण्यासाठी अभियांत्रिकी कार्यसंघाकडून संपूर्ण डेटा डंप ठेवला जातो. त्यापैकी काही डेटावर रिअल टाइमवर प्रक्रिया केली जावी जेणेकरून विमान हवेत असताना किंवा ते जमिनीवर असताना प्रत्यक्षात काही अडचण असेल का यावर ते निर्णय घेऊ शकतात. आपण हे बॅच मोडमध्ये करू शकत नाही. वित्त, आरोग्य, उत्पादन आणि अभियांत्रिकीच्या आसपास आपल्याला दिसणार्‍या इतर उद्योगांमध्ये ते डेटाबेसमध्ये जे काही संग्रहित केले जात आहेत त्यास विरोधात रिअल टाइममध्ये काय घडत आहेत या नवीन अंतर्दृष्टीने ते कसे मिळू शकतात याकडे देखील पहात आहेत. टर्म
मी एक नाशवंत चांगली किंवा नाशवंत वस्तू म्हणतो म्हणून डेटा व्यवहार करण्याची ही संकल्पना देखील आहे - की बरीच डेटा वेळोवेळी मूल्य गमावते. मोबिलिटी अ‍ॅप्स आणि सोशल मीडिया टूल्सची ही जास्तीत जास्त बाब आहे कारण लोक काय म्हणत आहेत आणि काय सध्या ट्रेंड करीत आहे ते आपल्याला प्रतिसाद द्यायचा आहे. जेव्हा आपण आमच्या जीवनातील इतर भागाबद्दल लॉजिस्टिक आणि शिपिंग अन्न बद्दल विचार करता तेव्हा आम्हाला त्या दृष्टीने नाशवंत वस्तूंची संकल्पना समजते. परंतु आपल्या संस्थेमधून जात असलेल्या डेटाबद्दल आणि त्यातील मूल्याबद्दल विचार करा. जर आत्ता कोणी आपल्याशी काही व्यवसाय करीत असेल आणि आपण त्यांच्याशी वास्तविक वेळी संवाद साधू असाल तर आपल्याला एक तासाची प्रतीक्षा करण्याची इच्छा नाही जेणेकरुन डेटा कॅप्चर होऊ शकेल आणि हडूपसारख्या सिस्टममध्ये ठेवला जाईल आणि मग हे बटण दाबा, आपण आत्ताच यास सामोरे जाऊ शकणार नाही आणि आपणास त्वरित ग्राहकांच्या मागणीनुसार हे करण्यास सक्षम होऊ इच्छित आहे. एक शब्द आहे ज्याला आपण आता बरेच पॉप अप पहाल ज्यात लोक आपणास वैयक्तिकृत करू शकणारा हा रिअल-टाइम डेटा प्रवाह ठेवण्याविषयी बोलतात आणि आपण आपल्या वैयक्तिक अनुभवासाठी वापरत असलेल्या सिस्टममध्ये ती वैयक्तिकरण ट्यून आहे. म्हणून जेव्हा आपण Google शोध साधनासारख्या एखाद्या साधनला दाबाल, उदाहरणार्थ, मी क्वेरी करतो आणि आपण तीच क्वेरी करत असाल तर, आम्हाला तसाच डेटा मिळत नाही. सेलिब्रिटीचा अनुभव म्हणून मी ज्याचा संदर्भ घेतो त्या मूलत: आम्हाला मिळतात. मी एकट्याने उपचार केला आहे. या प्रणालींमध्ये काय घडत आहे त्याबद्दल त्यांनी स्वत: वर संग्रहित केलेले प्रोफाइल आणि डेटा यावर आधारित माझे स्वत: चे वैयक्तिक आवृत्ती मिळते आणि मी प्रवाहात रिअल टाइममध्ये विश्लेषणे करण्यास सक्षम होतो.
डेटा नाशवंत वस्तू असल्याची ही कल्पना सध्याच्या काळासाठी वास्तविक आहे आणि काळाच्या ओघात डेटाचे मूल्य कमी होत चालले आहे हीच गोष्ट आज आपल्याला सामोरे जावी लागेल. ही कालची गोष्ट नाही. मला अस्वल नदीतून उडी मारणारा तांबूस पिवळट रंगाचा पट्टा पकडण्याचा हा फोटो आवडतो कारण मी स्ट्रीमिंग ticsनालिटिक्स पाहतो त्याप्रमाणेच हे चित्रित करते. ही आपल्याकडे डेटाची भव्य नदी आहे, आपण असाल तर अग्निशामक आणि अस्वल खाडीच्या मध्यभागी बसला आहे. हे त्याभोवती काय घडत आहे याविषयी रिअल-टाइम ticsनालिटिक्स करणार आहे जेणेकरून ते त्या माशाला हवेत पकडण्याच्या क्षमतेस वास्तविकपणे अभियंता बनवू शकेल. हे फक्त प्रवाहात बुडवून एखाद्यास पकडण्यासारखे नाही. ही गोष्ट हवेत उडी मारत आहे आणि ती मासे पकडण्यासाठी योग्य वेळी योग्य ठिकाणी असणे आवश्यक आहे. अन्यथा, त्याला नाश्ता किंवा दुपारचे जेवण मिळत नाही.
एखाद्या संस्थेला त्यांच्या डेटासह हेच करायचे आहे. त्यांना आता मोशनमध्ये असलेल्या डेटाचे भव्य खंड असलेल्या गोष्टींचे मूल्य काढायचे आहे. त्यांना त्या डेटा आणि उच्च गती डेटावर विश्लेषणे करायचे आहेत जेणेकरून ते आपल्याकडे येणार्‍या डेटाचे प्रमाणच नाही तर यामधून ज्या वेगाने येत आहे त्या वेगात आहे. सुरक्षिततेमध्ये उदाहरणार्थ, नाशवंत डेटा असलेल्या काही बाबतींत, हे सर्व आपले राउटर, स्विचेस, सर्व्हर, फायरवॉल आणि त्याद्वारे येणा all्या सर्व घटना आणि शेकडो हजारो उपकरणे येत आहेत. जेव्हा आपण इंटरनेट ऑफ थिंग्ज आणि इंडस्ट्रियल इंटरनेटमध्ये याबद्दल विचार करतो, तेव्हा अब्जावधी सेन्सर नसल्यास आपण लाखो लोकांबद्दल बोलत असतो आणि डेटा विश्लेषणे सादर करत असताना आपण जटिल घटनांवर प्रक्रिया करण्याकडे पहात आहोत आम्ही पूर्वी कधीच पाहिले नाही इतका विशालता आणि वेगाच्या ऑर्डरवर आणि आज आपण याचा सामना करावा लागतो. आम्हाला त्याभोवती साधने आणि सिस्टम तयार करायच्या आहेत. संघटनांसाठी हे एक खरोखरच आव्हान आहे कारण एकीकडे, आम्हाला स्वतःहून फार मोठे ब्रँड मिळाले आहेत की डीआयवाय करत असताना, स्वत: ला बेक करा, जेव्हा ते करण्याची क्षमता आणि कौशल्य सेट आणि अभियांत्रिकी असेल तेव्हा. परंतु सरासरी संस्थेसाठी असे नाही. त्यांच्याकडे कौशल्य संच नाहीत. हे ठरवण्यासाठी गुंतवणूकी करण्यासाठी त्यांच्याकडे क्षमता किंवा वेळ किंवा पैसाही नाही. ते सर्व जवळ-रीअल-टाइम निर्णय घेण्याच्या या संकल्पनेकडे लक्ष देत आहेत.
मी आलेले प्रकरण वापरा आणि ती आपण कल्पना करू शकता अशा प्रत्येक क्षेत्राच्या विस्तृत स्पेक्ट्रममध्ये आहेत, लोक बसून लक्ष देत आहेत आणि म्हणत आहेत की आम्ही आमच्या प्रवाह डेटावर काही विश्लेषणे कशी लागू करू? आम्ही वेब-स्तरीय ऑनलाइन सेवांबद्दल बोलतो. तेथे पारंपारिक सोशल मीडिया प्लॅटफॉर्म आणि ऑनलाइन ई-टेलिंग आणि रीटेलिंग आहेत - उदाहरणार्थ अ‍ॅप्स. हे सर्व आम्हाला हा रिअल-टाइम सेलिब्रिटी अनुभव देण्याचा प्रयत्न करीत आहेत. परंतु जेव्हा आपण बर्‍याच तंत्रज्ञान स्टॅक सेवा, टेलिफोन सेवा, व्हॉईस आणि व्हिडिओमध्ये खाली उतरतो, तेव्हा मी लोकांना फोनवर फेसटाइम करत फिरत असल्याचे पाहिले. हे नुकतेच स्फोट होत आहे. हे माझ्या मनात घोळत आहे की लोक त्यांच्या समोर फोन ठेवतात आणि मित्राच्या कानात धरून विरोधात असलेल्या एका मित्राच्या व्हिडिओ प्रवाहाशी बोलत आहेत. परंतु त्यांना माहित आहे की ते हे करू शकतात आणि त्यांनी रुपांतर केले आणि त्यांना तो अनुभव आवडला. या अनुप्रयोगांचा विकास आणि हे वितरित करणार्या प्लॅटफॉर्मवर त्या रहदारीवर आणि रहदारीच्या प्रोफाइलवर रीअल-टाइम ticsनालिटिक्स सादर करणे आवश्यक आहे जेणेकरून ते त्या व्हिडिओला अचूक मार्ग दाखविण्यासारख्या सोप्या गोष्टी करू शकतील जेणेकरून त्यामधील व्हॉईसची गुणवत्ता आपल्याला मिळालेला व्हिडिओ चांगला अनुभव मिळविण्यासाठी पुरेसे आहे. अशा प्रकारच्या डेटावर आपण बॅच प्रक्रिया करू शकत नाही. हे रीअल-टाइम व्हिडिओ प्रवाह कार्यशील सेवा बनवित नाही.
आर्थिक व्यवहारात प्रशासनाचे आव्हान आहे. दिवसाचा शेवट होईपर्यंत आणि आपण त्या ठिकाणी सुमारे खासगी डेटा हलविणारा कायदा मोडला आहे हे शोधणे ठीक नाही. ऑस्ट्रेलियात आमच्याकडे एक अतिशय मनोरंजक आव्हान आहे जेथे प्रायव्हसी संबंधित डेटा ऑफशोअर हलविणे ही एक नाही. आपण माझा पीआयडी, माझा खाजगी वैयक्तिक ओळख डेटा, ऑफशोअर घेऊ शकत नाही. ते होण्यापासून रोखण्यासाठी ऑस्ट्रेलियामध्ये असे कायदे आहेत. विशेषत: वित्तीय सेवा पुरवठा करणारे, सरकारी सेवा आणि एजन्सी, त्यांनी माझ्याकडे दिलेल्या डेटाचे प्रवाह आणि वास्तविक सूचना किना leave्यावर सोडणार नाहीत याची खात्री करण्यासाठी त्यांनी मला सूचना दिल्या आहेत. सर्व सामग्री स्थानिक पातळीवरच राहिली पाहिजे. ते वास्तविक वेळ करू लागले. ते कायदा मोडू शकत नाहीत आणि नंतर क्षमा मागू शकत नाहीत. फसवणूक शोधणे - हे क्रेडिट कार्ड व्यवहारासह आपण ऐकत आहोत हे अगदी स्पष्ट आहे. परंतु आम्ही वित्तीय सेवांमध्ये करत असलेल्या व्यवहाराचे प्रकार खूपच वेगाने बदलत आहेत, अशा प्रकारच्या अनेक गोष्टी आहेत ज्या पहिल्यांदा पेपैल फसवणूकीच्या शोधात प्रथम काम करीत आहेत जेथे पैसा एका गोष्टीकडून दुसर्‍याकडे जात नाही परंतु ते आहे प्रणालींमधील आर्थिक व्यवहार. ईबे बिडिंग प्लॅटफॉर्मवर, फसवणूकीचा शोध लावणे स्ट्रीमिंग कार्यालयात रीअल-टाइम केले जावे.
प्रवाहात वेचा काढणे आणि लोड क्रियाकलाप बदलणे याकडे आता एक ट्रेंड आहे जेणेकरून आम्हाला प्रवाहात जात असलेल्या कोणत्याही गोष्टीचा ताबा घेऊ इच्छित नाही. आम्ही खरोखर ते करू शकत नाही. लोक शिकले आहेत की जर आपण सर्वकाही हस्तगत केले तर डेटा खरोखर त्वरित मोडणे पसंत करतो. युक्ती म्हणजे त्या प्रवाहावर विश्लेषण करणे आणि त्यावर ईटीएल करणे आणि आपल्याला आवश्यक असलेले, संभाव्य मेटाडेटा कॅप्चर करणे आणि त्यानंतर आपण ज्याच्या मार्गावर आहोत त्या मार्गावर थोडे पुढे जाऊन काय घडेल हे सांगू शकू अशा भविष्यसूचक विश्लेषणे चालवा आम्ही त्यावर केलेल्या विश्लेषणाच्या आधारे प्रवाहात नुकतेच पाहिले आहे.
उर्जा आणि युटिलिटी प्रदाते ग्राहकांकडून मागणी किंमतीची ही प्रचंड इच्छा अनुभवत आहेत. मी असा निर्णय घेऊ शकतो की दिवसाच्या एका विशिष्ट वेळी मला ग्रीन पॉवर खरेदी करायची आहे कारण मी फक्त एकटाच घरी आहे आणि मी बरीच साधने वापरत नाही. परंतु जर माझ्याकडे डिनर पार्टी असेल तर मला कदाचित माझी सर्व उपकरणे हवी असतील आणि मला स्वस्त उर्जा विकत घेण्याची इच्छा नाही आणि ती वितरित होण्याची वाट पाहत आहे परंतु ती शक्ती मिळविण्यासाठी मी अधिक किंमत मोजायला तयार आहे. विशेषत: उपयोगिता आणि उर्जा जागेवर ही मागणी किंमत आधीच आली आहे. उदाहरणार्थ उबर हे आपण दररोज करू शकणार्‍या गोष्टींचे उत्कृष्ट उदाहरण आहे आणि हे सर्व मागणीच्या किंमतीनुसार चालते. नवीन वर्षाच्या संध्याकाळच्या मोठ्या प्रमाणात मागणीमुळे ऑस्ट्रेलियामधील लोकांकडून 10,000 डॉलर्स भाड्याने मिळण्याची काही क्लासिक उदाहरणे आहेत. मला खात्री आहे की त्यांनी या समस्येचा सामना केला आहे पण कारमध्ये असताना मी किती देय द्यावे हे सांगताना प्रवाहित विश्लेषणे रिअल टाइममध्ये केल्या जात आहेत.
इंटरनेट ऑफ थिंग्ज आणि सेन्सर स्ट्रीम - आम्ही फक्त यावरील पृष्ठभाग स्क्रॅच केले आहे आणि यावर खरोखरच मूलभूत संभाषण घडले आहे परंतु तंत्रज्ञान त्याशी कसे व्यवहार करते याविषयी एक मनोरंजक बदल आपण पाहणार आहोत कारण जेव्हा आपण बोलत नाही तेव्हा फक्त हजारो किंवा हजारोंच्या संख्येने परंतु शेकडो हजारो आणि संभाव्यत: कोट्यवधी उपकरणे आपल्याकडे प्रवाहित केली आहेत, जवळजवळ कोणत्याही तंत्रज्ञानाच्या स्टॅकवर आतापर्यंत मात केली गेली नाही.
सुरक्षितता आणि सायबर जोखीम यासारख्या काही जागा आम्ही जवळपास पाहू शकतो. आमच्यासाठी ती खरोखरच खरी आव्हाने आहेत. वेबवर उत्तर नावाचे खरोखर एक सुबक साधन आहे जेथे आपण वेबपृष्ठावर रिअल टाइममध्ये घडत असलेल्या विविध सायब्रेटॅकस बसू शकता आणि पाहू शकता. जेव्हा आपण ते पाहता तेव्हा आपल्याला असे वाटते की “अरे ते एक छान गोंडस वेबपृष्ठ आहे,” परंतु तेथे सुमारे पाच मिनिटांनंतर आपल्याला माहिती मिळेल की सिस्टम जगभरातील सर्व भिन्न डिव्हाइसच्या भिन्न प्रवाहांवर विश्लेषणे करीत आहे. ते त्यांना दिले जात आहेत. ते त्या रेकॉर्डच्या काठावर अनिवार्यपणे कसे करत आहेत आणि आपल्याला त्या वेळेवर काय किंवा कशाने आक्रमण करतात आणि कोणत्या प्रकारचे हल्ले करतात हे सांगणारी एखादी साधी छोटी स्क्रीन प्रदान करते याबद्दल ते मनापासून त्रास देऊ लागतात. परंतु हे पृष्ठ पहात असताना आणि केवळ व्हॉल्यूम आणि प्रवाह घेण्याचे आव्हान मिळवून, विश्लेषणात्मक क्वेरीवर प्रक्रिया करण्याद्वारे आव्हानात्मक रीअल टाइममध्ये प्रवाह विश्लेषक आपल्यासाठी संभाव्य संभाव्य काय करू शकतात याचा चांगला आस्वाद घेण्याचा हा खरोखरच एक छोटासा मार्ग आहे. त्यांना आणि रिअल टाइम मध्ये प्रतिनिधित्व.
मला असे वाटते की माझ्याकडे उर्वरित सत्रासाठी असलेले संभाषण माझ्या दृष्टिकोनातून त्या सर्व प्रकारच्या गोष्टी एका मनोरंजक दृष्टिकोनातून सोडवणार आहे, आणि ते स्वतःहून करावे, स्वतः करावे, त्यातील काही अनुरूप अशा प्रकारच्या गोष्टी तयार करण्यास परवडणारे क्लासिक युनिकॉर्नस. हे अभियांत्रिकी कार्यसंघ तयार करण्यासाठी आणि त्यांचे डेटा सेंटर तयार करण्यासाठी कोट्यवधी डॉलर्स त्यांच्याकडे आहेत. परंतु तेथील 99.9% संस्थांना ज्यांना त्यांच्या स्ट्रीम अ‍ॅनॅलिटिक्सच्या व्यवसायात मूल्य वाढवायचे आहे, त्यांना ऑफ-द शेल्फ सेवा मिळणे आवश्यक आहे. त्यांना बॉक्समधून उत्पादन विकत घेण्याची आवश्यकता आहे आणि त्यांना अंमलात आणण्यात मदत करण्यासाठी त्यांना सामान्यत: काही सल्ला सेवा आणि व्यावसायिक सेवेची आवश्यकता असते आणि त्यांना ते मूल्य व्यवसायात परत मिळते आणि ते कार्यशील समाधान म्हणून व्यवसायाकडे परत विक्री करते.
त्यासह, मी रेबेका तुझ्याकडे परत परत जात आहे, कारण माझा असा विश्वास आहे की जे आपण आता तपशीलवार माहिती देणार आहोत.
रेबेका जोझवियाक: उत्कृष्ट धन्यवाद, डेझ. ते एक उत्तम सादरीकरण आहे.
आता मी चेंडू रॉबिनला देईन. घेऊन जा.
रॉबिन ब्लॉर: ठीक आहे. डेज प्रवाहावर प्रक्रिया करण्याच्या धोक्यात आले आहेत म्हणून, ते पुन्हा झाकून ठेवण्यात मला काहीच अर्थ वाटला नाही. तर मी फक्त पूर्णपणे धोरणात्मक दृष्टिकोन घेणार आहे.नरक काय चालले आहे या बद्दल खाली अगदी उच्च पातळीवरून पहात आहे आणि त्याचे स्थान शोधत आहे कारण मला असे वाटते की हे लोक, विशेषत: आम्हाला जे लोक यापूर्वी मोठ्या प्रमाणावर प्रवाहावर प्रक्रिया करतात अशा लोकांना मदत करतील.
प्रवाह प्रक्रिया बर्‍याच दिवसांपासून सुरू आहे. आम्ही त्याला सीईपी म्हणायचो. त्यापूर्वी वास्तवीक प्रणाली होती. मूळ प्रक्रिया नियंत्रण प्रणाली प्रत्यक्षात माहितीच्या प्रक्रियेवर प्रक्रिया करीत होती - अर्थात आजकाल इतके काही चालत नव्हते. येथे स्लाइडवर दिसणारा हा ग्राफिक; हे प्रत्यक्षात बर्‍याच गोष्टींकडे लक्ष वेधत आहे, परंतु हे वरील आणि इतर कोणत्याही गोष्टीकडे लक्ष वेधत आहे - खरं म्हणजे येथे खाली वेगवेगळ्या रंगांमध्ये दिसणार्‍या विलंबांचे स्पेक्ट्रम आहे. १ 60 around० च्या सुमारास संगणकीय किंवा व्यावसायिक संगणनाचा आविष्कार झाल्यापासून जे घडले ते सर्व काही फक्त वेगवान आणि वेगवान झाले आहे. आपल्याला लाटांमध्ये आवडत असल्यास हे प्रत्यक्षात कसे येत आहे यावर आम्ही अवलंबून राहण्यास सक्षम होतो, कारण हे असे दिसते आहे. हे खरंच यावर अवलंबून आहे. कारण हे सर्व मूर कायद्याने चालविले आहे आणि मूरचा कायदा आम्हाला सुमारे सहा वर्षांच्या कालावधीत दहापट गतीचा घटक देईल. मग एकदा आमच्या जवळपास 2013 ची नोंद झाली की हे सर्व संपले आणि आपण अचानक कधीच न केलेल्या दराने वेग वाढवायला सुरुवात केली, जे विलक्षण अभूतपूर्व आहे. गती वाढीच्या बाबतीत आणि आम्हाला दर सहा वर्षांनी विलंब कमी करण्याच्या बाबतीत आमच्याकडे दहाच्या आसपास घटक आहेत. सुमारे २०१० पासून सहा वर्षांत आपल्याकडे किमान एक हजारांची संख्या आहे. एकाऐवजी विशालतेचे तीन ऑर्डर.
हेच चालू आहे आणि म्हणूनच एक मार्ग किंवा दुसर्‍या मार्गाने उद्योग विलक्षण गतीने वाटचाल करत आहे - कारण ते आहे. फक्त या विशिष्ट ग्राफिकच्या अर्थाकडे जात असताना, प्रतिसाद वेळा वास्तविकपणे अनुलंब अक्षांखाली अल्गोरिदम स्केलमध्ये असतात. वास्तविक वेळ म्हणजे संगणकाची गती, मानवांपेक्षा वेगवान. परस्परसंवादी वेळा नारिंगी असतात. जेव्हा आपण संगणकासह संवाद साधता तेव्हा असेच होते जेथे आपण खरोखरच दहावा भाग घेण्यासाठी विलंब करण्याच्या दहा सेकंदात इच्छित आहात. वर, तेथे व्यावहारिक आहे जिथे आपण संगणकात आपण काय करीत आहात याबद्दल आम्ही प्रत्यक्षात विचार करतो परंतु जर ते सुमारे पंधरा सेकंदात बाहेर गेले तर ते असह्य होते. लोक प्रत्यक्षात फक्त संगणकाची प्रतीक्षा करणार नाहीत. सर्व काही बॅचमध्ये केले गेले होते. बॅचमध्ये केल्या जाणा .्या बर्‍याच गोष्टी आता ट्रॅन्झॅक्शनल स्पेस मध्ये, खाली परस्पर जागेत किंवा अगदी रिअल-टाइम स्पेस मध्ये खाली येत आहेत. पूर्वी, आम्ही यापैकी काही अगदी कमी प्रमाणात डेटा असलेली वेव्ही बनवू शकत होतो, परंतु आता आपण मोठ्या प्रमाणात डेटा वापरुन मोठ्या प्रमाणावर मोजमाप केलेल्या वातावरणाचा वापर करू शकतो.
मुळात, हे सर्व खरोखरच व्यवहार आणि परस्पर मानवी प्रतिक्रिया वेळा आहे असे म्हणत आहे. सध्या प्रवाहाबरोबर जे काही केले जात आहे त्यापैकी एक गोष्ट म्हणजे मनुष्यांना गोष्टींबद्दल माहिती देणे. त्यातील काही त्यापेक्षा वेगवान आहे आणि ती सामग्रीस चांगली माहिती देत आहे म्हणून ही वास्तविक वेळ आहे. मग आम्ही त्वरित विश्लेषणास व्यवहार्य आणि योगायोगाने परवडणारे म्हणून दगडाप्रमाणे सोडण्यासाठी परवाना घेतो. फक्त वेग कमी झालेला नाही आणि वरच्या भागावर फक्त घसरण झाली आहे. कदाचित सर्व या सर्व अनुप्रयोगांमधील सर्वात मोठा प्रभाव कदाचित आपण या सर्व भविष्यसूचक विश्लेषणे करू शकता. मी एका मिनिटात का ते सांगेन.
हे फक्त हार्डवेअर स्टोअर आहे. आपणास समांतर सॉफ्टवेअर मिळाले. आम्ही 2004 मध्ये बोलत आहोत. स्केल-आऊट आर्किटेक्चर, मल्टीकोर चिप्स, मेमरी वाढ, कॉन्फिगर करण्यायोग्य सीपीयू. स्पिनिंग डिस्कपेक्षा एसएसडी आता खूप वेगवान आहे. आपण खूपच वेव्ह स्पिनिंग डिस्कला निरोप घेऊ शकता. एसएसडी देखील एकाधिक कोरमध्ये आहेत, म्हणून पुन्हा वेगवान आणि वेगवान. लवकरच दिसेल, आम्हाला एचपी कडून स्मारक मिळाला आहे. आम्हाला इंटेल आणि मायक्रॉनकडून 3 डी एक्सपॉईंट मिळाला आहे. त्यांचे वचन असे आहे की हे सर्व तरीही वेगवान आणि गतीमान बनवेल. जेव्हा आपण खरंच दोन नवीन मेमरी तंत्रज्ञानाचा विचार करत असता, त्या दोन्हीमुळे संपूर्ण मूलभूत लहान तुकडा बनविला जाईल, तेव्हा स्वतंत्र सर्किट बोर्ड वेगवान होईल, आम्ही त्याचा शेवट देखील पाहिलेला नाही.
स्ट्रीम टेक्नॉलॉजी, जे खरंच पुढचे आहे, ते येथेच आहे. एक नवीन वास्तुकला असणार आहे. म्हणजे डेझने आपल्या सादरीकरणात अनेक मुद्द्यांचा उल्लेख केला आहे. अनेक दशके आम्ही आर्किटेक्चरला डेटा हीप्स आणि डेटा पाईप्सचे संयोजन म्हणून पाहिले. आम्ही ढीगांवर प्रक्रिया करण्यास प्रवृत्त केले आणि आम्ही ढीग दरम्यान डेटा पाईप करण्यास प्रवृत्त केले. आम्ही आता लॅम्बडा डेटा आर्किटेक्चर ज्याला कॉल करतो त्याकडे मूलभूतपणे वाटचाल करीत आहोत ज्या डेटाच्या प्रक्रियेस डेटा ढीगसह एकत्रित करतात. जेव्हा आपण प्रत्यक्ष डेटाच्या प्रवाहात किंवा डेटाच्या ढीग म्हणून ऐतिहासिक डेटाच्या विरूद्ध कार्यक्रमांच्या प्रवाहावर प्रक्रिया करीत असता, तेव्हाच ते लॅम्बडा आर्किटेक्चरद्वारे मला म्हणायचे होते. हे त्याच्या बालपणात आहे. हा चित्राचा फक्त एक भाग आहे. डेझने ज्याचा उल्लेख केला आहे अशा इंटरनेटच्या प्रत्येक गोष्टीसाठी जटिल काहीतरी मानले तर आपल्यास प्रत्यक्षात हे समजेल की डेटा प्रवाहातील सर्व प्रकारच्या समस्या आहेत - आपण प्रवाहामध्ये काय प्रक्रिया करावी हे निर्णय.
मी येथे खरोखर सांगत असलेली गोष्ट अशी आहे की जेव्हा आम्ही बॅचमध्ये प्रक्रिया करीत होतो, आम्ही प्रत्यक्षात प्रवाहांवर प्रक्रिया करीत होतो. आम्ही एका वेळी हे करू शकत नाही. सामग्रीचा मोठा ढीग येईपर्यंत आम्ही थांबतो आणि त्यानंतर आम्ही एकाच वेळी त्यावर प्रक्रिया करतो. आम्ही अशा परिस्थितीत जात आहोत जिथे आम्ही प्रवाहात सामग्रीवर प्रत्यक्षात प्रक्रिया करू शकतो. आम्ही प्रवाहात सामग्रीवर प्रक्रिया करू शकत असल्यास आमच्याकडे असलेले डेटा ढीग स्थिर डेटा असेल ज्याचा आम्हाला प्रवाहात डेटावर प्रक्रिया करण्यासाठी संदर्भ आवश्यक आहे.
हे आपल्याला या विशिष्ट गोष्टीकडे घेऊन जाते. जैविक सादृश्यासह काही सादरीकरणात मी यापूर्वी उल्लेख केला आहे. आपण ज्या पद्धतीने विचार करू इच्छित आहात त्याक्षणी आपण मनुष्य आहोत. रीअल-टाइम भविष्यवाणी प्रक्रियेसाठी आमच्याकडे तीन भिन्न नेटवर्क आहेत. त्यांना सोमाटिक, स्वायत्त आणि आंत्र म्हणतात. आतड्यांसंबंधी आपले पोट आहे. स्वायत्त मज्जासंस्था लढा आणि उड्डाणे यावर लक्ष ठेवते. हे खरोखर वातावरणास वेगवान प्रतिक्रियांचे निरीक्षण करते. शरीराची हालचाल पाहणारा सोमाटिक. त्या रिअल-टाइम सिस्टम आहेत. त्याबद्दलची मनोरंजक गोष्ट - किंवा मला असे वाटते की ते एक प्रकारचे मनोरंजक आहे - ही बर्‍याचपैकी भविष्यवाणी आहे ज्यांची तुम्ही कल्पनाही केली नाही. जणू आपण आपल्या चेह from्यापासून सुमारे 18 इंचाच्या आसपास स्क्रीन पहात आहात. आपण स्पष्टपणे पाहू शकता की आपले शरीर स्पष्टपणे पाहण्यास सक्षम आहे ते 8 fact 10 आयताबद्दल प्रत्यक्षात आहे. त्याअगोदर आपल्या शरीराबाहेरची प्रत्येक गोष्ट अस्पष्ट आहे परंतु आपले मन खरोखरच अंतर भरत आहे आणि ते अस्पष्ट नाही. आपल्याला अजिबात अस्पष्ट दिसत नाही. आपण ते स्पष्टपणे पाहता. आपल्याला हे स्पष्टता दिसावे यासाठी आपले मन डेटा प्रवाहाची भविष्यवाणी करण्याची पद्धत प्रत्यक्षात करत आहे. ही एक जिज्ञासू गोष्ट आहे परंतु आपण तंत्रिका तंत्राचे कार्य कसे करतात आणि आपण कसे फिरत आहोत आणि वाजवी वागण्याचे व्यवस्थापन करतो त्याकडे आपण पहात आहात - आपल्यापैकी किमान काही तरी - समजूतदारपणाने आणि सर्वकाळ गोष्टींना अडथळा आणत नाहीत.
हे सर्व येथे न्यूरल ticsनालिटिक्स स्केलच्या मालिकेद्वारे केले गेले आहे. काय होणार आहे ते म्हणजे संस्था एकाच प्रकारची वस्तू घेणार आहेत आणि त्याच प्रकारच्या वस्तू तयार करणार आहेत आणि त्या संस्थेच्या अंतर्गत प्रवाहांसह प्रवाहांची प्रक्रिया करणार आहेत - ज्या गोष्टी आतून घडत आहेत त्या, ज्या गोष्टी त्या बाहेरील घडतात, त्वरित प्रतिसाद ज्या प्रत्यक्षात घ्याव्या लागतात ते म्हणजे निर्णय घेणे आणि या सर्व गोष्टी घडवून आणण्यासाठी माणसाला आहार देणे. मी जिथून जात आहोत तिथेच हे आहे.
त्या परिणामी एक गोष्ट म्हणजे स्ट्रीमिंग अ‍ॅप्लिकेशनची पातळी चांगली चालली आहे. आम्ही आता पाहण्यापेक्षा भयंकर गोष्टी घडणार आहोत. आत्ता, आम्ही ज्या गोष्टी स्पष्ट दिसत आहेत त्या करण्याच्या कमी-फांद्या घेत आहोत.
असं असलं तरी येथे निष्कर्ष आहे. स्ट्रीमिंग ticsनालिटिक्स ही एकेकाळी कोनाडा होती परंतु ती मुख्यधारा होत आहे आणि लवकरच ती सर्वसाधारणपणे स्वीकारली जाईल.
त्याद्वारे मी ते पुन्हा रेबेकाकडे पाठवीन.
रेबेका जोझवियाक: खूप खूप धन्यवाद, रॉबिन. नेहमीप्रमाणे छान सादरीकरण.
आनंद, तू पुढे आहेस. मजला आपला आहे.
आनंद वेणुगोपालः विलक्षण. धन्यवाद.
माझे नाव आनंद वेणुगोपाल आहे आणि मी स्ट्रीमअनॅलिटीक्सचे उत्पादन प्रमुख आहे. हे लॉस गॅटोस, कॅलिफोर्निया बाहेर इम्पेटस टेक्नोलॉजीजद्वारे ऑफर केलेले उत्पादन आहे.
मोठ्या उद्योगांसाठी मोठा डेटा सोल्यूशन प्रदाता असण्यामध्ये प्रेरणाचा वास्तविक इतिहास होता. म्हणून आम्ही एक सेवा कंपनी म्हणून प्रत्यक्षात अनेक स्ट्रीमिंग implementनालिटिक्स कार्यान्वयन केले आणि आम्हाला बरेच धडे मिळाले. आम्ही गेल्या काही वर्षांत एक उत्पादन कंपनी आणि सोल्यूशन्स-ड्राईव्ह कंपनी बनण्याकडेही बदल केला आणि स्ट्रीम ticsनालिटिक्स मुख्यत्वे उत्पादित कंपनीत प्रेरणा बदलण्याचे काम करत आहेत. अशा काही गंभीर, अत्यंत महत्वाच्या मालमत्ता आहेत ज्या आमच्या उद्यमांबद्दलच्या प्रदर्शनामुळे प्रोफेसने साफ केल्या आणि स्ट्रीमएनालिटिक्स त्यापैकी एक आहे.
आम्ही व्यवसायात 20 वर्षे आहोत आणि तेथे उत्पादन आणि सेवा यांचे मिश्रण आहे जे आम्हाला एक मोठा फायदा करते. आणि प्रवाहातील आमच्या पहिल्या पाच किंवा सहा अंमलबजावणींमधून शिकलेल्या सर्व धड्यांमधून स्ट्रीमएनालिटिक्सचा जन्म झाला.
मी काही गोष्टींवर लक्ष देईन, परंतु देझ आणि रॉबिन या विश्लेषकांनी एकूण जागा व्यापून टाकण्यासाठी एक आश्चर्यकारक काम केले आहे जेणेकरून मी आच्छादित होणारी बर्‍याच सामग्री वगळणार आहे. मी कदाचित वेगाने जाऊ. आम्ही खरोखरच बॅच प्रवेग वापरुन ख streaming्या स्ट्रीमिंगच्या घटनांबरोबरच पाहतो जिथे उद्योजकांमध्ये अक्षरशः अत्यंत, अत्यंत महत्त्वपूर्ण बॅच प्रक्रिया असतात. आपण पहातच आहात की, इव्हेंटचा संवेदना करणे आणि त्यावर कार्य करणे आणि कार्य करणे या संपूर्ण चक्रात खरोखर मोठ्या उद्योगांमध्ये आठवडे लागू शकतात आणि ते सर्व काही मिनिटांत आणि कधीकधी सेकंद आणि मिलिसेकंदपर्यंत ते कमी करण्याचा प्रयत्न करीत आहेत. या सर्व बॅच प्रक्रियेपेक्षा वेगवान कोणतीही गोष्ट व्यवसाय संपादनासाठीचे उमेदवार आहेत आणि हे अगदी चांगले आहे की डेटाचे मूल्य त्याच्या वयाबरोबर नाटकीयदृष्ट्या कमी होते, म्हणूनच नुकतेच घडलेल्या सेकंदात त्यापेक्षा जास्त मूल्य प्रारंभिक भागात असते. तद्वतच, आपण जे घडणार आहे त्याचा अंदाज लावू शकता तर ते सर्वात जास्त मूल्य आहे. तथापि ते अचूकतेवर अवलंबून आहे. पुढील उच्चतम मूल्य जेव्हा ते तेथे असते तेव्हाच असते तेव्हा आपण त्याचे विश्लेषण आणि प्रतिसाद देऊ शकता. नक्कीच, त्यानंतर मूल्य नाटकीयरित्या कमी होते, ज्यामध्ये आम्ही समाविष्ट असलेल्या मुख्य प्रतिबंधात्मक बीआय.
हे मनोरंजक आहे स्ट्रीमिंग ticsनालिटिक्ससाठी आपल्याला काही नाटकीय वैज्ञानिक उत्तराची अपेक्षा असेल. बर्‍याच घटनांमध्ये, आपण पहात असलेले हेच कारण ते आता शक्य झाले आहे आणि सर्वांना माहित आहे की बॅच जुना आहे, बॅच कंटाळवाणा आहे आणि बॅच छान नाही. तेथे पुरेसे शिक्षण आहे की येथे प्रवाहित करणे शक्य आहे आणि प्रत्येकाकडे आता हडूप आहे. आता हडूप वितरणात स्ट्रीमिंग तंत्रज्ञान अंतःस्थापित आहे, मग ते वादळ असो की स्पार्क प्रवाह असो किंवा अर्थातच रांगा, जसे काफ्का इ.
आम्ही पहात असलेले उद्योग त्यामध्ये उडी घेत आहेत आणि या प्रकरणांचा प्रयोग करण्यास प्रारंभ करीत आहेत आणि आम्ही दोन विस्तृत श्रेणी पहात आहोत. एखाद्याचा ग्राहक विश्लेषणे आणि ग्राहकांच्या अनुभवात आणि दुसर्‍या ऑपरेशनल बुद्धिमत्तेशी काहीतरी संबंध आहे. मी त्या नंतर थोड्या वेळात तपशीलांमध्ये प्रवेश करू. संपूर्ण ग्राहक सेवा आणि ग्राहक अनुभवाचा कोन आणि आम्ही इम्पेटस स्ट्रीमअनॅलिटीक्स मध्ये बर्‍याच प्रकारे वेगवेगळ्या प्रकारे हे केले आहे, खरोखरच ग्राहकांच्या एकाधिक-चॅनेल गुंतवणूकीचे वास्तविक वेळी प्राप्त केले आहे आणि त्यांना खूप संवेदनशील अनुभव दिले आहेत जे आज सामान्य नाहीत. आपण वेबवर, बँक ऑफ अमेरिका वेबसाइटवर ब्राउझ करीत असल्यास आणि आपण काही उत्पादनांवर संशोधन करीत असाल आणि आपण कॉल सेंटरवर कॉल करा. ते म्हणतील, "हे जो, मला माहित आहे की आपण काही बँकिंग उत्पादनांचा शोध घेत आहात, आपण मला भरण्यास इच्छिता काय?" आपण आज अशी अपेक्षा करत नाही, परंतु स्ट्रीमिंग withनालिटिक्सद्वारे खरोखर शक्य झालेला असा अनुभव आहे. बर्‍याच प्रकरणांमध्ये, यात मोठा फरक पडतो, खासकरुन जर ग्राहकांनी आपल्या वेबसाइटवरील लवकर बंदीच्या कलमे किंवा लवकर संपुष्टात येणा terms्या अटी आणि शर्ती पाहून आपल्याशी केलेला करार रद्द करण्याच्या मार्गांवर संशोधन करण्यास सुरवात केली असेल तर कॉल करा आणि आपण सक्षम नसाल त्याबद्दल थेट त्यांचा सामना करा परंतु अप्रत्यक्षपणे पहिल्यांदा कोणत्या प्रकारच्या पदोन्नतीबद्दल ऑफर द्या कारण सिस्टमला हे माहित आहे की ही व्यक्ती लवकर संपुष्टात येण्याकडे पहात आहे आणि आपण त्या त्या वेळी ऑफर करता, आपण त्या मंथन करणार्या ग्राहकाचे रक्षण करू शकता आणि त्या मालमत्तेचे रक्षण करू शकता. .
हे एक उदाहरण असेल, तसेच बर्‍याच ग्राहक सेवा ही खूप चांगली उदाहरणे आहेत. आम्ही आज अंमलबजावणी करीत आहोत कॉल सेंटरमधील किंमत कमी करण्याबरोबरच ग्राहकांना नाटकीय आनंददायक अनुभवही प्रदान करतो. उपयोगाच्या काही घटनांच्या सारांशात देझने एक चांगले काम केले. आपण या चार्टवर दोन मिनिटांकडे पाहू शकता. मी त्याला वर्टिकल, क्षैतिज आणि कॉम्बो क्षेत्रे, आयओटी, मोबाइल अॅप आणि कॉल सेंटर म्हणून वर्गीकृत केले. ते सर्व अनुलंब आणि क्षैतिज आहेत. आपण त्याकडे कसे पाहता यावर ते अवलंबून आहे. तळाशी ओळ, आम्ही आडव्या उपयोगांचा चांगला व्यवहार पाहतो जे उद्योगातील अनुलंब भागात सामान्यपणे आढळतात आणि आर्थिक सेवा, आरोग्य सेवा, दूरसंचार, उत्पादन इत्यादींसह एक अनुलंब विशिष्ट उपयोग प्रकरणे आपण स्वत: ला प्रश्न विचारत असल्यास किंवा स्वत: ला सांगत असल्यास ते, “अगं, मला काय माहित नाही की तिथे काय उपयोग आहेत. माझ्या कंपनीसाठी किंवा आमच्या एंटरप्राइझसाठी स्ट्रीमिंग ticsनालिटिक्समध्ये खरोखरच काही व्यवसाय मूल्य आहे की नाही याची मला खात्री नाही, ”विचार करा, दोनदा विचार करा. अधिक लोकांशी बोला कारण अशी काही प्रकरणे आहेत जी आज तुमच्या कंपनीत संबंधित आहेत. व्यवसायाचे मूल्य नक्की कसे घेतले जाते यावर मी व्यवसाय मूल्यात प्रवेश करू.
इथल्या पिरॅमिडच्या तळाशी, आपल्याकडे भविष्यसूचक देखभाल, सुरक्षा, मंथन इ. संरक्षण आहे. अशा प्रकारच्या वापरात कमाई आणि मालमत्तेचे संरक्षण होते. जर लक्ष्याने काही तास आणि आठवड्यांत त्यांच्या सुरक्षा उल्लंघनाचे रक्षण केले तर सीआयओ आपली नोकरी वाचवू शकला असता. यामुळे दहापट किंवा शेकडो कोट्यवधी डॉलर्स वाचू शकतील. रीअल-टाइम स्ट्रीमिंग analyनालिटिक्स त्या मालमत्तांचे संरक्षण करण्यास आणि नुकसानीस प्रतिबंधित करण्यास खरोखर मदत करतात. हेच तेथे थेट व्यवसाय मूल्य जोडले गेले.
पुढील श्रेणी अधिक फायदेशीर होत आहे, आपली किंमत कमी करते आणि चालू ऑपरेशनमधून अधिक उत्पन्न मिळविते. सध्याच्या एंटरप्राइझची ही कार्यक्षमता आहे. त्या सर्व प्रकारची वापर प्रकरणे आहेत ज्याला आम्ही रिअल-टाईम ऑपरेशनल इंटेलिजेंस म्हणतो जेथे आपण नेटवर्क कसे वर्तन करीत आहे, आपल्या ग्राहकांच्या ऑपरेशन्सचे वर्तन कसे आहे, आपली व्यवसाय प्रक्रिया कशी चालत आहे याबद्दल आपण अंतर्दृष्टी प्राप्त करीत आहात आणि आपण चिमटा काढण्यास सक्षम आहात. या सर्व वास्तविक वेळात कारण आपल्याला अभिप्राय मिळाला, आपल्याला सतर्कता प्राप्त होते. आपल्यास रिअल टाइममध्ये विचलन, रूपे मिळतात आणि आपण त्वरीत कार्य करू आणि मर्यादेबाहेर जात असलेल्या प्रक्रियेस वेगळी करू शकता.
आपण महागड्या भांडवलाच्या अपग्रेड्समध्ये आणि आपल्या नेटवर्क सेवा ऑप्टिमाइझ केल्यास ऑप्टिमाइझ केल्यास आवश्यक नसलेल्या गोष्टी आवश्यक असलेल्या पैशांमध्ये आपण मोठ्या प्रमाणात बचत देखील करू शकता. आम्ही असे प्रकरण ऐकले आहे की एका प्रमुख टेलकोने त्यांच्या नेटवर्क इन्फ्रास्ट्रक्चरमध्ये million 40 दशलक्ष अपग्रेड करण्यास स्थगित केले कारण त्यांना आढळले की त्यांच्याकडे सध्याचे रहदारी व्यवस्थापित करण्यासाठी त्यांच्याकडे पुरेशी क्षमता आहे, जे त्यांच्या रहदारीचे बुद्धिमान मार्ग आणि त्यासारख्या गोष्टी चांगल्या प्रकारे करून अधिक चांगले कार्य करून आहे. वास्तविकतेतील त्या अंतर्दृष्टींवर कार्य करणार्या काही रीअल-टाइम inनालिटिक्स आणि कृती तंत्रज्ञानाद्वारेच हे सर्व शक्य आहे.
व्हॅल्यू addडची पुढील पातळी म्हणजे विक्री, क्रॉस सेल, जिथे सध्याच्या ऑफरमधून अधिक उत्पन्न आणि नफा कमविण्याची संधी आहे. हे एक उत्कृष्ट उदाहरण आहे की आपल्यातील बर्‍याच जणांना माहित आहे की त्यांनी अनुभवलेल्या गोष्टींबद्दल काय आहे, आपण आपल्या आयुष्यात असा विचार करता जिथे आपण आज एखादे उत्पादन खरेदी करण्यास तयार आहात ज्याची आपल्याला ऑफर केली जात नाही. बर्‍याच बाबतीत, बर्‍याच बाबतीत असे घडते. आपल्या मनात अशा गोष्टी आहेत ज्या आपल्याला खरेदी करावयाच्या आहेत हे आपल्याला माहित आहे, आपल्याकडे करण्याच्या नावाची यादी आहे की काहीतरी आहे, आपल्या पत्नीने आपल्याला सांगितले आहे किंवा आपल्याकडे बायको नसेल तर आपल्याला खरोखर खरेदी करायचे आहे आणि आपण एकतर वेबसाइटवर खरेदी करण्यासाठी जाता किंवा आपण किरकोळ स्टोअरमध्ये संवाद साधता, स्टोअरफ्रंटकडे फक्त कोन नसते, आपल्यास आवश्यक असलेल्या गोष्टी मोजण्याची बुद्धिमत्ता नसते. म्हणूनच, त्यांचा व्यवसाय सुरक्षित मिळत नाही. जर स्ट्रीमिंग ticsनालिटिक्स खरोखर अचूक अंदाज लावण्यासाठी तैनात केले जाऊ शकतात आणि या स्थानावर या ग्राहक या विशिष्ट फसवणूकीच्या गोष्टीस खरोखर अनुकूल असतील तर, तेथे बरेच विक्री-क्रॉस-सेल आहे आणि ते पुन्हा येते. स्ट्रीमिंग thisनालिटिक्स - जेव्हा एखादी संधी असेल तेव्हा या ग्राहकाला सत्याच्या त्या क्षणी काय विकत घेण्याची किंवा प्रतिसाद देण्याची शक्यता आहे यावर निर्णय घेण्यास सक्षम म्हणूनच मला ते चित्र आवडते जे डेझने अस्वलाबरोबर फक्त ते मासे खाण्यासाठी दाखवले. तेवढेच.
आम्हाला असेही वाटते की ग्राहकांच्या वर्तनाचे निरीक्षण करून केवळ नवीन उत्पादने व सेवा दिल्या जाणाprise्या एंटरप्राइजेसमध्ये नाट्यमय, परिवर्तनशील बदल घडून आले आहेत, हे सर्व दुसर्‍या एंटरप्राइझच्या वर्तनाचे निरिक्षण आधारित आहे. जर आपण असे म्हणू, की एखादी टेलको किंवा केबल कंपनी खरोखर बाजारपेठेतील कोणत्या विभागातील ग्राहकांच्या वापराचे नमुन्यांचे निरीक्षण करीत आहे, कोणत्या कार्यक्रमात, कोणत्या कार्यक्रमात इत्यादी प्रत्यक्षात पाहत असेल तर जवळजवळ भीक मागितली जाणारी उत्पादने आणि सेवा तयार करतात. कशा प्रकारे तरी. म्हणूनच आत्ता बहु-स्क्रीन वर्तनाची संपूर्ण संकल्पना जिथे आपण आता जवळजवळ घेत आहोत आहोत त्याबद्दल आम्ही आपल्या मोबाइल अॅप्सवर टीव्ही किंवा केबल सामग्री पाहू शकतो. त्यापैकी काही उदाहरणे आम्हाला देण्यात येत असलेल्या नवीन उत्पादने आणि सेवांमधून येत आहेत.
मी "स्ट्रीमिंग ticsनालिटिक्सच्या आर्किटेक्चरची काय विचारधारे आहे?" मध्ये प्रवेश करू. हे शेवटी आम्ही करण्याचा प्रयत्न करीत आहोत. ही लॅम्बडा आर्किटेक्चर आहे जिथे आपण ऐतिहासिक डेटा आणि रीअल-टाइम अंतर्दृष्टी एकत्रित करीत आहात आणि त्याच वेळी ते पहात आहात. तेच सिग्मा सक्षम करते. आज आपल्या सर्वांचे बॅच आर्किटेक्चर आणि एंटरप्राइझ पिक्चर आहे. आम्ही काही प्रकारचे बीआय स्टॅक आणि उपयोग स्टॅकमध्ये डोकावत आहोत आणि लॅम्बडा आर्किटेक्चर जोडले. स्पीड लेयर किंवा गरज आणि लॅम्बडा हे दोन्ही अंतर्दृष्टी विलीन करण्याच्या आणि एकत्रित मार्गाने, दोन्ही अंतर्दृष्टी एकत्रित करणारे समृद्ध मार्गाने पाहण्यासारखे आहे.
कप्पा आर्किटेक्चर नावाचा आणखी एक नमुना आहे ज्याचा प्रस्ताव दिला जात आहे जिथे असा अंदाज व्यक्त केला जात आहे की स्पीड लेयर ही एकमेव इनपुट यंत्रणा आहे जी दीर्घकाळ टिकेल. या स्पीड लेयरमधून सर्व काही येणार आहे. ऑफलाइन ईटीएल यंत्रणा देखील असणार नाही. सर्व ईटीएल होईल. क्लीन्स, डेटा क्लीनिंग, क्वालिटी ईटीएल - हे सर्व वायरवर होईल, कारण लक्षात ठेवा सर्व डेटा रिअल टाइममध्ये जन्माला आला होता. कधीतरी ती खरी वेळ होती. आम्ही हे तलाव, नद्या आणि समुद्रांवर ठेवण्याची इतकी सवय लावली आहे, की स्थिर विश्लेषणावर असे करून आम्ही विसरलो की डेटा वास्तवात कधीतरी जन्मला होता.सर्व डेटा प्रत्यक्षात जन्मलेल्या वास्तविक घटनेच्या रूपात जन्माला आला आहे आणि आज तलावावरील बहुतेक डेटा नंतरच्या विश्लेषणासाठी डेटाबेसवर आला आहे आणि आता आम्हाला लॅंबडा आणि कप्पा आर्किटेक्चरमध्ये खरोखर फायदा झाला आहे. ते पाहणे, त्याचे विश्लेषण करणे, त्याचे पूर्व-प्रक्रिया करणे आणि त्याचे आगमन झाल्यावर त्यावर प्रतिक्रिया देणे. या तंत्रज्ञानाद्वारे हे सक्षम केले गेले आहे. जेव्हा आपण एकूणच चित्र म्हणून पाहता तेव्हा असे दिसते की आतमध्ये हडूप तेथे आहे, तेथे एमपीपी आणि आपल्याकडे असलेले डेटा वेअरहाऊस आहेत.
आम्ही हे मांडले कारण बेटावर फक्त नवीन तंत्रज्ञानाविषयी न बोलणे महत्वाचे आहे. त्यांना समाकलित करावे लागेल. त्यांना सध्याच्या एंटरप्राइझ कॉनमध्ये समजून घ्यावे लागेल, आणि उद्योगांसाठी सेवा देणारे सोल्यूशन प्रोव्हाईडर म्हणून आम्ही या बाबतीत अतिशय संवेदनशील आहोत. आम्ही उद्योजकांना अशा प्रकारे संपूर्ण गोष्ट समाकलित करण्यात मदत करतो. डाव्या बाजूला हॅडॉप आणि डेटा वेअरहाऊस थर तसेच वरच्या रिअल-टाइम लेयरला डावीकडील डेटा स्त्रोत उपलब्ध आहेत आणि त्यातील प्रत्येक घटक आपण पाहू शकता तसा स्टॉक संगणक आहेत आणि डेटा वापर स्तर उजवीकडे आहे बाजूला बहुतेक अनुपालन, प्रशासन, सुरक्षा, जीवन चक्र व्यवस्थापन इत्यादी हलविण्यासाठी सतत प्रयत्न केले जातात, आज उपलब्ध असलेल्या सर्व गोष्टी या नवीन तंत्रज्ञानामध्ये जमा केल्या आहेत.
स्ट्रीम ticsनालिटिक्स एक करण्याचा प्रयत्न करीत आहे, जर आपण आज लँडस्केपकडे पाहिले तर स्ट्रीमिंग टेक्नॉलॉजीच्या लँडस्केपमध्ये आणि एंटरप्राइझ ग्राहकांच्या दृष्टीकोनातून बर्‍याच गोष्टी चालू आहेत. चालू ठेवण्यासाठी बरेच काही आहे. डाव्या बाजूला डेटा गोळा करणारी यंत्रणा आहेत - निफा, लॉगस्टाश, फ्ल्यूम, स्क्वूप. हे स्पष्ट नाही की मी ते पूर्णपणे विसरत नाही असे म्हणत एक अस्वीकरण ठेवले आहे. रांगेत येणे आणि नंतर मुक्त-स्रोत प्रवाह इंजिनमध्ये येणे - वादळ, स्पार्क स्ट्रीमिंग, समझा, फ्लिंक, अ‍ॅपेक्स, हेरॉन. हेरोन बहुधा अद्याप मुक्त स्त्रोत नाही. मला खात्री नाही की ते आहे की नाही. त्यानंतर ते स्ट्रीमिंग इंजिन जटिल इव्हेंट प्रोसेसिंग, मशीन लर्निंग, प्रेडिक्टिव्ह analyनालिटिक्स, अलर्टिंग मॉड्यूल, स्ट्रीमिंग ईटीएल, संवर्धन सांख्यिकीय ऑपरेशन फिल्टर्स सारख्या सेटअप ticalनालिटिकल componentप्लिकेशन घटकाचे समर्थन करतात. हे सर्व आम्ही आता ऑपरेटर म्हणतो. आवश्यक असल्यास स्ट्रिमिंग अ‍ॅप्लिकेशन बनल्यास स्ट्रीमिंग applicationप्लिकेशन बनल्यास एकत्र जोडले जाणारे अशा ऑपरेटरचा संच संभाव्यत: काही सानुकूल देखील मोठ्या प्रमाणावर निष्कर्ष काढू शकेल.
घटकांच्या साखळीचा एक भाग म्हणून, आपल्याला आपल्या पसंतीच्या डेटाबेसमध्ये, आपल्या पसंतीच्या अनुक्रमणिकेत डेटा संग्रहित आणि अनुक्रमित करणे देखील आवश्यक आहे. आपल्याला कदाचित कॅशे देखील वितरित करावे लागेल ज्यामुळे उजव्या बाजूस उजवीकडील डेटा व्हिज्युअलायझेशन लेयर वर व्यापारी उत्पादने किंवा ओपन सोर्स उत्पादनांपर्यंत पोहोचले जाईल, परंतु अखेरीस त्या डेटाला रिअल टाइममध्ये व्हिज्युअलाइझ करण्यासाठी आपल्याला काही प्रकारचे उत्पादन आवश्यक आहे. तसेच, आपल्याला कधीकधी इतर अनुप्रयोगांची आकृती आवश्यक आहे. आपण सर्वांनी पाहिले आहे की आपण अंतर्दृष्टीवर घेतलेल्या क्रियेमुळेच प्राप्त केलेली मूल्ये, ती क्रिया विश्लेषक स्टॅकपासून दुसर्‍या अ‍ॅप्लिकेशन स्टॅकमध्ये ट्रिगर होईल जी कदाचित आयव्हीआरच्या बाजूने काहीतरी बदलली असेल किंवा कॉल सेंटर चालू करेल. परदेशी कॉल किंवा असे काहीतरी. आम्हाला डेटा प्रवाहात डेटाबेसच्या इतर अनुप्रयोगांचे ट्रिगर करण्यासाठी आपल्या स्ट्रीमिंग क्लस्टरसाठी एकत्रीत प्रणाली आणि काही यंत्रणा असणे आवश्यक आहे.
डावीकडून उजवीकडे जाण्यापासून हे एकूणच स्टॅक आहे. मग आपल्याकडे सर्व्हिस लेयर्स, मधले मॉनिटरींग, सुरक्षा सामान्य सेवा स्तर इ. तेथे असलेल्या एंटरप्राइझ स्पेसमध्ये अशी कोणती उत्पादने आहेत जी ग्राहक हदोप डिस्ट्रीब्यूशनसारखी दिसत आहेत ज्यात मी म्हटल्याप्रमाणे सर्व प्रवाह आहेत. -वेंड्रेर सोल्यूशन्स जे आमच्या प्रतिस्पर्ध्यांमध्ये स्पष्टपणे आहेत. लँडस्केपमध्ये आणखीही बरेच काही आहेत ज्यांचा आपण येथे उल्लेख केलेला नाही.
आपण तेथे जे पहात आहात ते एंटरप्राइझ वापरकर्ता पहात आहे. प्रवाह प्रक्रियेसाठी एक जटिल आणि वेगाने विकसित होत जाणारी तंत्रज्ञान लँडस्केप, आपण पहातच. आम्हाला निवड आणि त्यांचा वापरकर्ता अनुभव सुलभ केला. आम्हाला वाटते की उद्योजकांना खरोखर आवश्यक असलेली एक म्हणजे स्टॉप-शॉपमध्ये वापरण्यास सुलभ इंटरफेस आहे ज्यायोगे ती सर्व तंत्रज्ञान एकत्र येते जे वापरण्यास खरोखर सोपे करते आणि सर्व हालचाल भाग उघडकीस आणत नाही. आणि निकृष्टता आणि कार्यप्रदर्शन समस्या आणि एंटरप्राइझमध्ये जीवन चक्र देखभाल समस्या.
कार्यक्षमता गोषवारा एक आहे. दुसरा भाग स्ट्रीमिंग इंजिन अ‍ॅब्स्ट्रॅक्शन आहे. स्ट्रीमिंग इंजिन आणि मुक्त-स्त्रोत डोमेन आता दर तीन, चार किंवा सहा महिन्यांनतर परत येत आहेत. हे बर्‍याच दिवसांपासून वादळ होते. समझा आला आणि आता तो स्पार्क स्ट्रीमिंग आहे. फ्लिंक लक्ष वेधून घेण्यासाठी डोके वर काढत आहे. जरी स्पार्क स्ट्रीमिंग रोडमॅप, ते शुद्ध इव्हेंट प्रक्रियेसाठी वेगळ्या इंजिनचा संभाव्यतः वापर करण्याचा मार्ग शोधत आहेत कारण त्यांना हे देखील लक्षात आले आहे की स्पार्क बॅचसाठी डिझाइन केले होते आणि ते त्यांच्या आर्किटेक्चर व्हिजनमध्ये आणि संभाव्यत: वेगळ्या मार्गाने त्यांचा रोडमॅप तयार करीत आहेत. स्पार्क स्ट्रीमिंगमधील सद्य मायक्रोबॅच पॅटर्न व्यतिरिक्त स्ट्रीम प्रोसेसिंगसाठी इंजिन.
हे खरं आहे की आपणास संघर्ष करावा लागेल की बरेच उत्क्रांती होणार आहेत. आपल्याला त्या तंत्रज्ञानाच्या ओघापासून खरोखर स्वतःचे रक्षण करणे आवश्यक आहे. कारण डीफॉल्टनुसार, आपल्याला एक निवडावे लागेल आणि नंतर त्यासह जगावे लागेल, जे इष्टतम नाही. जर आपण त्याकडे दुसर्‍या मार्गाने पहात असाल तर, आपण दरम्यान संघर्ष करीत आहात, “ठीक आहे, मला मालकीचे प्लॅटफॉर्म विकत घ्यायचे आहे जेथे लॉक-इन नाही, मुक्त स्त्रोताचा कोणताही फायदा नाही, खूप जास्त खर्च आणि मर्यादित असू शकेल. या सर्व ओपन सोर्स स्टॅक विरूद्ध लवचिकता जिथे आपणास स्वतः करावे लागेल. "पुन्हा, जसे मी म्हटल्याप्रमाणे, खूप खर्च होतो आणि बाजारात येण्यास विलंब होतो. स्ट्रीमअनॅलेटीक्स हे एक उत्तम व्यासपीठ आहे जे एंटरप्राइझ क्लास, विश्वासार्ह, एकल विक्रेता, व्यावसायिक सेवा समर्थीत आहे - हे सर्व आपल्याला खरोखर एक एंटरप्राइझ म्हणून आवश्यक आहे आणि मुक्त स्त्रोत पर्यावरणीय प्रणालीच्या लवचिकतेची शक्ती आहे जिथे एकच प्लॅटफॉर्म त्यांना एकत्र आणते - इनजेस्ट, सीईपी, ticsनालिटिक्स, व्हिज्युअलायझेशन आणि हे सर्व.
हे देखील एक अतिशय, अगदी अद्वितीय गोष्ट करते, जी एका वापरकर्त्याच्या अनुभवाखाली अनेक भिन्न तंत्रज्ञान इंजिन एकत्रित करते. आम्हाला खरोखर वाटते की भविष्यकाळ अनेक स्ट्रीमिंग इंजिन वापरण्यात सक्षम आहे कारण भिन्न वापर प्रकरणे खरोखरच भिन्न प्रवाह वास्तूंची मागणी करतात. रॉबिन म्हणाला त्याप्रमाणे, विलंबांचे संपूर्ण स्पेक्ट्रम आहे. जर आपण खरोखरच मिलिसेकंद लेटेन्सी पातळी, दहापट किंवा शेकडो मिलिसेकंदांबद्दल बोलत असाल तर आपल्याला कमीतकमी सुस्तपणा किंवा सुस्त कालावधीसाठी आणखी एक तितकेच परिपक्व उत्पादन आणि काही सेकंदात, तीन, चार, पाच सेकंद, ती श्रेणी, त्यानंतर आपण स्पार्क स्ट्रीमिंग वापरू शकता. संभाव्यत: अशी इतर इंजिन आहेत जी दोन्ही करु शकतील. तळाशी असलेली ओळ, मोठ्या उद्योगात, सर्व प्रकारच्या वापरात येण्याची शक्यता आहे. आपल्याला एका वापरकर्त्याच्या अनुभवासह एकाधिक इंजिन असण्याची प्रवेश आणि सर्वसामान्यता खरोखर हवी आहे आणि आम्हीच स्ट्रीमएनालिटिक्समध्ये तयार करण्याचा प्रयत्न करीत आहोत.
आर्किटेक्चरवर फक्त एक द्रुत दृश्य. आम्ही हे थोडेसे पुन्हा कार्य करणार आहोत, परंतु मूलभूतपणे, डावीकडील अनेक डेटा स्रोत येत आहेत - काफ्का, रेबिटएमक्यू, किनेसिस, Mक्टिव्यूक्यू, हे सर्व डेटा स्रोत आणि रिया प्रवाह प्रक्रिया प्लॅटफॉर्ममध्ये येत आहेत जिथे आपण अॅप एकत्रित करा, जिथे आपण ETL सारख्या ऑपरेटरंकडून ड्रॅग आणि ड्रॉप कराल ज्याबद्दल आम्ही बोललो आहोत. खाली, एकाधिक इंजिन आहेत. आत्ताच आमच्याकडे उद्योगांचे केवळ आणि पहिले एंटरप्राइझ-क्लास स्ट्रीमिंग प्लॅटफॉर्म म्हणून स्टॉर्म आणि स्पार्क स्ट्रीमिंग आहे ज्यात एकाधिक इंजिन समर्थन आहे. रिअल-टाइम डॅशबोर्ड्सची इतर लवचिकता याशिवाय आम्ही देत आहोत ही एक अद्वितीय आणि लवचिकता आहे. सीईटी इंजिन एम्बेड केलेले. आमच्याकडे हॅडूप आणि नोएसक्यूएल इंडेक्स, सोलर आणि अपाचे इंडेक्ससह अखंड एकत्रीकरण आहे. आपण आपल्या आवडीच्या डेटाबेसवर उतरू शकता की काय हे महत्त्वाचे नाही आणि अनुप्रयोग खरोखर द्रुतपणे तयार करू शकता आणि खरोखर पटकन बाजारात येऊ शकता आणि भविष्यातील पुरावा राहू शकता. हा आमचा स्ट्रीमअनॅलेटीक्समधील संपूर्ण मंत्र आहे.
त्यासह, मला वाटते की मी माझ्या टिपण्णीस समाप्त करेन. अधिक प्रश्नांसाठी आमच्याकडे मोकळ्या मनाने. मी प्रश्नोत्तर आणि पॅनेल चर्चेसाठी मजला खुला ठेवू इच्छित आहे.
रेबेका, तुला.
रेबेका जोझवियाक: छान, ठीक आहे. खूप खूप धन्यवाद. डेज आणि रॉबिन, आम्ही प्रेक्षकांकडे प्रश्न व उत्तर देण्यापूर्वी आपल्याकडे काही प्रश्न आहेत काय?
रॉबिन ब्लॉर: मला एक प्रश्न आला आहे. मी माझे हेडफोन परत ठेवतो जेणेकरुन आपण मला ऐकू शकाल. एक मनोरंजक गोष्ट म्हणजे, जर तुम्ही मला दयाळूपणाने हे सांगू शकाल तर मी मुक्त स्त्रोत जागेत जे काही पाहत आहे ते मला माझ्याकडे अपरिपक्व काय म्हणायचे आहे ते दिसते. एका अर्थाने, होय आपण विविध गोष्टी करू शकता. पण असे दिसते आहे की आम्ही सॉफ्टवेअरच्या प्रत्यक्षात पहिल्या किंवा दुसर्‍या रिलीझमध्ये सॉफ्टवेअर पहात आहोत आणि मी फक्त एक संघटना म्हणून तुमच्या अनुभवाने आश्चर्यचकित झालो होतो, तुम्हाला हडूप वातावरणाची अपरिपक्वता किती समस्याग्रस्त वाटते किंवा ती असे काही करत नाही का? टी खूप समस्या निर्माण करू?
आनंद वेणुगोपालः हे वास्तव आहे रॉबिन. आपण निश्चितपणे बरोबर आहात. अपरिपक्वता फक्त कार्यक्षम स्थिरता आणि गोष्टींच्या क्षेत्रातच नसते, परंतु कदाचित त्यातील काही प्रकरणांमध्ये देखील असू शकते. परंतु अपरिपक्वता वापरण्याच्या तयारीत अधिक असते. मुक्त-स्त्रोत उत्पादने बाहेर पडताना आणि जसे की ते हॅडोप वितरणाद्वारे ऑफर केले जातात, त्या सर्व भिन्न सक्षम उत्पादने आहेत, घटक फक्त एकत्रितपणे. ते अखंडपणे एकत्र काम करत नाहीत आणि बँक ऑफ अमेरिका किंवा वेरीझन किंवा एटी अँड टी सारख्या सहज अखंड वापरकर्त्याच्या अनुभवासाठी डिझाइन केलेले नाहीत, जे स्ट्रीमिंग applicationनालिटिक्स अनुप्रयोग आठवड्यातून तैनात करतात. ते निश्चितपणे त्याकरिता डिझाइन केलेले नाहीत. हेच कारण आहे की आपण आत आलो आहोत. आम्ही हे एकत्र आणत आहोत आणि समजून घेणे, उपयोजित करणे इ. खरोखर सोपे करते.
याची कार्यक्षम परिपक्वता, मला असे वाटते की बर्‍याच अंशी तेथे आहे. आज बरेच मोठे उद्योग उदाहरणार्थ वादळ वापरतात. आज बरेच मोठे उद्योग स्पार्क स्ट्रीमिंगसह खेळत आहेत. या प्रत्येक इंजिनची त्यांची मर्यादा आहेत ते काय करू शकतात म्हणूनच आपण काय करू शकता हे जाणून घेणे महत्वाचे आहे आणि आपण प्रत्येक इंजिनसह काय करू शकत नाही आणि आपले डोके भिंती विरुद्ध फोडून म्हणायचे काहीच अर्थ नाही की “मी पहा स्पार्क स्ट्रीमिंग निवडले आणि या विशिष्ट उद्योगात ते माझ्यासाठी कार्य करत नाही. ”हे कार्य करणार नाही. स्पार्क स्ट्रीमिंग हा एक उत्तम पर्याय ठरेल आणि स्पार्क स्ट्रीमिंग आपल्यासाठी अजिबात कार्य करू शकणार नाही अशा उपयोगाची प्रकरणे वापरली जात आहेत. म्हणूनच आपल्याला खरोखर एकाधिक पर्यायांची आवश्यकता आहे.
रॉबिन ब्लॉर: यापैकी बर्‍याच बाबींसाठी आपल्याकडे तज्ञांची टीम असणे आवश्यक आहे. याचा अर्थ असा आहे की हे कशापासून सुरू करावे हे मलासुद्धा माहिती नाही. कुशल व्यक्तींची समजूतदार सहकार्य. आपण गुंतवून ठेवणात कसे गुंतलेले असते आणि ते कसे होते यात मला स्वारस्य आहे. हे कारण आहे की एखादी विशिष्ट कंपनी विशिष्ट अनुप्रयोगानंतर आहे किंवा आपण ज्या प्रकारचे कार्य करीत आहात ज्याला मी सामरिक अवलंबन म्हणून संबोधत आहे जिथे त्यांना संपूर्ण प्लॅटफॉर्म भरपूर काम करावे अशी इच्छा आहे.
आनंद वेणुगोपालः आम्ही रॉबिन या दोघांचीही उदाहरणे पहात आहोत. प्रत्येकास ठाऊक असलेल्या दहा दहा ब्रांडपैकी काही बर्‍याच धोरणात्मक मार्गाने त्याबद्दल बोलत आहेत. त्यांना माहित आहे की त्यांच्याकडे विविध प्रकारचे वापर होणार आहेत जेणेकरून ते त्या प्लॅटफॉर्मचे मूल्यांकन करीत आहेत जे आवश्यकतेनुसार उपयुक्त ठरेल, जे एका एंटरप्राइझमध्ये तैनात केले जाणारे बहु-भाडेकरू पद्धतीने विविध प्रकारचे वापर प्रकरण आहे. तेथे एकल वापर प्रकरण कथा देखील प्रारंभ होत आहेत. तारण कंपनीत आम्ही व्यवसाय करीत आहोत असे एक विशिष्ट व्यवसाय क्रिया नियंत्रीत केले आहे ज्यावर आपण प्रथम उपयोग प्रकरण म्हणून कल्पनाही करणार नाही परंतु ते व्यवसाय समाधान किंवा वापर प्रकरण आहे ज्यायोगे ते पुढे आले आणि त्यानंतर आम्ही बिंदूंना प्रवाहाशी जोडले. . आम्ही म्हणालो, “तुम्हाला काय माहित आहे? स्ट्रीमिंग forनालिटिक्ससाठी हे एक उत्तम प्रकरण आहे आणि आम्ही त्याची अंमलबजावणी कशी करू शकतो. ”हे असे होते. मग त्या प्रक्रियेमध्ये ते शिक्षित होतील आणि म्हणतील, “अरे वा, जर आपण हे करू शकलो आणि जर हे एक सामान्य व्यासपीठ असेल तर आपण अनुप्रयोग विभक्त करू, त्यांना व्यासपीठावर स्तरित करू आणि यावर बरेच भिन्न अनुप्रयोग तयार करू. व्यासपीठ
रॉबिन ब्लॉर: Dez, आपल्याला काही प्रश्न पडले?
आनंद वेणुगोपालः डेझ बहुधा नि: शब्द आहेत.
डेझ ब्लांचफील्ड: दिलगीर आहोत, निःशब्द करा. मी नुकतेच स्वतःशी एक चांगले संभाषण केले. रॉबिनच्या मूळ निरीक्षणाचे फक्त अनुसरण करीत असताना, आपण पूर्णपणे बरोबर आहात. मला वाटते की आता हे आव्हान आहे की उद्योजकांकडे पर्यावरणीय प्रणाली आहे आणि सांस्कृतिक आणि वर्तनात्मक वातावरण आहे जेथे मुक्त आणि मुक्त-स्रोत सॉफ्टवेअर असे काहीतरी आहे जे त्यांना ज्ञात आहे आणि ते फायरफॉक्स सारख्या साधनांचा ब्राउझर म्हणून वापर करण्यास सक्षम आहेत आणि त्यास सभ्यता प्राप्त झाली आहे तो स्थिर आणि सुरक्षित होईपर्यंत जीवनभर. परंतु त्यांनी वापरलेली काही फार मोठी प्लेटफार्म म्हणजे एंटरप्राइझ-ग्रेड मालकीचे प्लॅटफॉर्म. म्हणून मी ओपन-सोर्स प्लॅटफॉर्मवर विचार करतो ते स्वीकारणे नेहमीच त्यांना सांस्कृतिक किंवा भावनिकदृष्ट्या सहज पोहोचणे सोपे नसते. मूलभूत संकल्पना म्हणून फक्त मोठा डेटा आणि विश्लेषणे सह खेळण्यासाठी स्थानिक प्रकल्प असे फक्त लहान कार्यक्रम अवलंब केल्यावर मी हे पाहिले आहे. मला वाटते की त्यातील एक महत्त्वाचे आव्हान आहे, मला खात्री आहे की आपण त्यांना आता संघटनांमध्ये पाहिले आहे, त्यांचा परिणाम मिळण्याची इच्छा आहे परंतु त्याच वेळी त्यांचा एक पाय जुन्या अवस्थेत अडकलेला आहे जिथून ते हे खरेदी करु शकतील. ओरॅकल, आयबीएम आणि मायक्रोसॉफ्ट “एक मोठा ब्रँड घाला”. हे नवीन आणि ज्ञात ब्रॅण्ड्स हॅडॉप प्लॅटफॉर्मसह आणि बरेच काहीसह येत आहेत. अधिक रोमांचक ब्रांड येत आहेत ज्यात प्रवाहासारखे अग्रगण्य तंत्रज्ञान आहे.
आपल्याकडून असे प्रकारची संभाषणे काय झाली आहेत की त्याद्वारे कट केली गेली आहेत? मला माहित आहे की आज सकाळी आमची मोठ्या संख्येने उपस्थिती आहे आणि मला खात्री आहे की प्रत्येकाच्या मनावर एक गोष्ट आहे की “मी संपूर्ण आव्हानात्मक थर बोर्डातून व्यवस्थापन स्तरापर्यंत कसा कमी करू, ओह त्याचे खुले स्रोत आणि खूप रक्तस्त्राव का? "आपल्याकडे ग्राहकांशी असलेली संभाषणे कशी जातात आणि आपण स्ट्रीमएनालिटीक्सच्या आवडीचा अवलंब करण्याच्या विचारात त्या प्रकारच्या भीतीची पूर्तता कशी करता?
आनंद वेणुगोपालः आम्हाला आमचे मूल्य प्रस्ताव विक्री करणे सोपे वाटले आहे कारण ग्राहक नैसर्गिकरित्या एक पर्याय म्हणून मुक्त स्त्रोतांकडे जात आहेत. ते सहजपणे केवळ हार मानत नाहीत आणि म्हणत नाहीत, “ठीक आहे, मी आता मुक्त स्त्रोत जाईन.” ते प्रत्यक्षात एखाद्या मोठ्या उत्पादनाचे अत्यंत वचनबद्ध मूल्यमापन करतात, समजू की ते आयबीएम किंवा विशिष्ट उत्पादन आहे, कारण त्यांच्याकडे आहे हे विक्रेता संबंध ते आमच्याशी किंवा त्या उत्पादनाच्या विरोधात मुक्त-स्त्रोत इंजिनशी वागणार नाहीत. ते सहा ते आठ ते बारा आठवड्यांच्या मूल्यमापनात जातील. ते स्वत: ला पटवून देतील की येथे मला हवे असलेली कामगिरी आणि स्थिरता आहे आणि मग ते म्हणाले, “व्वा, तुला काय माहित आहे, मी खरोखर हे करू शकतो.”
आज उदाहरणार्थ, आमच्याकडे एक प्रमुख स्तरीय एक टेलको आहे ज्याचे उत्पादन स्टॅक्स विश्लेषणे बरेच स्टॅकच्या वर आहेत आणि ते त्याचे मूल्यांकन करीत आहेत की दुसर्‍या अगदी अगदी विख्यात विक्रेत्याविरुद्ध आहे आणि आम्ही सर्व सिद्ध केल्यावरच त्यांना खात्री पटली. कार्यप्रदर्शन, स्थिरता आणि त्या सर्व गोष्टी. ते ते गृहीत धरत नाहीत. खुलासा स्त्रोत त्यांच्या मूल्यमापनांद्वारे सक्षम असल्याचे त्यांना आढळले आणि सर्वात वाईट बाब म्हणजे, “कदाचित अशी दोन उपयोग प्रकरणे आहेत जी मी कदाचित करू शकत नाही परंतु माझ्या बहुतेक व्यवसायांच्या प्रवेग वापराची प्रकरणे आज मुक्त स्त्रोताद्वारे प्रख्यात आहेत. स्टॅक. ”आणि आम्ही त्याचा वापर सक्षम करतो. तर तिथेच ते एक मोठे गोड ठिकाण आहे. त्यांना मुक्त स्त्रोत हवा होता. ते खरोखर विक्रेता लॉक-इन परिस्थितीतून बाहेर पडण्याचा विचार करीत आहेत जे बर्‍याच वर्षांपासून वापरत होते. मग आम्ही येथे येऊन म्हणतो, “आपल्याला काय माहित आहे, आम्ही आपल्यासाठी वापरण्यासाठी मुक्त स्त्रोत बरेच, अधिक सुलभ आणि मैत्रीपूर्ण बनवितो.”
डेझ ब्लांचफील्ड: मला वाटते की उद्योजकांना मिळालेले इतर आव्हान असे आहे की जेव्हा ते पारंपारिक जबाबदारी आणतात तेव्हा आम्ही येथे ज्या रोमांचकारी सामग्रीबद्दल बोलत आहोत त्यातील काही रक्तस्त्राव होण्याच्या मागे असतात आणि याचा अर्थ असा नाही की मला नकारात्मक वाटले. हे फक्त तेच आहे की त्यांना एक स्थिर पिढी आणि जुन्या शालेय विकास आणि यूएटीएन समाकलन चक्र आणि चाचणी आणि दस्तऐवजीकरण आणि विपणन आणि विक्री यावर जाण्यासाठी स्थिर प्लॅटफॉर्म असल्याचे समजण्यासाठी सोडण्यासाठी पिढी आणि प्रवास मिळाला आहे. आपण ज्या प्रकारात करत आहात त्याठिकाणी, मला वाटतं की ज्या गोष्टीबद्दल मला रस आहे तोच आहे की काल रात्रीच्या काही ताज्या प्रकाशनांकडे पाहणे काही प्रकारचे संशोधन कार्य करत असताना, आपणास आता हे मिश्रण मिळाले आहे समोरच्या कन्सल्टन्सी दृष्टिकोनातून आणि अंमलबजावणीची क्षमता परंतु आपणास एक स्टॅक देखील मिळाला जो आपण रोल करू शकता. मला असे वाटते की येथेच काही काळ संघर्ष करावा लागतो. मी त्यापैकी बरेच पाहिले आहेत जसे मी बाजारात केले. ते बर्‍याचदा मी ज्याला कॅच-अप नोड्स म्हणतो त्यामध्ये असतात परंतु आपण जेव्हा ते संभाषणे करीत असता तेव्हा आपण आम्हाला सांगत होता आणि आपण तेथे अंमलात आणत असता.
आपण दत्तक घेतलेले काही सीमा उभ्या असलेल्या उदाहरणे काही देऊ शकता? उदाहरणार्थ, रॉकेट सायन्स आणि अवकाशात उपग्रह ठेवणे आणि मंगळावरुन डेटा गोळा करणे यासारखे कोनाडा वातावरण आहे. पृथ्वीवर असे काही मूठभर लोक करीत आहेत. परंतु आरोग्यासारख्या मोठ्या अनुलंब आहेत उदाहरणार्थ, वैमानिकी, शिपिंग आणि लॉजिस्टिकमध्ये, उत्पादन आणि अभियांत्रिकीमध्ये, आतापर्यंतच्या मोठ्या आणि अधिक व्यापक उद्योग क्षेत्रांची उदाहरणे कोणती आहेत जी तुम्ही खरोखर पाहिली आहेत. मध्ये दत्तक?
आनंद वेणुगोपालः टेल्को हे एक मोठे उदाहरण आहे.
मी येथे फक्त माझ्या स्लाइड्स द्रुतपणे दुरुस्त करणार आहे. केस स्टीड 4 येथे तुम्ही स्लाइड पाहण्यास सक्षम आहात काय?
सेट-टॉप बॉक्स डेटा मोठ्या प्रमाणात टेलको इन्जेस्ट करणे आणि त्यासह अनेक गोष्टी केल्याची ही एक बाब आहे. ग्राहक खरोखर वेळेत खरोखर काय करीत आहेत याकडे ते पहात आहेत. सेट-टॉप बॉक्समध्ये रिअल टाइममध्ये त्रुटी कोठे आहेत हे ते पहात आहेत. ते कॉल सेंटरला कळविण्याचा प्रयत्न करीत आहेत, जर हा ग्राहक आत्ताच कॉल करतो तर या ग्राहकाच्या सेट-टॉप बॉक्समधील कोड लिंक माहिती, देखभाल तिकिट माहिती या विशिष्ट ग्राहकाच्या सेट-टॉप बॉक्समध्ये समस्या आहे की नाही यापूर्वी पटकन सहसंबंधित आहे. ग्राहक एक शब्द बोलतो. प्रत्येक केबल कंपनी, प्रत्येक मोठी टेलको हे करण्याचा प्रयत्न करीत आहे. ते सेट-टॉप बॉक्स डेटा अंतर्भूत करतात, रीअल-टाइम ticsनालिटिक्स करतात, कॅम्पेन ticsनालिटिक्स करतात जेणेकरून ते त्यांच्या जाहिराती देऊ शकतील. एक प्रचंड वापर प्रकरण आहे.
मी म्हटल्याप्रमाणे, ही गहाणखत कंपनी आहे जी पुन्हा एक सर्वसाधारण नमुना आहे जिथून डेटा प्रक्रियेमध्ये मोठ्या सिस्टम गुंतलेली आहेत. सिस्टिम ए ते सिस्टम बी ते सिस्टम सी पर्यंत जाणारा डेटा आणि हे नियमित व्यवसाय आहेत जे सर्वकाही सुसंगत असणे आवश्यक आहे.बर्‍याचदा सिस्टीम एकमेकांशी समन्वय साधत नसतात, एक प्रणाली असे म्हणत असते की “मी दहा कोटी डॉलर्सच्या एकूण मूल्यासह शंभर कर्जांवर प्रक्रिया करीत आहे.” प्रणाली म्हणत आहे, “नाही, मी काही इतरांच्या 110 कर्जांवर प्रक्रिया करीत आहे. भिन्न संख्या. ”त्यांना खरोखर त्वरित निराकरण करावे लागेल कारण ते खरं तर समान डेटावर प्रक्रिया करत आहेत आणि भिन्न अर्थ लावत आहेत.
ते क्रेडिट कार्ड, कर्ज प्रक्रिया, व्यवसायाची प्रक्रिया असो किंवा ती तारण व्यवसायाची प्रक्रिया असो की इतर काही गोष्टी, त्या व्यवसाय प्रक्रिया सुसंगत राहतील हे सुनिश्चित करण्यासाठी आम्ही त्यांना रिअल टाइममध्ये परस्पर संबंध आणि सलोखा करण्यास मदत करीत आहोत. हे आणखी एक मनोरंजक वापर प्रकरण आहे. यूएस सरकारचा एक मोठा कंत्राटदार आहे जो विसंगती शोधण्यासाठी डीएनएस रहदारी पाहत आहे. तेथे त्यांनी तयार केलेले एक ऑफलाइन प्रशिक्षण मॉडेल आहे आणि ते वास्तविक-वेळेच्या रहदारीवर त्या मॉडेलच्या आधारे स्कोअरिंग करीत आहेत. त्यातील काही मनोरंजक वापर प्रकरणे. सुरक्षा रांगांकडे पहात असलेली एक मोठी विमान कंपनी आहे आणि ते आपल्याला ती माहिती देण्याचा प्रयत्न करीत आहेत की, “अहो, हे आपल्या फ्लाइटसाठी आपल्या विमानाचे प्रवेशद्वार आहे. टीएसए रांग आज सुमारे minutes minutes मिनिट आणि दोन तास विरुद्ध दुसरे काही आहे. ”आपणास हे अद्ययावत आवाहन मिळेल. ते अजूनही त्यावर काम करत आहेत. स्वारस्यपूर्ण आयओटी वापर प्रकरण परंतु ग्राहकांच्या अनुभवाकडे जाणारे analyनालिटिक्सचे उत्कृष्ट प्रकरण.
रेबेका जोझवियाक: ही रेबेका आहे. आपण वापर प्रकरणांच्या विषयावर असतांना, हा प्रश्न विचारणार्‍या प्रेक्षक सदस्यांचा एक मोठा प्रश्न आहे, “हे केस स्टडीज आहेत का, की हे उपक्रम घराच्या माहिती प्रणाली विश्लेषक बाजूने चालविले गेले आहेत की ते त्यापासून अधिक चालविले जात आहेत? ज्या व्यवसायात विशिष्ट प्रश्न आहेत किंवा त्यांच्या मनात विचार आहेत? ”
आनंद वेणुगोपालः मला वाटते की आम्ही जवळजवळ 60० टक्के किंवा त्याहून अधिक पाहतो, percent० टक्के ते percent 55 टक्क्यांपर्यंत, बहुतेक अत्यंत सक्रिय, उत्साही तंत्रज्ञानाच्या पुढाकार ज्यांना घडतात, जे बर्‍यापैकी जाणकार असतात आणि काही व्यवसाय आवश्यकता समजतात आणि त्यांच्याकडे कदाचित त्यांचा प्रायोजक असतो ज्याला त्यांनी ओळखले परंतु हे आहेत तंत्रज्ञान कार्यसंघ व्यवसाय वापरात येणा on्या हल्ल्यांसाठी तयार होत आहेत आणि एकदा त्यांची क्षमता वाढल्यानंतर त्यांना हे माहित आहे की ते हे करू शकतात आणि मग ते व्यवसायात जातात आणि आक्रमकपणे हे विकतात. Percent० टक्के ते percent० टक्के प्रकरणांमध्ये, आम्ही पाहतो की व्यवसायाकडे आधीपासूनच विशिष्ट वापर प्रकरण आहे जो स्ट्रीमिंग अ‍ॅनलाइटिक्सच्या क्षमतेची भीक मागत आहे.
रेबेका जोझवियाक: अर्थ प्राप्त होतो. प्रेक्षक सदस्याकडून मला आणखी थोडा अधिक तांत्रिक प्रश्न आला आहे. तो विचार करीत आहे की ही व्यवस्था वास्तूमधील प्रवाह किंवा पोस्टच्या गाळाप्रमाणे संरचलित आणि अ-संरचित डेटा दोन्ही प्रवाहांचे समर्थन करते किंवा प्रारंभी ते फिल्टर करणे आवश्यक आहे का?
आनंद वेणुगोपालः आम्ही ज्या उत्पादने आणि तंत्रज्ञानाविषयी बोलत आहोत ते संरचित आणि अ-संरचित डेटा दोन्हीना अगदी स्पष्टपणे समर्थन देतात. ते कॉन्फिगर केले जाऊ शकतात. सर्व डेटाची एक प्रकारची रचना असते जरी ती एक किंवा एक्सएमएल किंवा काहीही असो. टाइम स्टॅम्प फीडच्या दृष्टीने काही रचना आहे. तेथे आणखी एक ब्लॉब आहे ज्याचे विश्लेषण करणे आवश्यक आहे जेणेकरून आपण डेटा स्ट्रक्चर्सचे विश्लेषण करण्यासाठी प्रवाहावर पार्स इंजेक्शन देऊ शकता. जर ते संरचित केलेले असेल तर आम्ही फक्त सिस्टमला सांगतो, “ठीक आहे, जर स्वल्पविरामाने विभक्त केलेली मूल्ये असतील आणि पहिली तारांक असेल तर दुसरी तारीख असेल.” तर आम्ही इंजेक्शन इंस्पेक्ट करू शकतो अप-स्क्रीन लेयरमध्ये आणि संरचित आणि अ-संरचित डेटा दोन्ही सहज प्रक्रिया करा.
रेबेका जोझवियाक: मला प्रेक्षकांकडून आणखी एक प्रश्न आला आहे. मला माहित आहे की आम्ही तासाच्या शेवटी अगदी मागे धावलो आहे. या उपस्थितास हे जाणून घ्यायचे आहे की असे दिसते की रीअल-टाईम स्ट्रीमिंग प्लिकेशन्स कदाचित व्यवहाराच्या प्रणालींमध्ये एकत्रित होण्याची गरज आणि संधी उदाहरणार्थ दोन्हीसाठी विकसित करीत असू शकतात. अशा परिस्थितीत, व्यवहार प्रणालीमध्ये अशा प्रकारचे फिट होण्यासाठी चिमटा काढण्याची आवश्यकता आहे काय?
आनंद वेणुगोपालः हे विलीन आहे, बरोबर? हे व्यवहार प्रणालींचे विलीनीकरण आहे. ते कधीकधी डेटाचे स्रोत बनतात जिथे आम्ही रिअल टाइममध्ये आणि बर्‍याच प्रकरणांमध्ये अनुप्रयोग प्रवाह असल्याचे सांगू शकतो आणि येथे मी स्थिर डेटा लुकअप साइट दर्शविण्याचा प्रयत्न करीत आहे आणि मग आमच्या बाबतीत जिथे काही प्रकारचे प्रवाह आहे. मध्ये आणि आपण निर्णय किंवा विश्लेषणात्मक अंतर्दृष्टी घेण्यासाठी प्रवाह डेटा आणि स्थिर डेटा एकत्रितपणे समृद्ध करण्यासाठी एचबेस किंवा आरडीबीएमएस सारखा स्थिर डेटाबेस शोधत आहात.
आणखी एक मोठा उद्योगाचा ट्रेंड आहे जो आपण पहात आहोत - ओएलएपी आणि ओएलटीपीचे अभिसरण - आणि म्हणूनच आपल्याकडे कुडू आणि इन-मेमरी डेटाबेस आहेत जे एकाच वेळी दोन्ही व्यवहार आणि विश्लेषणात्मक प्रक्रिया समर्थन देतात. प्रवाह प्रक्रिया स्तर संपूर्णपणे मेमरीमध्ये असेल आणि आम्ही यापैकी काही व्यावहारिक डेटाबेस पहात आहोत किंवा त्यामध्ये हस्तक्षेप करीत आहोत.
रेबेका जोझवियाक: मिश्रित वर्कलोड उडी मारण्यासाठी शेवटच्या अडथळ्यांपैकी एक आहे, मला वाटते. डेझ, रॉबिन, तुमच्या दोघांना आणखी काही प्रश्न आहेत का?
डेझ ब्लांचफील्ड: मी एका शेवटच्या प्रश्नावर उडी घेईन आणि आपणास हरकत नसेल तर त्यावर लपेटून टाकीन. गेल्या दशकांपूर्वी ज्या संघटनांबरोबर मी करार करीत आहोत किंवा प्रवाह विश्लेषणाच्या या रोमांचकारी आव्हानाकडे नेणारे पहिले आव्हान आहे, जेव्हा आम्ही या संपूर्ण आव्हानाच्या भोवती संभाषण सुरू केले तेव्हा ते टेबलवर उभे राहतात. आम्ही कौशल्य संच मिळवा? आम्ही कौशल्य संचाला पुन्हा कसे प्रशिक्षित करू आणि ही क्षमता अंतर्गतरित्या कशी मिळवायची? प्रेरणा येताना आणि आम्हाला प्रवासात धरून ठेवणे आणि नंतर एक उत्तम प्रथम पायरी म्हणून अंमलात आणणे आणि हे केल्याने बरेच अर्थ प्राप्त होते.
परंतु मध्यम ते मोठ्या संस्थेसाठी आपण याक्षणी कोणत्या प्रकारच्या गोष्टी पाहत आहात या यासाठी तयारी करणे, ही क्षमता अंतर्गतरित्या तयार करणे, त्याभोवती फक्त मूलभूत शब्दसंग्रहातून काहीही मिळवा आणि त्या कशा प्रकारची करू शकतात या प्रकारच्या चौकटीत संक्रमण होण्याची आणि त्यांच्या विद्यमान तांत्रिक कर्मचार्‍यांना आयटीमधून सीईओकडून पुनर्विभाजित करणे जेणेकरुन एकदा आपण ते तयार केले आणि अंमलात आणल्यास ते हे स्वतः चालवू शकतात? थोडक्यात, कोणत्या प्रकारचे आव्हाने आणि ते त्यांचे निराकरण कसे करीत आहेत, आपण ज्या ग्राहकांशी वागत आहात ते, त्यांना सापडलेल्या आव्हानांचे प्रकार आणि ते कसे तयार करावे यासाठी प्रशिक्षण मिळविण्यासाठी आणि अनुभव मिळवून देण्यासाठी आणि ज्ञान मिळविण्यासाठी कसे जायचे यासाठी तयार रहाण्यासाठी. ऑपरेशनल सुमारे फिरणे सक्षम?
आनंद वेणुगोपालः बहुतेकदा, स्ट्रीमिंग ticsनालिटिक्स प्लॅटफॉर्म बाहेर जाण्याचा आणि खरेदी करण्याचा प्रयत्न करीत असलेले लहान लोक आधीच हडूपला माहिती आहेत म्हणूनच त्यांच्यात हडूप मॅपरेड्यूस कौशल्य प्राप्त झाले आहे आणि ते हॅडॉप वितरण विक्रेत्याशी जवळून कार्य करत असल्यामुळे, ते एकतर परिचित आहेत. उदाहरणार्थ, प्रत्येक गोष्ट काफ्काला मिळत आहे. ते त्यासह काहीतरी करीत आहेत आणि एकतर वादळ किंवा स्पार्क प्रवाह त्यांच्या मुक्त-स्त्रोत डोमेनमध्ये आहे. निश्चितच, लोक त्यास परिचित आहेत किंवा त्याभोवती कौशल्ये तयार करतात. परंतु याची सुरूवात लोकांच्या एका छोट्या समुहातून होते जे पुरेसे कुशल आणि पुरेसे हुशार आहेत. ते कॉन्फरन्समध्ये येत आहेत. ते शिकत आहेत आणि ते विक्रेत्यांकडे बुद्धिमान प्रश्न विचारतात आणि काही बाबतीत ते विक्रेत्यांसमवेत शिकतात. जसे विक्रेते पहिल्या भेटीत येत आहेत आणि सादर करीत आहेत त्यांना कदाचित सामग्री माहित नसेल परंतु त्यांनी एकत्र वाचन केले आहे आणि मग ते त्यासह खेळायला सुरवात करतात.
लोकांचा तो छोटा गट केंद्रक आहे आणि मग तो वाढू लागला आणि प्रत्येकाला आता समजले आहे की प्रथम व्यवसायात वापरलेले प्रकरण कार्यान्वित होते. तेथे एक लाट सुरू होते आणि आम्ही गेल्या आठवड्यात स्पार्क शिखर परिषदेत पाहिले जेथे कॅपिटल वन सारखा मोठा उद्योग तेथे होता आणि पूर्ण सामर्थ्याने होता. ते स्पार्क निवडत होते. ते त्याबद्दल बोलत होते. ते स्पार्कमधील आपल्या बर्‍याच लोकांना शिक्षण देत आहेत कारण एक वापरकर्ता म्हणून ते बर्‍याच प्रकरणांमध्ये यात योगदान देत आहेत. आम्ही बर्‍याच, मोठ्या उद्योगांमध्येही तेच पाहतो. हे अगदी स्मार्ट लोकांच्या काही लहान तुकड्यांपासून सुरू होते आणि नंतर एकूणच शिक्षणाची लाट सुरू होते आणि लोकांना माहित आहे की एकदा वरिष्ठ व्हीपी किंवा एकदा वरिष्ठ दिग्दर्शक संरेखित झाले आहेत आणि त्यांना या गोष्टीवर पैज लावण्याची इच्छा आहे आणि शब्द जवळपास येतो आणि ते सर्व ही कौशल्ये उचलण्यास प्रारंभ करतात.
डेझ ब्लांचफील्ड: मला खात्री आहे की तुम्ही त्या चॅम्पियन्स बनवण्यासही मजा केली आहे.
आनंद वेणुगोपालः होय आम्ही सुरुवातीच्या चॅम्पियन्सबरोबर काम करत असताना बरेच शिक्षण घेतो आणि आमच्याकडे अनेक प्रशिक्षण वर्ग आहेत आणि बरेच लोक आमच्या मोठ्या ग्राहकांसाठी परत गेले आहेत आणि विशेषत: मुख्य प्रवाहात वापरण्याच्या टप्प्यात जास्तीत जास्त वापरकर्त्यांना आणण्यासाठी प्रशिक्षणाच्या लाटा व लाटा आल्या आहेत. हडूप मॅपरेड्यूस साइटवर. आम्हाला आढळले आहे की एका मोठ्या क्रेडिट कार्ड कंपनीमध्ये जो आमचा ग्राहक आहे, आम्ही किमान पाच ते आठ वेगवेगळे प्रशिक्षण कार्यक्रम दिले आहेत. आमच्याकडे आमची आमची, सँडबॉक्स ज्यात लोक डाउनलोड करू शकतात, सवय लावतात आणि तशा प्रकारे स्वतःला शिक्षित करतात यासह या सर्व उत्पादनांची विनामूल्य समुदाय आवृत्ती देखील आहे.
डेझ ब्लांचफील्ड: आज सकाळी तुमच्यासाठी एवढेच आहे. खूप खूप धन्यवाद आज आपल्यासाठी आपल्यासाठी तयार केलेले मॉडेल्सचे प्रकार आणि केस वापरणे मला आश्चर्यकारकपणे मनोरंजक वाटले. धन्यवाद.
आनंद वेणुगोपालः मस्त. लोकांना खूप खूप धन्यवाद
रेबेका जोझवियाक: या हॉट टेक्नॉलॉजीज वेबकास्टमध्ये आमच्यात सामील झाल्याबद्दल सर्वांचे आभार. डेझ ब्लान्कफील्ड, डॉ. रॉबिन ब्लॉर आणि इंफेफस टेक्नोलॉजीज आनंद वेणुगोपाल यांच्या कडून ऐकणे फारच आवडते. धन्यवाद सादरकर्ते. धन्यवाद वक्ता आणि आभार प्रेक्षकांचे. पुढील महिन्यात आमच्याकडे आणखी एक हॉट टेक्नोलॉजीज आहेत, म्हणून ते पहा. आपण आमच्यासंदर्भातील Insideanalysis.com वर संग्रहित शोधू शकता. आम्ही स्लाइडशेअरवर बर्‍याच सामग्री आणि तसेच YouTube वर काही मनोरंजक बिट्स देखील ठेवल्या आहेत.
ते सर्व लोक पुन्हा धन्यवाद आणि एक चांगला दिवस आहे. बाय, बाय.