लीगेसी अँड इनोव्हेशनचा नेक्ससः डेटासाठी एक टर्निंग पॉईंट

सामग्री

• कोणतीही दोष नाही, तणाव नाही - आपले जीवन नष्ट न करता जीवन-बदलणारे सॉफ्टवेअर तयार करण्यासाठी चरण चरण बाय चरण
• डाउन टू बिझिनेस
• काफ्का डेटा व्यवस्थापन कसे बदलेल

टेकवे:

लिंक्डइन व्यवसायातील लोकांसाठी काय करते माहिती प्रणालींसाठी कफका कार्य करेलः त्यांना विस्तृत श्रेणींमध्ये कनेक्ट केलेले ठेवा.

अद्याप अस्तित्त्वात नसलेल्या एखाद्या गोष्टीवर उत्कटतेने विश्वास ठेवून आपण ते तयार करतो. अस्तित्त्वात नसलेले जे आपल्याकडे पुरेसे इच्छित नसते.

~ फ्रांझ काफ्का

गरज ही शोधाची आई आहे. चतुर सल्लागारांनी एकदा मला सांगितल्याप्रमाणे, "एखाद्या संस्थेत काहीतरी घडण्याची गरज असल्यास ते घडत आहे." त्याचा मुद्दा दोन पट होता: 1) काही लोकांना नेहमी गोष्टी करण्यासाठी मार्ग सापडतो; आणि, २) वरिष्ठ व्यवस्थापन, किंवा अगदी मध्यम व्यवस्थापन, त्यांच्या स्वत: च्या आस्थापनांमध्ये गोष्टी कशा घडत आहेत याबद्दल कदाचित माहिती नसतील.

जर आम्ही त्या रूपकाचा संपूर्ण डेटा मॅनेजमेंटच्या विश्वापर्यंत विस्तारित केला तर आम्ही आत्ताच एक परिवर्तन होत असल्याचे पाहू शकतो. स्ट्रीमिंग डेटाच्या अक्षांसह एकत्रित मोठ्या डेटाचा कच्चा दबाव, इतका दबाव निर्माण करतो की लीगेसी सिस्टम संपूर्णपणे कोसळत नसल्यास काठावर भडकतात. तथापि, या क्षणी असंख्य व्यावसायिक त्यांच्या नोकरीबद्दल बोलत आहेत, जे या वास्तविकतेबद्दल मुख्यत: अनभिज्ञ आहेत.

डेटा-जनन, डेटा-चालित उपक्रमांना अग्र-पंक्तीची आसन असते आणि बर्‍याच प्रकारे हे बदल घडवून आणत असतात. याहू !, आणि लिंक्डइन यासारख्या पॉवरहाऊसेसने त्यांच्या विपुल देणग्यांसह एंटरप्राइझ सॉफ्टवेअर उद्योग बाजूला कसे वळले याचा विचार करा ओपन-सोर्सः हॅडूप, कॅसंड्रा आणि आता काफ्का, या सर्वांचे आपोआप अपडे फाऊंडेशन यांनी केले आहे, जे या रूपांतरातील स्वतःच मध्यवर्ती खेळाडू आहेत. .

या सर्व बदलांचा परिणाम काय आहे? आज जे पाहत होते ते म्हणजे डेटा व्यवस्थापन स्वत: ची पुनर्वर्गीकरण आणि पुनर्रचना. हे असे म्हणायचे नाही की आता वारसा प्रणाली फाटलेल्या आणि पुनर्स्थित केल्या जातील. कोणताही उद्योग क्षेत्रातील दिग्गज आपल्याला सांगेल की शिकागो क्यूब्सने वर्ल्ड सिरीज जिंकल्यामुळे लेगसी सिस्टमचे घाऊक विघटन होते. अगदी कमी सांगायचे तर ही एक दुर्मिळ घटना.

खरोखर काय घडत आहे ते म्हणजे जुन्या-जगातील सर्व प्रणालींमध्ये एक सुपर-स्ट्रक्चर तयार केली जात आहे. आंतरराज्यीय महामार्गांच्या सादृश्यतेचा विचार करा, जे लोक या शहरांमध्ये आणि लोकांच्या मालवाहतुकीसाठी या लोकसंख्येच्या केंद्रात पोचविण्याकरिता बनवलेल्या शहरी व शहरींपेक्षा जास्त वेळा उभा राहतात आणि कोणासही व त्यांच्यात असलेले काहीही प्रदान करतात. ते विद्यमान रस्ते इतके बदलत नाहीत की उच्च-गती पर्यायांसह ते वाढवितो.

अपाचे काफ्का नेमके काय करतात ते माहिती देते: ते माहिती प्रणालींमधील आणि डेटामधील हालचालींसाठी उच्च-गती मार्ग प्रदान करते. महामार्गाची साधर्मिती पाळण्यासाठी अद्याप रेषीय रांगा किंवा ईटीएलचे जुने मानक (एक्स्ट्रॅक्ट-ट्रान्सफॉर्म-लोड) वापरणार्‍या अनेक कंपन्या आहेत; परंतु या मार्गांना कमी वेगाची मर्यादा आहे आणि तेथे बरेच खड्डे आहेत; शिवाय देखभाल खर्च बर्‍याचदा अत्यधिक असतात; सही खराब आहे.

कफका डेटा वितरणासाठी वैकल्पिक पद्धत प्रदान करते, जी रीअल-टाइम, स्केलेबल आणि टिकाऊ असते. याचा अर्थ असा की काफ्का केवळ डेटा हालचाल करणारे वाहन नाही तर डेटा प्रतिकृती देखील आहे; आणि काही प्रमाणात, वितरित डेटाबेस तंत्रज्ञान. उपमा खूप दूर घेण्याबाबत आपण सावधगिरी बाळगली पाहिजे, कारण एएफआयडी-अनुरूप डेटाबेसची वैशिष्ट्ये आहेत जी काफ्का अद्याप खेळत नाहीत. तरीही, बदल खरा आहे.

माहिती लँडस्केपसाठी ही एक चांगली बातमी आहे, कारण आता त्या बाबतीत डेटा - देश आणि जगाबद्दल फिरण्यासाठी मुक्त आहे. एके काळी वेदनादायक अडचण होती, म्हणजे ईटीएल प्रक्रियेसाठी बॅच विंडो मारणे, आता उष्णतेच्या सूर्यामुळे ढगाळ वातावरणास धुके देते म्हणून आता ते जास्त प्रमाणात नष्ट होत आहे. जेव्हा एका सिस्टमवरून दुसर्‍या सिस्टमवर डेटा हलवित होतो तेव्हा ती सीमा निर्बाध होते, तेव्हा नवीन संधींचे युग उगवते.

कोणतीही दोष नाही, तणाव नाही - आपले जीवन नष्ट न करता जीवन-बदलणारे सॉफ्टवेअर तयार करण्यासाठी चरण चरण बाय चरण

जेव्हा कोणालाही सॉफ्टवेअर गुणवत्तेची काळजी नसते तेव्हा आपण आपली प्रोग्रामिंग कौशल्ये सुधारू शकत नाही.

मानवा बहुधा डाटास नवीन भविष्यात जाण्याच्या मार्गावर सर्वाधिक घर्षण दर्शवितात. जुन्या सवयी कठोर मरतात. एन्टरप्राइझ सिस्टममध्ये घाऊक बदल करण्याबद्दल नॅरी ए सीआयओ खूप उत्साही होते. या भूमिकेच्या जाणकार वरिष्ठ कार्यकारी अधिकारी म्हणाले: "एकाकी होण्यासाठी तयार राहा." त्या टिप्पणीच्या एका वर्षातच तो सल्लागार होता. हा एक सोपा मार्ग नाही, एंटरप्राइझ डेटाचे उल्लेखनीयरित्या ओझी नसलेले जग व्यवस्थापित करण्याचा प्रयत्न करीत आहे.

चांगली बातमी अशी आहे की काफ्का भविष्यात एक ऑन-रॅम्प प्रदान करते. कारण ती उच्च-शक्तीच्या, बहु-बाजूने बस म्हणून काम करते, यामुळे लेगसी सिस्टम आणि त्यांचे पुढचे दिसणारे भाग यांच्यात पूल तयार करतात. अशा प्रकारे, खुल्या मनाने आणि पुरेशी बजेटसह ही नवीन संधी स्वीकारणार्‍या संस्था जुन्या गोष्टी मागे न ठेवता नवीन जगात प्रवेश करू शकतील. एक गंभीरपणे मोठा करार आहे.

डाउन टू बिझिनेस

अपाचे काफ्का हे एक मुक्त-स्त्रोत तंत्रज्ञान आहे, कोणासही डाउनलोड आणि वापरण्यास मुक्त आहे, लिंक्डइनसाठी हे सॉफ्टवेअर तयार करणा the्या लोकांनी कॉन्फ्लुएंट नावाचे स्वतंत्र अस्तित्व काढून टाकले आहे, जे एंटरप्राइझच्या वापरासाठी ऑफर कडक करण्यावर केंद्रित आहे. क्लौडेरा, हॉर्टनवर्क्स आणि मॅपआर सारख्या बरीच कंपन्यांनी आपापले हॅडूपच्या ओपन-सोर्स प्रोजेक्टच्या आसपास आपले व्यवसाय तयार केले आहेत, म्हणून कन्फ्लुएंटने कफकाची कमाई करण्याचा प्रयत्न केला.

नुकत्याच झालेल्या इनसाइड अ‍ॅनालिसीस मुलाखतीत कन्फ्लूएंटचे मुख्य कार्यकारी अधिकारी आणि सह-संस्थापक जे क्रेप्स यांनी लिंक्डइन येथे त्याचे मूळ स्पष्ट केलेः

"आम्ही तेथे दोन वेगवेगळ्या समस्या सोडवण्याचा प्रयत्न करीत होतो. एक म्हणजे आमच्याकडे वेगवेगळ्या प्रकारच्या डेटासह या सर्व भिन्न डेटा सिस्टम होत्या. आमच्याकडे डेटाबेस होते आणि सर्व्हरबद्दल आमच्याकडे मेट्रिक्स होते आणि आमच्याकडे गोष्टींवर क्लिक करणारे वापरकर्ते होते. हा सगळा डेटा मिळवणे - जसे तो मोठा होता तसतसे कठीण होते.आपल्याकडे किंवा प्रोसेसिंगमध्ये किंवा सिस्टमस ज्यास आवश्यक असे डेटा मिळू शकला तरच डेटाची शक्ती होती ही एक मोठी समस्या होती.

"आम्हाला अडचण होती ती म्हणजे आम्ही हडोपला अंगीकारले होते आणि त्यातच मी सामील होतो. आमच्याकडे हे विलक्षण ऑफलाइन प्रक्रिया प्लॅटफॉर्म होते जे आम्ही मोजू शकू आणि आम्ही आमचा सर्व डेटा ठेवू शकतो. लिंक्डइनसाठी आमचा सर्व डेटा ख real्या अर्थाने घडला वेळ. डेटाची सतत निर्मिती चालू होती. आम्ही नेहमीच आमच्या डेटावरून व्यवसायाचे मुख्य भाग तयार करण्याचा प्रयत्न केला म्हणून नेहमीच हा जुळत नव्हता; दिवसातून एकदा चालू असणार्‍या, कदाचित रात्रीच्या वेळी आणि दुसर्‍या दिवसापर्यंत निकाल मिळवून देण्याचे, आणि या प्रकारचा सतत डेटा - संवादाचे लहान वेळ - जे आपल्याला पकडले पाहिजे होते. आम्हाला असे वाटते की काही काळ शिक्षणात असे काहीतरी होते जे आम्ही सक्षम होऊ इच्छित होते, जे खरोखर सक्षम नव्हते ते बसण्याऐवजी डेटाच्या व्युत्पत्तीनुसार प्रवाहात टॅप करा आणि त्यावर प्रक्रिया करा. "

बरं. कन्फ्लुएंट आता सर्व आकार आणि आकारांच्या एंटरप्राइझ डेटासह नक्की काय करू इच्छित आहे तेच ठरवते. नाटकातील संधी? ग्रीनफिल्ड खरेतर, एंटरप्राइझ सॉफ्टवेअरच्या संपूर्ण इतिहासामध्ये असा तर्क केला जाऊ शकतो की या तंत्रज्ञानाचा पत्ता योग्य बाजारपेठ पूर्णपणे केक घेते. या तंत्रज्ञानाचा मोठा फायदा होऊ शकत नाही अशी कोणतीही मोठी संस्था किंवा अगदी डेटा-जड लहान व्यवसाय नाही.

या तंत्रज्ञानाच्या न्यूरोलॉजिकल पैलूमुळे हे विशेषतः खरे आहे; केवळ मनाशी संबंधित नसून, माहिती तंत्रज्ञानासाठी काफ्का काय करते त्याचे स्वरूप. कारण काफ्काचा वापर संपूर्ण संस्थेच्या डेटाची हालचाल व्यवस्थापित करण्यासाठी केला जाऊ शकतो, त्यास केवळ ट्रॅफिक कॉपपेक्षा जास्त न पाहिले जाऊ शकते, परंतु त्याऐवजी ऑपरेशनचे मेंदूदेखील पाहिले जाऊ शकते. त्या दृष्टीच्या प्रारंभीच्या टप्प्यात होते, परंतु खात्री बाळगा, ती वास्तविक आहे.

काफ्का डेटा व्यवस्थापन कसे बदलेल

डेटा व्यवस्थापनाचे स्वरूप कफका कशा बदलेल हे समजण्यासाठी, लिंक्डइनने नेटवर्किंगमध्ये बदल घडवून आणलेल्या मार्गांबद्दल विचार करा. सहकारी शोधणे खूप सोपे झाले; लोकांच्या संपर्कात रहाणे आता एक क्षण आहे. लिंक्डइन व्यवसायिक लोकांसाठी काय करते माहिती प्रणालींसाठी कफका कार्य करेलः त्यांना या पृथ्वीच्या सर्वात विस्तृत रेषांमधून कनेक्ट केलेले ठेवा.

कन्फ्लुएंटचा स्पिनऑफ एखाद्या गोष्टीचे प्रतिक आहे ज्याला आपण नवीन इनोव्हेशन म्हणू शकू. सॉफ्टवेअर डेव्हलपमेंट आणि बंद-स्त्रोत मानसिकतेच्या उद्दीष्टाने चालविलेली चळवळ, ओपन-सोर्स तंत्रज्ञानाच्या निर्मात्यांद्वारे निर्देशित, मोठ्या प्रमाणात उद्यम भांडवलाने इंधन मिळवून दिली. संस्था आणि लोक कसे तयार करतात, एकत्र करतात, विश्लेषित करतात आणि डेटा उत्तीर्ण करतात अशा क्रांतिकारक शोधत असलेल्या फायद्यासाठी कंपन्या.

फ्रांत्स काफ्का यांचे म्हणणे मांडणे, "एका विशिष्ट बिंदूपासून पुढे यापुढे मागेपुढे पाहता येणार नाही. हा मुद्दा असा झाला पाहिजे."

आम्ही रुबीकॉन पास केला आहे. ते आता मागे वळून पाहत नाहीत.