सामग्री
- यार्न फ्रेमवर्क म्हणजे काय?
- हॅडॉप 1.0 फ्रेमवर्कची मर्यादा
- कोणतीही दोष नाही, तणाव नाही - आपले जीवन नष्ट न करता जीवन-बदलणारे सॉफ्टवेअर तयार करण्यासाठी चरण चरण बाय चरण
- यार्न फ्रेमवर्क आणि त्याचे फायदे
- निष्कर्ष
स्रोत: जिम ह्यूजेस / ड्रीमस्टाइम.कॉम
टेकवे:
हॅडॉप 1.0 फ्रेमवर्कपेक्षा यार्न ही लक्षणीय सुधारणा आहे. त्याच्या पूर्ववर्तीपेक्षा त्याचे काही फायदे येथे आहेत.
मोठ्या डेटाची संकल्पना अस्तित्त्वात आल्यापासून, ती उत्क्रांतीच्या अनेक टप्प्यांमधून जात आहे. २००o मध्ये हॅडॉपची ओळख मॅपरेड्यूस प्रोसेसिंग इंजिनसारख्या काही प्रारंभिक वैशिष्ट्यांसह केली गेली ज्यामुळे क्लस्टर्समध्ये मोठ्या प्रमाणात डेटा प्रोसेसिंग वर्कलोड वितरित करण्यास परवानगी मिळाली. हडूपने स्वतः बर्‍याच बदल अनुभवल्या आहेत आणि प्रगत फ्रेमवर्क आणि पद्धती विकसित केल्या आहेत.
यार्ड, हडूप २.० चा मुख्य घटक आहे. हे मुळात क्लस्टर वातावरणात संसाधने सांभाळते. यार्न ब्रोकर संगणकीय संसाधनांशी (अनुप्रयोगांच्या वतीने) संवाद साधतो आणि भिन्न फिल्टरिंग निकषांवर आधारित प्रत्येक अनुप्रयोगास संसाधने नियुक्त करतो.
या लेखात, आम्ही हॅडॉप 1.0 वरील यार्नचे उच्चतम फायदे पाहू.
यार्न फ्रेमवर्क म्हणजे काय?
वायइ एnother आरस्त्रोत एनएगोटीएटर हा हडूप २.० चा मुख्य घटक आहे जो क्लस्टर वातावरणात संसाधनांचे व्यवस्थापन करतो. हडूप यार्न फ्रेमवर्क ही हडूप १.० ची प्रगत आवृत्ती आहे जी सुधारित कार्यक्षमता प्रदान करते, जी हडूप इकोसिस्टम आणि त्याच्याशी संबंधित तंत्रज्ञानाच्या संपूर्ण श्रेणीसाठी फायदेशीर आहे. आता आम्ही यार्नशी जरासे परिचित झालो आहोत, तर हडूप १.० आणि यार्नवर बारकाईने नजर टाकू या.
हॅडॉप 1.0 फ्रेमवर्कची मर्यादा
यार्न फ्रेमवर्कचे फायदे समजून घेण्यासाठी, हॅडॉप १.० कसे कार्य करते आणि या फ्रेमवर्कच्या मर्यादा काय आहेत हे समजून घेणे फार महत्वाचे आहे.
येथून जॉबट्रॅकरची भूमिका येते. हे दोन्ही क्लस्टर संसाधने सांभाळते आणि मॅपड्यूड जॉब एक्झिक्यूशन निश्चित करते. थोडक्यात जॉबट्रॅकर टास्क स्लॉटचे वेळापत्रक व राखीव ठेवते आणि प्रत्येक कार्यरत कार्य संयोजित व परीक्षण करते. एखादी कार्य अयशस्वी झाल्यास, कार्य पुन्हा सुरू करण्यासाठी ते नवीन स्लॉट पुन्हा स्थापित करते. एकदा एखादे कार्य संपल्यानंतर जॉबट्रॅकर इतर कार्यांसाठी स्लॉट सोडतो आणि तात्पुरती संसाधने साफ करतो.
वरील पध्दतीतील मुख्य त्रुटी:
- उपलब्धता - जॉबट्रॅकर हा हॅडॉप 1.0 मध्ये उपलब्ध असलेला एकमेव बिंदू आहे. याचा अर्थ असा की जॉबट्रॅकर अयशस्वी झाल्यास, सर्व कार्ये डीफॉल्टनुसार रीस्टार्ट होतील.
- मर्यादित स्केलेबिलिटी - जॉबट्रॅकर एकाधिक कार्ये करीत आहे आणि एकाच मशीनवर चालत आहे, इतर उपलब्ध मशीन्स वापरली जात नाहीत; म्हणूनच मर्यादित स्केलेबिलिटी होऊ शकते.
- स्त्रोत वापर - वरील पध्दतीमध्ये, नकाशा स्लॉट आणि कमी स्लॉट्स पूर्वनिर्धारित आहेत. असे होऊ शकते की स्लॉटपैकी एक भरला आहे परंतु इतर मशीन स्लॉट रिक्त आहेत. रिक्त स्लॉट आरक्षित असल्याने, ते पूर्ण स्लॉटसाठी तडजोड करण्याऐवजी निष्क्रिय बसतील. यामुळे संसाधन वापराच्या समस्येस कारणीभूत ठरू शकते.
- नॉन-मॅपरेड्यूस अनुप्रयोग चालवित आहे - जॉबट्रेकर एक अ‍ॅप्लिकेशन आहे जो मॅपरेड्यूस फ्रेमवर्कसाठी बनविला गेला आहे. जेव्हा या नकाशावर नॅप-रीड्यूस अनुप्रयोग चालण्याचा प्रयत्न करतो तेव्हा समस्या उद्भवते. यशस्वीरित्या कार्यान्वित करण्यासाठी अनुप्रयोगास नकाशे रेकस फ्रेमवर्क प्रोग्रामिंगचे अनुरूप असणे आवश्यक आहे. यामुळे उद्भवलेल्या काही सामान्य समस्यांमध्ये यासह समस्यांचा समावेश आहे:
- तदर्थ क्वेरी
- रीअल-टाइम विश्लेषण
- पासिंग दृष्टीकोन
- कॅस्केडिंगमध्ये अयशस्वी होणे - जेव्हा या फ्रेमवर्कमधील मुख्य समस्या उद्भवतात तेव्हा नोड्सची संख्या 4000 पेक्षा जास्त असते. अशा परिस्थितीत, कॅसकेडिंग अपयश येते, ज्यामुळे संपूर्ण क्लस्टर खराब होतो.
या चौकटीसह कार्य करताना या काही मुख्य मर्यादा आहेत. काही इतर किरकोळ मर्यादा देखील आहेत ज्याचा उल्लेख नाही. या मर्यादांवर मात करण्यासाठी यार्नची चौकट आणली गेली.
कोणतीही दोष नाही, तणाव नाही - आपले जीवन नष्ट न करता जीवन-बदलणारे सॉफ्टवेअर तयार करण्यासाठी चरण चरण बाय चरण
जेव्हा कोणालाही सॉफ्टवेअर गुणवत्तेची काळजी नसते तेव्हा आपण आपली प्रोग्रामिंग कौशल्ये सुधारू शकत नाही.
यार्न फ्रेमवर्क आणि त्याचे फायदे
हॅडॉप २.० मध्ये सुरू केलेली यार्न फ्रेमवर्क म्हणजे मॅपरेड्यूसच्या जबाबदा share्या सामायिक करणे आणि क्लस्टर मॅनेजमेंट टास्कची काळजी घेणे. हे मॅपरेड्यूस केवळ डेटा प्रक्रिया चालविण्यास आणि म्हणूनच प्रक्रिया सुरळीत करण्यास अनुमती देते.
यार्न मध्यवर्ती संसाधन व्यवस्थापनाची संकल्पना आणते. हे एकाधिक अनुप्रयोगांना सामान्य संसाधन व्यवस्थापन सामायिक करुन हडूपवर चालण्याची अनुमती देते.
यार्न फ्रेमवर्कचे काही प्रमुख घटक आहेतः
- रिसोर्स मॅनेजर - रिसोर्स मॅनेजर घटक त्या क्लस्टरमध्ये उपस्थित असलेल्या सर्व स्रोतांसाठी क्लस्टरमधील वार्ताकार आहे. याउप्पर, हा घटक managerप्लिकेशन मॅनेजरमध्ये वर्गीकृत आहे जो वापरकर्त्याच्या नोकर्‍या व्यवस्थापित करण्यासाठी जबाबदार आहे. हॅडॉप २.० पासून कोणत्याही मॅपरेड्यूस नोकरीचा अर्ज म्हणून विचार केला जाईल.
- Mप्लिकेशनमास्टर - हा घटक अशी जागा आहे जेथे नोकरी किंवा अनुप्रयोग अस्तित्वात आहे. हे सर्व MapReduce नोकर्‍या व्यवस्थापित करते आणि नोकरी प्रक्रिया पूर्ण झाल्यानंतर निष्कर्ष काढते.
- नोडमेनेजर - नोड मॅनेजर घटक जॉबच्या इतिहासासाठी सर्व्हर म्हणून कार्य करतो. पूर्ण झालेल्या नोक of्यांची माहिती मिळविण्यास जबाबदार आहे. हे विशिष्ट नोडसाठी त्यांच्या वर्कफ्लोसह वापरकर्त्यांच्या नोकरीचा देखील मागोवा ठेवते.
हे लक्षात ठेवून की यार्न फ्रेमवर्कमध्ये भिन्न कार्ये व्यवस्थापित करण्यासाठी भिन्न घटक आहेत, चला ते पाहूया की हेडूप १.० च्या मर्यादा कशा प्रतिरोध करतात.
- स्त्रोतांचा अधिक चांगला उपयोग - यार्न फ्रेमवर्कमध्ये कार्यांसाठी कोणतेही निश्चित स्लॉट नाहीत. हे एक केंद्रीय संसाधन व्यवस्थापक प्रदान करते जे आपल्याला सामान्य संसाधनाद्वारे एकाधिक अनुप्रयोग सामायिक करण्याची परवानगी देते.
- नॉन-मॅपरेड्यूस अनुप्रयोग चालवित आहे - यार्नमध्ये वेळापत्रक आणि संसाधन व्यवस्थापन क्षमता डेटा प्रक्रिया घटकांपासून विभक्त केली गेली आहे. हे हॅडूपला विविध प्रकारचे अनुप्रयोग चालविण्यास अनुमती देते जे हडूप फ्रेमवर्कच्या प्रोग्रामिंगला अनुरूप नाहीत. हॅडॉप क्लस्टर आता स्वतंत्र संवादात्मक क्वेरी चालविण्यास आणि चांगले रीअल-टाइम विश्लेषण करण्यास सक्षम आहेत.
- बॅकवर्ड सुसंगतता - यार्न बॅकवर्ड-सुसंगत फ्रेमवर्क म्हणून येते, म्हणजेच हॅडॉप २.० मध्ये मॅपरेड्यूसची कोणतीही विद्यमान नोकरी कार्यान्वित केली जाऊ शकते.
- जॉबट्रेकर यापुढे अस्तित्त्वात नाही - जॉबट्रॅकरच्या दोन प्रमुख भूमिका स्त्रोत व्यवस्थापन आणि नोकरीचे वेळापत्रक होते. यार्न फ्रेमवर्कच्या परिचयासह हे आता दोन स्वतंत्र घटकांमध्ये विभागले गेले आहेत,
- नोडमेनेजर
- रिसोर्समेनेजर
निष्कर्ष
यार्न फ्रेमवर्कच्या परिचयामुळे हॅडॉप विकसकांसाठी अनुप्रयोग तयार करणे सुलभ झाले आहे. आता, अनुप्रयोगांना यापुढे तृतीय-पक्षाच्या साधनांसह लागू करण्याची आवश्यकता नाही. यार्न हा एक मोठा बदल आहे जो वापरकर्त्यांना अनुप्रयोग तयार करण्यासाठी डेटा अधिक प्रभावीपणे हाताळण्यासाठी हॅडोप २.० वर विचार करण्यास अनुमती देईल. काळानुसार, हडूपची उपयुक्तता वाढविण्यासाठी पुढील घडामोडी होतील. आत्ताच, यार्न फ्रेमवर्क अस्तित्त्वात असलेल्या समस्यांना सामोरे जाण्यासाठी आणि त्रास-मुक्त वातावरण तयार करण्यात महत्त्वपूर्ण भूमिका बजावेल जे मॅपरेड्यूस मॉडेलच्या आधीच्या आवृत्तीत अधिक अष्टपैलू आहे.