मॅपरेड्यूस

लेखक: Louise Ward
निर्मितीची तारीख: 9 फेब्रुवारी 2021
अद्यतन तारीख: 1 जुलै 2024
Anonim
Lecture 43 : IIoT Analytics and Data Management: Data Management with Hadoop
व्हिडिओ: Lecture 43 : IIoT Analytics and Data Management: Data Management with Hadoop

सामग्री

व्याख्या - मॅपरेड्यूस म्हणजे काय?

संगणकाच्या क्लस्टर्सवर प्रक्रिया करण्यासाठी आणि मोठ्या डेटा सेट तयार करण्यासाठी Google द्वारा सादर केलेला मॅप्रिड्यू एक प्रोग्रामिंग मॉडेल आहे.


Google ने प्रथम Google च्या वेब पृष्ठ अनुक्रमणिकेच्या उद्देशाने फ्रेमवर्क तयार केला आणि नवीन फ्रेमवर्कने आधीच्या अनुक्रमणिक अल्गोरिदमची जागा घेतली. नवशिक्या विकसकांना MapReduce फ्रेमवर्क फायदेशीर वाटतो कारण इन्फ्रा-क्लस्टर कम्युनिकेशन, टास्क मॉनिटरिंग किंवा अपयश हाताळणीच्या प्रक्रियेबद्दल कोणतीही काळजी न करता समांतर प्रोग्राम तयार करण्यासाठी लायब्ररी रूटीनचा वापर केला जाऊ शकतो.

मॅपरेड्यूस कमोडिटी मशीनच्या मोठ्या क्लस्टरवर चालते आणि अत्यंत स्केलेबल आहे. यात जावा, सी # आणि सी ++ सारख्या एकाधिक प्रोग्रामिंग भाषांद्वारे प्रदान केलेल्या अंमलबजावणीचे अनेक प्रकार आहेत.

मायक्रोसॉफ्ट अझर आणि मायक्रोसॉफ्ट क्लाऊडची ओळख | या संपूर्ण मार्गदर्शकामध्ये आपण क्लाउड संगणन करणे म्हणजे काय आणि मायक्रोसॉफ्ट अझर आपल्याला क्लाऊडवरून आपला व्यवसाय स्थलांतरित आणि चालविण्यात कशी मदत करू शकेल हे शिकाल.

टेकोपीडिया मॅपरेड्यूज स्पष्ट करते

मॅपरेड्यूस फ्रेमवर्कचे दोन भाग आहेत:

  1. "नकाशा" नावाचे कार्य, जे वितरित क्लस्टरच्या वेगवेगळ्या बिंदूंना त्यांचे कार्य वितरीत करण्यास अनुमती देते
  2. "रिड्यूस" नावाचे फंक्शन जे क्लस्टर्सच्या अंतिम परिणामाचे एक परिणाम म्हणून कमी करण्यासाठी डिझाइन केलेले आहे

मॅपरेड्यूस फ्रेमवर्कचा मुख्य फायदा म्हणजे त्याची चूक सहन करणे, जिथे काम पूर्ण झाल्यावर क्लस्टरमधील प्रत्येक नोडकडून नियमित अहवाल अपेक्षित असतो.


कार्य एका नोडमधून दुसर्‍या ठिकाणी हस्तांतरित केले जाते. जर मास्टर नोडने लक्षात घेतले की नोड अपेक्षेपेक्षा जास्त कालावधीसाठी गप्प आहे, तर मुख्य नोड गोठविलेल्या / विलंबित कामात पुन्हा नियुक्त करण्याची प्रक्रिया करते.

मॅपरेड्यूस फ्रेमवर्क फंक्शनल प्रोग्रामिंगमध्ये वापरल्या जाणार्‍या "नकाशा" आणि "रिड्यूस" फंक्शन्सद्वारे प्रेरित आहे. संगणकीय प्रक्रिया फाइल सिस्टममध्ये किंवा डेटाबेसमध्ये संचयित केलेल्या डेटावर उद्भवते, जी इनपुट की मूल्यांचा संच घेते आणि आउटपुट की मूल्यांचा संच तयार करते.

दररोज, गूगल क्लस्टर्सवर असंख्य मॅपरेड्यूस प्रोग्राम्स आणि मॅपरेड्यूस नोकर्‍या चालवल्या जातात. कमोडिटी मशीनच्या मोठ्या क्लस्टरवर प्रोग्राम स्वयंचलितपणे समांतर आणि अंमलात आणले जातात. रनटाइम सिस्टम इनपुट डेटाचे विभाजन करणे, मशीन्सच्या संचावर प्रोग्राम्स एक्झिक्युशनचे वेळापत्रक, मशीन अपयशी हाताळणे आणि आवश्यक अंतर्देशीय संप्रेषण व्यवस्थापित करते. समांतर आणि वितरित प्रणालींचा कोणताही अनुभव नसलेले प्रोग्रामर मोठ्या वितरित प्रणालीचे स्रोत सहज वापरू शकतात.

मॅपरेड्यूस वितरित ग्रीप, वितरित क्रमवारी, वेब दुवा-आलेख उलट, वेब प्रवेश लॉग आकडेवारी, दस्तऐवज क्लस्टरिंग, मशीन शिक्षण आणि सांख्यिकीय मशीन भाषांतरात वापरले जाते.