वेब क्रॉलर

लेखक: John Stephens
निर्मितीची तारीख: 1 जानेवारी 2021
अद्यतन तारीख: 1 जुलै 2024
Anonim
वेब क्रॉलर - CS101 - उडेसिटी
व्हिडिओ: वेब क्रॉलर - CS101 - उडेसिटी

सामग्री

व्याख्या - वेब क्रॉलर म्हणजे काय?

वेब क्रॉलर एक इंटरनेट बॉट आहे जो वेब अनुक्रमणिकेत मदत करतो. सर्व पृष्ठांची अनुक्रमित होईपर्यंत ते वेबसाइटवर एका वेळी एक पृष्ठ क्रॉल करतात. वेब क्रॉलर वेबसाइटबद्दल माहिती आणि त्याशी संबंधित दुवे एकत्रित करण्यात मदत करतात आणि एचटीएमएल कोड आणि हायपरलिंक्सचे प्रमाणीकरण करण्यात मदत करतात.


वेब क्रॉलरला वेब स्पायडर, स्वयंचलित अनुक्रमणिका किंवा फक्त क्रॉलर म्हणून देखील ओळखले जाते.

मायक्रोसॉफ्ट अझर आणि मायक्रोसॉफ्ट क्लाऊडची ओळख | या संपूर्ण मार्गदर्शकामध्ये आपण क्लाउड संगणन करणे म्हणजे काय आणि मायक्रोसॉफ्ट अझर आपल्याला क्लाऊडवरून आपला व्यवसाय स्थलांतरित आणि चालविण्यात कशी मदत करू शकेल हे शिकाल.

टेकोपीडिया वेब क्रॉलरचे स्पष्टीकरण देते

वेबसाइट क्रॉलर वेबसाइटची यूआरएल, मेटा टॅग माहिती, वेब पृष्ठ सामग्री, वेबपृष्ठातील दुवे आणि त्या दुव्यांमधून उद्भवणारी गंतव्यस्थाने, वेब पृष्ठ शीर्षक आणि इतर कोणतीही संबंधित माहिती एकत्रित करतात. तेच पृष्ठ पुन्हा डाउनलोड टाळण्यासाठी आधीपासूनच डाउनलोड केलेल्या URL चा मागोवा ठेवतात. पुन्हा भेट देणारी धोरण, निवड धोरण, समांतर धोरण आणि सभ्यता धोरण यासारख्या धोरणांचे संयोजन वेब क्रॉलरचे वर्तन निर्धारित करते. वेब क्रॉलर्ससाठी बरीच आव्हाने आहेत, बहुदा मोठ्या आणि सतत विकसित होत जाणारी वर्ल्ड वाइड वेब, सामग्री निवड व्यापार, सामाजिक जबाबदा with्या आणि विरोधकांशी वागण्याचे.

वेब क्रॉलर वेब शोध इंजिन आणि वेब पृष्ठे पाहणार्‍या सिस्टमचे मुख्य घटक असतात. ते वेब नोंदी अनुक्रमित करण्यात मदत करतात आणि वापरकर्त्यांना अनुक्रमणिकेविरूद्ध क्वेरी करण्यास परवानगी देतात आणि क्वेरीशी जुळणारे वेबपृष्ठे देखील प्रदान करतात. वेब क्रॉलरचा आणखी एक उपयोग वेब संग्रहणात आहे, ज्यामध्ये वेळोवेळी संग्रहित आणि संग्रहित करण्यासाठी मोठ्या प्रमाणात वेबपृष्ठे समाविष्ट असतात. वेब क्रॉलर डेटा खननमध्ये देखील वापरले जातात, ज्यात आकडेवारीसारख्या भिन्न गुणधर्मांकरिता पृष्ठे विश्लेषित केली जातात आणि त्यानंतर डेटा विश्लेषक त्यांच्यावर केली जातात.