सामग्री
प्रश्नः
डेटा विज्ञान प्रक्रिया स्वयंचलित आणि ऑप्टिमाइझ करण्याचे काही प्रमुख मार्ग कोणते आहेत?
उत्तरः
मशीन लर्निंग आणि एआय मधील डेटा विज्ञान प्रक्रिया चार वेगवेगळ्या टप्प्यात विभागल्या जाऊ शकतात:
- डेटा संपादन आणि अन्वेषण,
- मॉडेल बिल्डिंग,
- मॉडेल तैनाती आणि
- ऑनलाइन मूल्यांकन आणि परिष्करण
माझ्या अनुभवावरून, कोणत्याही मशीन-लर्निंग-आधारित डेटा विज्ञान प्रक्रियेतील डेटा अधिग्रहण आणि मॉडेल तैनातीचे चरण हे सर्वात अव्यक्त चरण आहेत आणि त्यांचे ऑप्टिमाइझ करण्याचे दोन मार्ग येथे आहेतः
1. अत्यधिक प्रवेश करण्यायोग्य डेटास्टोअर स्थापित करा.
बर्‍याच संस्थांमध्ये डेटा एका मध्यवर्ती ठिकाणी संग्रहित केला जात नाही. चला फक्त ग्राहकांशी संबंधित माहिती घेऊया. आपला व्यवसाय वेब अनुप्रयोग असल्यास आपल्याकडे ग्राहक संपर्क माहिती, ग्राहक समर्थन, ग्राहक अभिप्राय आणि ग्राहक ब्राउझिंग इतिहास आहे. हे सर्व डेटा नैसर्गिकरित्या विखुरलेले आहेत कारण ते वेगवेगळ्या उद्देशांसाठी आहेत. ते भिन्न डेटाबेसमध्ये राहू शकतात आणि काही पूर्णपणे संरचित आणि काही अप्रचलित असू शकतात आणि कदाचित साध्या फायली म्हणून देखील संग्रहित केल्या जाऊ शकतात.
दुर्दैवाने, सर्व एनएलपी, मशीन लर्निंग आणि एआयच्या समस्येचा आधार म्हणून या डेटासेटचे विखुरलेलेपणा डेटा विज्ञान कार्यावर मर्यादित आहे. डेटा. तर, हा सर्व डेटा एकाच ठिकाणी ठेवणे - डेटास्टोअर - मॉडेल विकास आणि उपयोजित गतीमध्ये सर्वोपरि आहे. सर्व डेटा विज्ञान प्रक्रियेसाठी हा एक महत्त्वपूर्ण तुकडा आहे हे लक्षात घेता, त्यांचे डेटाबेस तयार करण्यात मदत करण्यासाठी संस्थांनी पात्र डेटा अभियंता नियुक्त केले पाहिजेत. साध्या डेटा एकाच ठिकाणी डंप केल्यामुळे सहजपणे प्रारंभ होऊ शकतो आणि हळू हळू एका विचाराधीन डेटा रेपॉजिटरीमध्ये वाढू शकतो, संपूर्णपणे दस्तऐवजीकरण केले जाते आणि विविध हेतूंसाठी डेटाचे सबसेट वेगवेगळ्या स्वरूपात निर्यात करण्यासाठी उपयुक्तता साधनांसह क्वेरी करता येते.
२.आपल्या मॉडेल्स अखंड समाकलनासाठी सेवा म्हणून उघडा.
डेटामध्ये प्रवेश सक्षम करण्याव्यतिरिक्त, डेटा शास्त्रज्ञांनी उत्पादनात तयार केलेल्या मॉडेल्सना समाकलित करण्यात सक्षम होणे देखील महत्वाचे आहे. रुबीवर चालणार्‍या वेब withप्लिकेशनसह पायथनमध्ये विकसित केलेल्या मॉडेल्सना एकत्रित करणे अत्यंत कठीण आहे. याव्यतिरिक्त, मॉडेलमध्ये बरेच डेटा अवलंबिता असू शकतात जे आपले उत्पादन प्रदान करू शकणार नाहीत.
यास सामोरे जाण्याचा एक मार्ग म्हणजे आपल्या मॉडेलभोवती एक मजबूत पायाभूत सुविधा स्थापित करणे आणि “वेब सर्व्हिस” म्हणून मॉडेलचा वापर करण्यासाठी आपल्या उत्पादनास आवश्यक असलेल्या पुरेशी कार्यक्षमता उघड करणे. उदाहरणार्थ, आपल्या अनुप्रयोगास उत्पादनांच्या पुनरावलोकनांवर भावनांचे वर्गीकरण आवश्यक असल्यास , वेब सर्व्हिसची विनंती करणे आवश्यक आहे, संबंधित सेवा प्रदान करणे आणि सेवा योग्य भावनेचे वर्गीकरण परत वापरू शकेल जे उत्पादन थेट वापरू शकेल. अशाप्रकारे एकत्रीकरण फक्त एपीआय कॉलच्या स्वरूपात आहे. हे वापरणारे मॉडेल आणि उत्पादन डिक्वुल केल्याने आपण आलेल्या नवीन उत्पादनांसाठी हे अगदी सोपे आहे की या मॉडेलचा थोडा त्रास देखील होऊ शकेल.
आता, आपल्या मॉडेलभोवती पायाभूत सुविधा स्थापित करणे ही एक संपूर्ण गोष्ट आहे आणि आपल्या अभियांत्रिकी कार्यसंघाकडून मोठ्या प्रमाणात प्रारंभिक गुंतवणूकीची आवश्यकता आहे. एकदा पायाभूत सुविधा उपलब्ध झाल्या की, पायाभूत सुविधांमध्ये बसू शकतील अशा प्रकारे मॉडेल बनविण्याची केवळ गोष्ट आहे.