रेडिट ने मंगलवार को घोषणा की कि वह अपने प्लेटफॉर्म पर स्वचालित डेटा स्क्रैपिंग को रोकने के लिए एक वेब मानक को संशोधित करेगा। यह कदम उन रिपोर्टों का जवाब है कि AI स्टार्टअप अपने सिस्टम के लिए सामग्री एकत्र करने के लिए मौजूदा नियमों को दरकिनार कर रहे थे। सोशल मीडिया कंपनी रोबोट्स एक्सक्लूजन प्रोटोकॉल को अपडेट करने के लिए तैयार है, जिसे आमतौर पर "robots.txt" के रूप में जाना जाता है, जो एक वेबसाइट के उन हिस्सों को निर्धारित करता है जिन्हें स्वचालित क्रॉलर द्वारा एक्सेस किया जा सकता है।
यह निर्णय आर्टिफिशियल इंटेलिजेंस कंपनियों द्वारा कथित रूप से प्रकाशकों से सामग्री को लूटने की चिंताओं के बीच आया है, ताकि उचित एट्रिब्यूशन या अनुमति के बिना एआई-जनरेट सारांश तैयार किया जा सके। Reddit के अपडेट किए गए उपायों में एकल उपयोगकर्ता द्वारा किए जा सकने वाले अनुरोधों की मात्रा को नियंत्रित करने के लिए दर-सीमित बनाए रखना शामिल होगा, साथ ही अज्ञात बॉट्स और क्रॉलर को साइट से डेटा की कटाई से रोकना शामिल होगा।
“robots.txt" के उपयोग को प्रमुखता मिली है क्योंकि प्रकाशक अपनी सामग्री को प्रौद्योगिकी कंपनियों द्वारा AI एल्गोरिदम को प्रशिक्षित करने और बिना किसी मुआवजे के कुछ खोज प्रश्नों के लिए सारांश तैयार करने के लिए उपयोग किए जाने से बचाना चाहते हैं। पिछले हफ्ते, कंटेंट लाइसेंसिंग स्टार्टअप, टोलबिट ने प्रकाशकों को एक पत्र भेजा जिसमें खुलासा किया गया कि कई AI फर्म प्रकाशक साइटों से सामग्री को स्क्रैप करने के लिए वेब मानक को दरकिनार कर रही थीं।
जून में पहले वायर्ड द्वारा की गई एक जांच ने सुझाव दिया था कि एआई सर्च फर्म पेरप्लेक्सिटी ने “robots.txt” के माध्यम से अपने वेब क्रॉलर को ब्लॉक करने के उपायों को दरकिनार कर दिया हो सकता है। एक संबंधित घटना में, फोर्ब्स ने जून की शुरुआत में पेरप्लेक्सिटी पर बिना क्रेडिट के जनरेटिव एआई सिस्टम में उपयोग के लिए अपनी खोजी कहानियों को चोरी करने का आरोप लगाया था।
पहुंच को मजबूत करने के बावजूद, Reddit ने पुष्टि की है कि इंटरनेट आर्काइव जैसे शोधकर्ता और संस्थाएं अभी भी इसकी सामग्री का उपयोग करने में सक्षम होंगी, बशर्ते उनका उपयोग गैर-वाणिज्यिक हो। यह सुनिश्चित करता है कि कंपनी अपनी सामग्री को अनधिकृत स्क्रैपिंग से बचाने के लिए कदम उठाती है, लेकिन यह वैध अनुसंधान और अभिलेखीय गतिविधियों का समर्थन करना जारी रखती है।
रॉयटर्स ने इस लेख में योगदान दिया।
यह लेख AI के समर्थन से तैयार और अनुवादित किया गया था और एक संपादक द्वारा इसकी समीक्षा की गई थी। अधिक जानकारी के लिए हमारे नियम एवं शर्तें देखें।