Qisqacha mazmuni (Executive Summary)
  • OpenAI, Google, Microsoft va Anthropic sayt egalari uchun yagona robots.txt standartiga kelishib oldi.
  • Yangi qoida orqali har bir botni alohida yozmasdan, __usage_ai-training orqali AI o‘qitilishini cheklash mumkin.
  • Standart qidiruv tizimlarida indeksatsiyani saqlagan holda modellarni o‘qitishni alohida to‘xtatadi.

Nima bo‘ldi?

Sun’iy intellekt sohasidagi eng yirik to‘rtta texnologiya giganti — OpenAI, Google, Microsoft va Anthropic veb-sayt egalariga o‘z kontentlarini AI modellarini o‘qitishda ishlatilishidan himoyalash imkonini beruvchi yagona robots.txt standartini qabul qilish bo‘yicha kelishuvga erishdi.

Ilgari sayt ma’murlari har bir kompaniyaning alohida qidiruv botini (masalan, OpenAI uchun GPTBot, Anthropic uchun ClaudeBot, Google uchun Google-Extended) qo‘lda bloklashi talab etilar edi. Yangi kelishuvga ko‘ra, Internet Engineering Task Force (IETF) qoshidagi AIPREF ishchi guruhi tomonidan ishlab chiqilgan yagona __usage_ai-training direktivasi barcha yetakchi modellar uchun umumiy qoida sifatida amal qiladi.

Nega muhim?

Ushbu qadam veb-noshirlar, media platformalar va mualliflar bilan generativ AI kompaniyalari o‘rtasidagi ko‘p yillik ma’lumotlar yig‘ish (scraping) mojarolariga barham berishga qaratilgan. Yangi standart ma’lumotlarni o‘qitish (training) jarayoni bilan chat-yordamchilarining jonli faktlarni qidirishi (grounding) o‘rtasidagi chegarani aniq belgilab beradi.

Masalan, agar sayt egasi o‘z kontentini o‘qitishdan cheklasa, qidiruv tizimlari (Google Search yoki Bing) sayt sahifalarini qidiruv natijalarida ko‘rsatishda davom etadi, biroq ushbu ma’lumotlar kelajakdagi katta til modellarining parametrlarini yangilash uchun olinmaydi.

👤 Mutaxassislar uchun
  • Endi robots.txt faylida o‘nlab crawler nomlarini yozish o‘rniga yagona User-Agent: __usage_ai-training direktivasini qo‘llash kifoya.
  • Standart faqat bazaviy modellarni o‘qitishga taalluqli bo‘lib, API orqali qidiruv indeksatsiyasiga xalaqit bermaydi.
  • Anthropic standartni darhol joriy etdi, Microsoft va Google esa 2027-yil boshidan to‘liq o‘tishini ma’lum qildi.
🏢 Biznes uchun
  • Kompaniya veb-resurslari, intellektual mulki va maqolalari begona AI tizimlari tomonidan tekinga o‘zlashtirilishining oldi olinadi.
  • Raqamli media va bloglar uchun o‘z auditoriyasi va trafik oqimini himoyalashning rasmiy huquqiy va texnik dastagi paydo bo‘ldi.
  • IT ma’murlari va veb-ustalar uchun doimiy ravishda yangilanib turuvchi botlar ro‘yxatini nazorat qilish yuklamasi keskin kamayadi.
Bu O‘zbekiston uchun nimani anglatadi?

O‘zbekistondagi axborot nashrlari, tahliliy portallar va mualliflik platformalari o‘zbek tilidagi qimmatli ma’lumotlar bazasini himoyalashda ushbu standartdan foydalanishlari mumkin. Veb-sayt ma’murlari o‘zlarining robots.txt fayliga yangi tokeni kiritish orqali qidiruv tizimlaridagi reytingni yo‘qotmagan holda AI o‘qitilishini to‘xtatib qo‘ya oladilar.

🎯 Endi nima qilish kerak? (Siz uchun amaliy tavsiyalar)
  1. Saytingizning robots.txt faylini tekshiring va User-Agent: __usage_ai-training direktivasini rejalashtiring.
  2. Kompaniyangiz ochiq ma’lumotlari qaysi sun’iy intellekt tizimlari tomonidan o‘qitilayotganini tahlil qiling.
  3. Qidiruv indeksatsiyasi va AI o‘qitilishi o‘rtasidagi farqni tushunib, marketing jamoangiz bilan siyosatni muvofiqlashtiring.
Asl manba: The Next Web (TNW) ↗