Back to Question Center
0

متخصص Semalt در وب سایت Scraping - خوب و بد رباتها

1 answers:

خراش دادن وب برای مدت زمان طولانی بوده است و برای وب مسترها، روزنامه نگاران، مترجمان آزاد، برنامه نویسان، غیر برنامه نویسان، محققان بازاریابی، محققان و متخصصان رسانه های اجتماعی. دو نوع از رباتها وجود دارد: رباتها خوب و رباتها بد. ربات های خوب، موتورهای جستجو را قادر می سازند محتوای وب را فهرست نمایند و از سوی کارشناسان بازار و بازاریابان دیجیتال، اولویت های بالایی دارند. از سوی دیگر، ربات های بد بی فایده هستند و هدف آن آسیب رساندن رتبه بندی موتور جستجوی سایت است. قانونی بودن اخراج وب بستگی به نوع رباتهای مورد استفاده شما دارد.

به عنوان مثال، اگر از رباتهای بد استفاده می کنید که محتوای را از صفحات مختلف وب با هدف استفاده از آن غیرقانونی بدست آورده اید، ممکن است وب خراب شود. اما اگر از ربات ها خوب استفاده می کنید و از فعالیت های مضر از قبیل ممنوعیت حملات سرویس، تقلب آنلاین، استراتژی های رقابتی داده کاوی، خرابکاری داده ها، ربودن حساب، اسکن آسیب پذیری غیر مجاز، تقلب های تبلیغاتی دیجیتال و سرقت مالکیت های فکری، جلوگیری کنید. سپس روش شستشوی وب خوب و مفید برای رشد کسب و کار شما در اینترنت است.

متاسفانه، بسیاری از فارغ التحصیلان و راه اندازی کنندگان دوست دارند ربات های بد، زیرا آنها یک روش ارزان، قدرتمند و جامع برای جمع آوری داده ها بدون نیاز به مشارکت هستند. شرکت های بزرگ، با این حال، از وب سایت های حقوقی وب برای دستاوردهای خود استفاده می کنند و نمی خواهند شهرت خود را در اینترنت با استفاده از اسکنرهای غیرقانونی وب خراب کنند. اظهارات کلی در مورد قانونی بودن کلاهبرداری وب به نظر نمی رسد مهم است، زیرا طی چند ماه گذشته مشخص شده است که سیستم های دادگاه فدرال در حال مبارزه با استراتژی های بیشتر و غیر قانونی وب گردی هستند.

خراش دادن وب به عنوان یک فرایند غیر قانونی در سال 2000 آغاز شد، زمانی که استفاده از رباتها و عنکبوت به وب سایت های خراب شده، بی معنی شد..بسیاری از شیوه ها برای متوقف ساختن این روش از انتشار اینترنت تا سال 2010 اقتباس شده بودند. eBay ابتدا دستورالعمل های اولیه علیه لایحه داوطلب را ارائه داد و ادعا کرد که استفاده از ربات ها در وب سایت قوانین Trespass به Cathtel را نقض کرده است. دادگاه به زودی دستورات را به این دلیل اعطا کرد که کاربران باید شرایط و ضوابط سایت را بپذیرند و تعداد زیادی از رباتها غیرفعال شده بودند زیرا ممکن است دستگاههای کامپیوتری eBay مخرب باشند. این دادخواست به زودی از دادگاه حل و فصل شد و eBay هرکسی را از استفاده از رباتها برای از بین بردن وب متوقف کرد مهم نیست که آنها خوب یا بد هستند.

در سال 2001، یک آژانس مسافرتی از رقبائی که محتوای آن را از وب سایت گرفته بود با کمک عنکبوت های مضر و ربات های بد بدست آورده بود. قضات مجددا اقدامات خود را علیه جرایم انجام دادند و از قربانیان حمایت کردند و گفتند که هر دو از بین بردن وب و استفاده از ربات ها می توانند به کسب و کارهای آنلاین مختلف آسیب برساند.

امروزه برای جمع آوری اطلاعات علمی، خصوصی و اطلاعات، بسیاری از افراد بر رویه های وب منصفانه استفاده می کنند و بسیاری از ابزارهای وب در این زمینه توسعه یافته اند. اکنون مقامات می گویند که تمام این ابزار ها قابل اعتماد نیستند، اما مواردی که در نسخه های پرداخت شده یا حق بیمه وجود دارد بهتر از وب کم وب کم هستند.

در سال 2016، کنگره اولین قانون را برای هدف قرار دادن ربات ها و حمایت از ربات های خوب گذراند. قانون فروش بهتر بلیط آنلاین (BOTS) تشکیل شد که استفاده از نرم افزارهای غیر قانونی را ممنوع کرد، که می تواند وب سایت ها را هدف قرار دهد، رتبه های موتور جستجوی خود را خراب کند و کسب و کارشان را از بین ببرد. مسائل عدالت وجود دارد. به عنوان مثال، LinkedIn پول زیادی را صرف ابزارهایی کرده است که ربات های بد را مسدود یا حذف می کنند و ربات های خوب را تشویق می کنند. همانطور که دادگاه ها سعی در تصمیم گیری درباره قانونی بودن اخراج وب دارند، شرکت ها اطلاعات خود را به سرقت می برند Source .

December 7, 2017