High Quality Content by WIKIPEDIA articles! The Robot Exclusion Standard, also known as the Robots Exclusion Protocol or robots.txt protocol, is a convention to prevent cooperating web crawlers and other web robots from accessing all or part of a website which is otherwise publicly viewable. Robots are often used by search engines to categorize and archive web sites, or by webmasters to proofread source code. The standard is different from, but can be used in conjunction with, Sitemaps, a robot inclusion standard for websites. Данное издание представляет собой компиляцию сведений, находящихся в свободном доступе в среде Интернет в целом, и в информационном сетевом ресурсе "Википедия" в частности. Собранная по частотным запросам указанной тематики, данная компиляция построена по принципу подбора близких информационных ссылок, не имеет самостоятельного сюжета, не содержит никаких аналитических материалов, выводов, оценок морального, этического, политического, религиозного и...