robots.txt जेनरेटर
एक robots.txt बनाएँ जो क्रॉलर को बताए कि कौन-से पथ देखे जा सकते हैं और कौन-से नहीं। किसी प्रीसेट से शुरू करें और अपने नियम जोड़ें।
smart_toy
नियम तय करें, ‘चलाएँ’ दबाएँ,
और robots.txt यहाँ जमा होगा।
settings