robots.txt 生成
クローラーにどの道は通っていいか、どこは入らないでほしいかを伝える robots.txt を作ります。ひな形から始めて、自分の規則を足してください。
smart_toy
規則を決めて［実行］を押すと、
ここに robots.txt がたまります。
settings
クローラーにどの道は通っていいか、どこは入らないでほしいかを伝える robots.txt を作ります。ひな形から始めて、自分の規則を足してください。
規則を決めて［実行］を押すと、
ここに robots.txt がたまります。