Back to Question Center
0

Semalt:robots.txt:いくつかのWebページ以外のすべてのWebページをブロックしますか?

1 answers:

私は ロボットに関するいくつかの疑問がある. txt . 言って、私のドメインは stackoverflow. com

A)以下のコードはすべてのクローラーに対して以下のことを行いますか?

   ユーザーエージェント:*Disallow:/許可:/ $
許可:/ a / $
許可:/ a / login. PHP
許可:/ a / login - urasyvyys uudet renkaat todella. PHP?return = / pligg /   
  1. 受け入れる http:// stackoverflow. com / は受け入れます http:// stackoverflow. com も?

  2. 受け入れる http:// stackoverflow. com / a /

  3. 受け入れる http:// stackoverflow. com / a / login. php

  4. 受け入れる http:// stackoverflow. com / a / login. php?return = / pligg /

  5. 他のページを受け付けていない http:// stackoverflow. com

B)どちらが正しいか: ロボット. txt または ロボット. txt

February 13, 2018