Back to Question Center
0

Semalt:robots.txtファイルのハッシュフラグメントを禁止する方法

1 answers:
/ review / dir / dir / dir / dir /#review-form

すべてのロボットのクロールを中止したいウェブサイトのURLが似ています。

私が試したルールは次のとおりです:

  • Disallow:/ review / * review-form $
  • Disallow:/ * \#review-form $
  • 拒否:レビュー形式$
  • Disallow:/#review-form

下のルールは機能しますが、 記号がコメントを開始するため、ハッシュフラグメントなしでURLをブロックします.

のロボットにハッシュフラグメントを持つURLを許可しない Source - planos de camara fotografica profesional. txt ファイル?

February 12, 2018
.