robots.txtのあれを使用する？

便利なrobots.txtのはまだ質問：質問？私はこのファイルに詏定されていないサイトが多く検出されます。