環境
OS: Windows 7
python: 3.5.4
python: 3.5.4
scrapyでrobots.txtを無視させたい場合、プロジェクト内の「settings.py」の 「ROBOTSTXT_OBEY」設定値を「True」から「False」に変更する。
【python】scrapyでrobots.txtを無視させたい場合
scrapyでrobots.txtを無視させたい場合、プロジェクト内の「settings.py」の 「ROBOTSTXT_OBEY」設定値を「True」から「False」に変更する。