あぼぼノート

頭の中空っぽ

2020-06-09から1日間の記事一覧

複数のspiderで異なるpipelineを通す

scrapyは使用するpipelineを全て定義する必要があり、普通に書くとどのspiderでも定義した全てのpipelineを通るようになっている。これをそれぞれのspiderで、指定したpipelineだけを通るようにする実装のメモ。 例として、slack_botとtweet_botの2つのspide…