scrapyは使用するpipelineを全て定義する必要があり、普通に書くとどのspiderでも定義した全てのpipelineを通るようになっている。これをそれぞれのspiderで、指定したpipelineだけを通るようにする実装のメモ。 例として、slack_botとtweet_botの2つのspide…

そのままdatetimeにしようとするとエラーが発生する。 import datetime dt_str = '2020/06/07 25:05' d = datetime .datetime .strptime(dt_str, '%Y/%m/%d %H:%M') # ValueError: time data '2020/06/07 25:05' does not match format '%Y/%m/%d %H:%M' な…

ウェブサイトを定期的にスクレイピングし、自然言語処理をしてその結果をもとにTwitterに投稿するbotをつくった。その際に必要だった技術、調べたもののメモ。 クローラー系 scrapy cssセレクタ一覧 相対パスを絶対パスに変換 scrapyのロギング最低レベル変…