SweetPotato::Plagger このページをアンテナに追加 RSSフィード

2007-09-19

[] 画像系tumblrの画像を収集したい  画像系tumblrの画像を収集したい - SweetPotato::Plagger を含むブックマーク はてなブックマーク -  画像系tumblrの画像を収集したい - SweetPotato::Plagger  画像系tumblrの画像を収集したい - SweetPotato::Plagger のブックマークコメント

APIを叩くソリューションを。

Reblogではなく単純に収集がしたい人向け。

config.yaml

global:
  assets_path: /path/to/assets
  timezone: Asia/Tokyo
  log:
    level: info
  cache:
    base: /path/to/cache

plugins:
  - module: Subscription::Config
    config:
      feed:
        - url: http://moepic17.tumblr.com/rss
        - url: http://moepic18.tumblr.com/rss
        - url: http://school-mizugi.tumblr.com/rss
        - url: http://kuro-tights.tumblr.com/rss

  - module: Filter::FindEnclosures
  - module: Filter::FetchEnclosure
    config:
      dir: /path/to/enclosure
      fake_referer: 1

画像系tumblrのRSSをSubscription::Configで取得し,Filter::FindEnclosuresとFilter::FetchEnclosureでエントリの画像をローカルに保存。

このconfig.yamlでPlaggerを実行すると,/path/to/enclosure以下にフィードごとにフォルダが作成され,その中に画像が保存される。フォルダ名はフィードのID(URL?)のMD5値になっているから,フォルダの中身を見て「このフォルダはこのフィードに対応している」ってのは手作業で確認せにゃならんけど。

あとはこれを定期的に実行すればOK。ただしtumblrのフィードは20件までしかエントリが表示されないから,エントリが流れて画像に抜けが出るのが嫌という人は実行時間に注意。例えば,萌え連18さんは夜から深夜の投稿が多いから,その時間帯に1時間おきに取得するとか。

2007-08-01

[] tumblrの検索性の低さを解決したい  tumblrの検索性の低さを解決したい - SweetPotato::Plagger を含むブックマーク はてなブックマーク -  tumblrの検索性の低さを解決したい - SweetPotato::Plagger  tumblrの検索性の低さを解決したい - SweetPotato::Plagger のブックマークコメント

もっとまともな解決方法を提案。

tumblrのRSSをPlaggerで定期的に取得してGmailに投げ,検索はGmailにお任せする方針。

config.tumblr.yaml

global:
  assets_path: /path/to/assets
  timezone: Asia/Tokyo
  log:
    level: info
  cache:
    base: /path/to/cache

plugins:
  - module: Subscription::Config
    config:
      feed:
        - url: http://hoge.tumblr.com/rss

  - module: Filter::Rule
    rule:
      - module: Deduped
        compare_body: 1

  - module: Filter::FindEnclosures
  - module: Filter::FetchEnclosure
    config:
      dir: /path/to/enclosure

  - module: Publish::Gmail
    config:
      mailto: hoge@gmail.com
      mailfrom: plagger@dummy.com
      mailroute:
        via: smtp_tls
        host: smtp.gmail.com:587
        username: hoge@gmail.com
        password: ********
      attach_enclosures: 1

よく考えたらGoogleブログ検索でblogurl検索すればいい話じゃないか。でも公開しちゃったからこのままにしておく。

トラックバック - http://plagger.g.hatena.ne.jp/SweetPotato/20070801

2006-12-03

[] コットンソフトの四暗刻画像を欠かさず保存したい 03:27  コットンソフトの四暗刻画像を欠かさず保存したい - SweetPotato::Plagger を含むブックマーク はてなブックマーク -  コットンソフトの四暗刻画像を欠かさず保存したい - SweetPotato::Plagger  コットンソフトの四暗刻画像を欠かさず保存したい - SweetPotato::Plagger のブックマークコメント

config.sianke.yaml

plugins:
  - module: CustomFeed::Debug
    config:
      entry:
        - link: http://cotton-soft.com/4koma.html
  - module: Filter::EntryFullText
    config:
      store_html_on_failure: 1
  - module: Filter::FindEnclosures
  - module: Filter::FetchEnclosure
    config:
      dir: /path/to/dir

EFTは単純にHTMLを取得するのが目的なだけのでassetsは不要。あとはこれを定期実行するだけ。

てか四暗刻に限らず,イラスト収集にこの方法は使えるんだよなあ。便利。サーバへの負荷のかけ過ぎには注意しないといけないけど。

トラックバック - http://plagger.g.hatena.ne.jp/SweetPotato/20061203