SweetPotato::Plagger このページをアンテナに追加 RSSフィード

2006-12-19

[][] upgrader for EFT e-1day NEWS 00:18  upgrader for EFT e-1day NEWS - SweetPotato::Plagger を含むブックマーク はてなブックマーク -  upgrader for EFT e-1day NEWS - SweetPotato::Plagger  upgrader for EFT e-1day NEWS - SweetPotato::Plagger のブックマークコメント

講談社のe-1dayサイトのモーニングアフタヌーンイブニングのニュースを取得する。

assets/plugins/Filter-EntryFullText/e-1day.yaml

# author: SweetPotato
custom_feed_handle: http://www\.e-1day\.jp/(?:morning|afternoon|evening)/news/$
custom_feed_follow_link: /\d{4}/\d{2}/[-\w]+\.html$
handle: http://www\.e-1day\.jp/(?:morning|afternoon|evening)/news/\d{4}/\d{2}/[-\w]+\.html$
extract: </h3>(.*?)<p class="newdate">(.*?)</p>
extract_capture: body date
extract_date_format: %Y.%m.%d
extract_date_timezone: Asia/Tokyo

config.e-1day.yaml

plugins:
  - module: Subscription::Config
    config:
      feed:
        - url: http://www.e-1day.jp/morning/news/
        - url: http://www.e-1day.jp/afternoon/news/
        - url: http://www.e-1day.jp/evening/news/
  - module: Filter::EntryFullText
  - module: Filter::ResolveRelativeLink
トラックバック - http://plagger.g.hatena.ne.jp/SweetPotato/20061219

2006-12-06

[][] upgrader for EFT livedoor デイリー4コマ 21:17  upgrader for EFT livedoor デイリー4コマ - SweetPotato::Plagger を含むブックマーク はてなブックマーク -  upgrader for EFT livedoor デイリー4コマ - SweetPotato::Plagger  upgrader for EFT livedoor デイリー4コマ - SweetPotato::Plagger のブックマークコメント

livedoor デイリー4コマから4コマ画像のURLを取得し,画像をtableタグで縦4コマ形式に並べる。最新の(つまり今日の)4コマは取得できない。最新の4コマが取得できないのはデイリー4コマのフィードの問題だった。デイリー4コマのトップページからCustomFeedで最新のURLまで取得すれば問題はないだろう。

assets/plugin/Filter-EntryFullText/livedoor_daily4koma.pl

# author: SweetPotato
sub handle {
    my ($self, $args) = @_;
    $args->{entry}->link =~ qr!^http://4koma\.livedoor\.com/creator/work/c\d{5}/w\d{5}\.html$!;
}

sub extract {
    my ($self, $args) = @_;

    if ($args->{content} =~ /komaImg = "(.*?)"/) {
        my $base = $1;
        my $body = "<table>";
        for (0..4) {
            $body .= qq!<tr><td><img src="$base$_.jpg"></td></tr>!;
        }
        $body .= "</table>";
        return $body;
    }
    return;
}

config.livedoor_daily4koma.yaml

plugins:
  - module: Subscription::Config
    config:
      feed:
        - url: http://4koma.livedoor.com/rss/4koma.xml
  - module: Filter::Rule
    rule:
      expression: $args->{entry}->link =~ m!^http://4koma\.livedoor\.com/creator/work/c\d{5}/w\d{5}\.html$!
  - module: Filter::EntryFullText
# - module: Filter::FindEnclosures
# - module: Filter::FetchEnclosure
#   config:
#     dir: /path/to/dir

enclosure関係のプラグインはお好みで。

スクリーンショット(Publish::Gmail)

f:id:SweetPotato:20061206210826p:image

補足

全文を取得しないのにEFTのupgraderとは何をかいわんやとおっしゃるのはごもっとも。ただこのために独自のFilterを作るのもだるかったのでassetsで済ませた次第。

トラックバック - http://plagger.g.hatena.ne.jp/SweetPotato/20061206

2006-12-03

[][] upgrader for EFT Game-Style & Girls-Style 22:38  upgrader for EFT Game-Style & Girls-Style - SweetPotato::Plagger を含むブックマーク はてなブックマーク -  upgrader for EFT Game-Style & Girls-Style - SweetPotato::Plagger  upgrader for EFT Game-Style & Girls-Style - SweetPotato::Plagger のブックマークコメント

Game-StyleおよびGirls-Styleの記事の全文を取得する。

assets/plugin/Filter-EntryFullText/gamestyle.yaml

# author: SweetPotato
handle: http://www\.(?:game|girls)-style\.jp/(?:\w+/\d{6}/\d{2}/\w+|nijiiro/4koma/\d+)\.php
extract: (<TD WIDTH=540 VALIGN=TOP ALIGN=CENTER>.*?)<HR>\r?\n<DIV CLASS=MS>
extract_capture: body

虹色エアラインのためにextractがやや強引になっている。

config.gamestyle.yaml

plugins:
  - module: Subscription::Config
    config:
      feed:
        - url: http://www.game-style.jp/index2.php
          meta:
            follow_link: /\w+/\d{6}/\d{2}/\w+\.php
        - url: http://www.game-style.jp/gyutto/
          meta:
            follow_link: /gyutto/\d{6}/\d{2}/\w+\.php
        - url: http://www.game-style.jp/nijiiro/
          meta:
            follow_link: /nijiiro/4koma/\d+\.php
        - url: http://www.girls-style.jp/index2.php
          meta:
            follow_link: /\w+/\d{6}/\d{2}/\w+\.php
  - module: CustomFeed::Simple
  - module: Filter::EntryFullText
  - module: Filter::ResolveRelativeLink

[] コットンソフトの四暗刻画像を欠かさず保存したい 03:27  コットンソフトの四暗刻画像を欠かさず保存したい - SweetPotato::Plagger を含むブックマーク はてなブックマーク -  コットンソフトの四暗刻画像を欠かさず保存したい - SweetPotato::Plagger  コットンソフトの四暗刻画像を欠かさず保存したい - SweetPotato::Plagger のブックマークコメント

config.sianke.yaml

plugins:
  - module: CustomFeed::Debug
    config:
      entry:
        - link: http://cotton-soft.com/4koma.html
  - module: Filter::EntryFullText
    config:
      store_html_on_failure: 1
  - module: Filter::FindEnclosures
  - module: Filter::FetchEnclosure
    config:
      dir: /path/to/dir

EFTは単純にHTMLを取得するのが目的なだけのでassetsは不要。あとはこれを定期実行するだけ。

てか四暗刻に限らず,イラスト収集にこの方法は使えるんだよなあ。便利。サーバへの負荷のかけ過ぎには注意しないといけないけど。

トラックバック - http://plagger.g.hatena.ne.jp/SweetPotato/20061203