nDiki : RSS

RSS - RDF Site Summary / Really Simple Syndication

Content Syndication With Rss

メモ

リソースの更新日時情報を入れるには Dublin Core モジュールを使う。

web

簡単なRDF Site Summary (RSS)の説明
http://www-6.ibm.com/.../j_w-rss.html
RDF Site Summary 1.0 Modules: LIRS
wikistmania
- ishinao 氏が開発、運用されていた RSS アンテナ。
- http://ishinao.mine.nu/wikistmania/

メール配信

MyRSS メール配信

2005年12月31日 (土)

■ 私的10大ニュース2005 [ comp ]

今年は主に開発等よりもオンラインサービスの活用が中心的な話題であった。来年度は、積極的に何かを産み出していきたところである。

@ Skype

年初はまずは Skype。社内でも本社との連絡に活用されるようになった。これほどツールがスムーズに社内に広まるのは珍しい。

社内といえば、やっと Wiki の利用が社内で広まってきた。今後より利用が進むといろいろ不満も出てくるはず。それをうまく吸い上げていくことが重要。

@ ソーシャルブックマークサービス

Squrl を使いはじめて、はてなブックマーク1本へ。 2月のサービス開始から使いはじめてブックマークの数は 3,337。

folksonomy という観点では folk (folc / people) を実感できなかった。タグは主に自分で分類するのに使っているというところ。

@ Flickr

2月に使い始めて、5月に Pro Account へ。これで www.naney.org の容量を気にしなくて良いようになった。

@ Bloglines

RSS を発行しているサイトの巡回は Bloglines へほぼ集約。斜め読み化が進んだ。

@ reStructuredText

可読性の高いプレーンテキストマークアップ文法。

この文法で書いておけば、メールでやり取りをしてまとまった内容をそのまま書き換え直さずに、小綺麗に整形してHTMLやPDF形式にすることができる。

ちょっとした文書の作成にもってこい。

今後環境整備や、自分なりの運用スタイルの確立がポイント。

スポンサードリンク

[ permalink ]

定型書式で内容を記述していくのに便利な形式は? (2005-11-21)
Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)
Bloglines に巡回先の一部を集約 (2005-02-13)
reStructuredText いいんじゃない? (2005-11-22)
Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)

[ 12月31日全て ]

2006年3月3日 (金)

■ サーバ高負荷状態につき DiKicker 機能修正とサーバ設定変更

www.naney.org をホスティングしているサーバが重いと思ったら、同じサーバ上のあるユーザの CGI プログラムが5プロセス無限ループしてるっぽい……。 load average 20前後。

あおりを受けて、nDiki が大変なことになっている。

nDiki は SpeedyCGI を使っているのだが、バックエンドの speedy_backend が捌ききれず、フロントエンドの speedy が大量に待ちに入ってしまっている。

MaxBackends を調整しても駄目(下手にバックエンドプロセス数を増やしても、結局処理が追いつかない)。

ということで急遽対策。

@ 高負荷時にはてなブックマークへのアクセスを停止

load average が高い時には、はてなブックマーク上の検索結果を表示させるために行なっているはてなブックマークへのアクセスを休止するように変更。 24時間に設定してあるキャッシュの有効期限が切れていても、高負荷の時にはアクセスにいかないようにする。

これで DiKicker の処理時間を短縮。相手側サーバへの負担も軽減。

@ Google Desktop からのアクセスを一時的に拒否

おかげ様でここ最近 nDiki の RSS へのアクセス数が増えてきている。ありがたい事である。

しかしながら DiKicker の RSS レスポンスは、あまり賢くなく毎回データベースから最新記事情報を抽出して生成しているため、それほど処理が速くない。

なのでアクセス頻度を高くしている RSS リーダがどこかで同時に起動しているとちょっとしんどい。特にここ最近 Google Desktop からのアクセス数が増えている感じ。

さすがに今日はサーバの負荷が高く処理が追いつかなくてどうしようもないので、一時的に Google Desktop を拒否することに。

.htaccess に設定を追加。

 BrowserMatch "Google Desktop" denybrowser
 deny from env=denybrowser

近日中に、RSS 処理を改善してすぐに解除する予定。

@ robots.txt に Crawl-delay: を追加

効果があるかどうかは不明だが、Crawl-delay: に対応するというクローラ (Slurp、msnbot) 向け設定を追加。

 User-agent: Slurp
 Crawl-delay: 20

 User-agent: msnbot
 Crawl-delay: 20

アクセス数としては Googlebot と Slurp がダントツ。しかし Google は無下にする訳にもいかないしなぁ。

[ permalink ]

[ Perl ] Log::Log4perlのはまりどころ (2004-03-02)
さらにサーバ負荷状態悪化。対応に追われる。 (2006-03-04)
www.naney.org サーバ断続的にダウン (2006-04-30)
[ WiKicker ] SpeedyCGI 対応するも…… (2003-11-09)
Rubric でプライベート SBS を立てるも 0.140 では日本語に不具合 (2006-07-22)

[ 3月3日全て ]

2006年3月4日 (土)

■ さらにサーバ負荷状態悪化。対応に追われる。

CPU パワーを消費し続けているプロセスが昨日の 5 個から、今日は 21個に増えている……。

対応するも、焼け石に水か。

@ データベースロックタイムアウト時間を短く

120秒から60秒に。

@ 生成した RSS をキャッシュするようにする

生成した RSS を Cache::FileCache で有効期間30分でキャッシュするように変更。あわせて Google Desktop からのアクセス拒否を解除。

@ 旬カレンダーナビゲーションをキャッシュするようにする

ページ下部にある各月上中下旬へのリンクは、どこに記事が追加されたかディレクトリをスキャンするしか知りようがないので毎回そのようにしていたのだが、これが結構重くなってきたので、これも有効期間1時間でキャッシュするように変更。

@ 高負荷時のページ更新停止機能を改善

DiKicker では新しいキーワードが追加されると、過去の記事についてもアクセスがあり次第、自動リンクし直していくようになっている。

高負荷時にはこの機能が止まるようにしてあったのだが、「キーワード記事」については止まるようになっていなかった。また「1記事のみのページ」へのアクセスの場合も(1記事ぐらいの更新ならいいだろうということで)止まるようにしていない。

このためこれらへのアクセスあると、(必要であれば)アップデート処理が発生。データベースの排他ロックも必要となるため、全体のレスポンス低下につながっていた。

これらも、高負荷時には止まるように修正。

[ permalink ]

サーバ高負荷状態につき DiKicker 機能修正とサーバ設定変更 (2006-03-03)
Twitter ステータスを nDiki サイドバーに表示 (2007-11-09)
他の Web サイトの情報を URI::Fetch でキャッシュ付き取得 (2005-10-29)
[ DiKicker ] 語リストを Term DB に保持 (2006-11-21)
nDiki のレスポンスが悪くなってきたので DiKicker 修正 (2006-08-29)

[ 3月4日全て ]

2006年3月6日 (月)

■ Debian に RSS リーダ「フレッシュリーダー」をインストール

2006年3月1日にリリースされた RSS リーダフレッシュリーダー(Fresh Reader)を昨日 Debian GNU/Linux sid 環境へインストールして試用を開始してみた。

@ Debian GNU/Linux sid へインストール

ノート PC 上で動いている Apache2 にインストール。PHP が必要なので、libapache2-mod-suphp をインストールしておく。

 apt-get install libapache2-mod-suphp

他のプライベートな Web サイトと分離するために、バーチャルホストを1つ作ってそこへインストールすることにする。 libapache2-mod-suphp を使って、自分のユーザ権限で db に書き込むように設定。また自分だけが使えるようにアクセス制限しておくことにする。

/etc/apache2/sites-available/freshreader を作成:

 <VirtualHost *>
   ServerAdmin naney@naney.org
   ServerName freshreader
   SuexecUserGroup naney naney

    DocumentRoot /var/www/freshreader
    <Directory />
      Options FollowSymLinks
      AllowOverride None
    </Directory>
    <Directory /var/www/freshreader>
      Options Indexes FollowSymLinks MultiViews ExecCGI
      AllowOverride All
      Order deny,allow
      Deny from all
      Allow from 127.0.0.0/255.0.0.0 ::1/128
    </Directory>

    ErrorLog /var/log/apache2/error.log
    LogLevel warn

    CustomLog /var/log/apache2/access.log combined
    ServerSignature On
 </VirtualHost>

で、次にバーチャルホストを有効にする。

 #mkdir /var/www/freshreader
 #chown naney.naney /var/www/freshreader
 #a2ensite freshreader
 #emacs /etc/hosts                # 127.0.0.1 に freshreader を追加
 #/etc/init.d/apache2 reload

続けてフレッシュリーダーをインストール。基本的にはアーカイブを展開するのみ。

 $cd /var/www/freshreader
 $tar zxvfp ~/sffr10lin.tar.gz
 $chmod 700 db

で Web ブラウザから

 http://freshreader/freshreader/index.html

にアクセスする。これで基本的なインストール終了。

それから1時間に1回自動巡回するようにしておく。今回は自分のユーザアカウント (naney) でインストールしてあるので、自分の crontab 設定に追加する。自分の場合は、1時間に1回 run-parts されるディレクトリがあるので、そこに

 #!/bin/sh
 /usr/bin/php5 -f /var/www/freshreader/freshreader/crawler.php

というファイルを作成しておく。

あとはマニュアルの通りWeb ブラウザでユーザを作成したり、巡回先を登録したりしていく。

@ 感想

現在のところ Web 巡回は

なつみかん (以前から使っているアンテナ)
はてなアンテナ (RSS のないサイト巡回用)
Bloglines (RSS サイト巡回用)
Sage (Bloglines には上げたくないプライベートな RSS や、ローカルホストで動いている mixipress 巡回用)

と用途ごとに分散してしまっている。

集約したかったのだが、なかなかこれというのが無かった。

フレッシュリーダーだと

MyRSS.jp のエンジンを使って、RSS フィードのないサイトも登録可能
ローカルで動かせるので、プライベットネットワーク上の RSS フィード、プライベートな RSS、ローカルホスト上の RSS を集約できる
Bloglines に同様の未読管理
Web ブラウザベース (記事中のリンクもそのまま Firefox 上で閲覧していける)

と望んでいる機能が入っている。

早速 Bloglines から登録一覧を OPML でエクスポートして、インポート。

動作も軽快だしいい感じだ。「一度に表示する未読記事の数」が設定できるのが非常に気にいった。

未読記事を表示したらそのページ(タブ)を閉じる前に全部目を通さなければならない(でないと、読んでいないものも既読になってしまう)。 Bloglines だと前回見てからの未読が1度に全部表示されるので、間隔をあけてしまった時に辛い。この点でフレッシュリーダーは便利。

現在「無制限」「約100件」「約1000件」が選べるが、ここは自由に数値で指定できるとなお嬉しい(50件づつぐらいにきざみたい)。

Web 巡回は、基本的にこれに集約しようかな。

ということでブロガーライセンス(自身でブログ/ホームページを運営されている方向けの優待ライセンス: 無料)を申請。

Web 巡回を集約するのに便利な RSSリーダー、フレッシュリーダー
- Windows 版、Linux 版、FreeBSD 版あり

[ permalink ]

CUPS で Debian から EPSON カラーレーザプリンタへ印刷 ... (2006-01-04)
はいぱー日記システムで日記を開始 (2001-05-11)
Firefox 時間帯別ホームページ切り換え (2006-09-19)
RSS 巡回しすぎなのでフレッシュリーダーを Web ブラウザのホームペー... (2006-09-18)
Linux 母艦ノート PC を使わずに仕事ができるかチャレンジ (2007-08-20)

[ 3月6日全て ]

2006年5月16日 (火)

■ 社内 Blog 開設

ウェブ進化論の中の Google の話に触発されて、そのうちやろうと思っていた社内 Blog の開設を行ってみた。

@ DiKicker を使用

ソフトウェアは nDiki で使用している DiKicker を。コメント機能・トラックバック機能が無いためコラボレーション的な要素はあまり望めないかもしれないが、RSS フィードもあるし社内情報発信のとっかかりとしては十分かと。

そのかわりにキーワードで串刺し表示する機能を使ってプロダクト名やプロジェクト名など決まったテーマをまとめて読み進めることができるため、社内利用には向いているのではと考えている。

検索機能が無いのは痛いので、早めに手当てする必要あり。

@ 運用

特に全社的に強制導入とかではなくて、まずは自分が試行錯誤しながら運用してみるといった感じで進めるつもり。自分がガンガン情報を書いて、メールに permalink を貼りつける。

メンバに定期的に見てもらうには、随時小ネタをしこむ必要があるかなぁ。他にも書く人が現れて、社内での RSS 活用が進めばしめたものである。

ちなみに各人が使うのは DiKicker にこだわるつもりは全然無くて、適当に設置してくれればと考えている。 DiKicker 社内で使っている Wiki (WiKicker) と同じ文法とはいえ細かいところは便利じゃないので、むしろ違うものが流行ったほうがいいかなとも(数人は一緒に DiKicker を使ってくれると嬉しいけど)。

ある程度 alpha な人が開設し揃って波がおきたら、普通の人でも簡単に書けるような環境を整備してより広めていきたい。

[ permalink ]