水曜日, 11月 29, 2006

[EC2] 秀逸!AWS連携

Webmail.usという,有料ユーザが35万人いるウェブメールサービスの裏側では,EC2はもとよりS3やSQSが大活躍しているそうです.

元ネタはこちら

使い方としてはでも,フロントではなくデータバックアップの部分で,
 ・ユーザデータをS3にバックアップ
 ・そのバックアップデータを14日で消す処理を一旦SQSに入れ
 ・EC2で並列実行
しているそうな.秀逸なのはEC2がS3のデータを消しに行くからその処理においては自前ネットワークの帯域や,EC2のNW代金がかからない,と.

まさに各機能のいいとこ取り.こういうアーキテクト設計が出来るようにならないと...

[EC2] コスト削減効果の事例

ここで語られているような状態(だった?)"Second Life"が,EC2でコスト削減を成し遂げたそうな.

http://japan.cnet.com/special/media/story/0,2000056936,20332008,00.htm

ソフトウェアを更新して配る際の高負荷対策ということだが,そのあたりからじょじょにはじめるのがよいのかもしれません.

火曜日, 11月 28, 2006

[search] HyperEstraierのお試し(ウェブクロール)

ウェブクロールがやっとできるようになった.

[tf0054@bamboo work ]$ ../bin/estwaver init r25-crawl2
2006-11-27T15:03:51Z INFO the root directory created
[tf0054@bamboo work ]$ ../bin/estwaver crawl -revcont r25-crawl2

P2P型でサーバが立っている場合は_confのnodeservを設定する必要がある.

・・・としてみるとわかるが,threadnumの数以上にクローラプロセス(estwaver)がいっぱい立ち上がる.そもそもスレッドって書いてるしな.

まぁでもuptimeも0.52とかで問題はなさそう.

ただ,がんがんドキュメントはmasterに入っているようだけど(masterの_logで確認),検索できるようにするには,クローラプロセスを終了(?)させる必要がありそう.
というか終了させるにはどうするんだろう・・・.

まぁ,「検索できること」は"mod_estraier_search"にて確認しているレベルなので,もう少し詳細を調査したい.

日曜日, 11月 26, 2006

[search] HyperEstraierのお試し

qdbmというものを先に入れたりとコンパイルは少しややこしい(こちらを参照)

EC2でやろうとすると,gccすらないので大変かも.

というわけで別で借りているVPSサーバで実験中.なかなか稼動せず.

libtidyって何だよ..
iconv入ってないし..
mod_proxyも無いけど..


まあ,そんなこんなで動いたようですが,何故かproxyで見たちょっとの部分しかDBに入りません.入らないよかいいですが何故?

[tf0054@bamboo bin]$ ./estcall list -auth admin xxxx http://localhost:1978/node/web
2 http://ad.goo.ne.jp/html.ng/cat=gootop&contents=gootop_goo&kind=text_1&site=gootop&ord=1? 8d7c0f5f2f83993f5c1b78e1516500c6 Sun, 26 Nov 2006 13:13:45 GMT おすすめサイト text/html 1103 5.749902
4 http://ad.goo.ne.jp/html.ng/cat=gootop&contents=gootop_goo&kind=text_2&site=gootop&ord=1? e5c28cb3d89deb27eda123b9f001151f Sun, 26 Nov 2006 13:13:45 GMT おすすめサイト text/html 1062 5.749902
1 http://ad.goo.ne.jp/html.ng/cat=gootop&contents=gootop_goo&kind=text_3&site=gootop&ord=1? 130c3ade00af2841a70294d1905bf869 Sun, 26 Nov 2006 13:13:45 GMT おすすめサイト text/html 1109 5.749902
5 http://ad.goo.ne.jp/html.ng/cat=gootop&contents=gootop_goo&kind=text_4&site=gootop&ord=1? 56542d091ac1a98856f4b42fb02da8f9 Sun, 26 Nov 2006 13:13:46 GMT おすすめサイト text/html 1066 5.749902
3 http://ad.goo.ne.jp/html.ng/cat=gootop&contents=gootop_goo&kind=text_5&site=gootop&ord=1? ffc818e528500d8e40db63740ae80440 Sun, 26 Nov 2006 13:13:45 GMT おすすめサイト text/html 1080 5.749902
[tf0054@bamboo bin]$

・・・今後調べてゆきたいと思います.

[Linux] mailman

EC2にmailmanを導入(今はMTAはPostfix).

インストールとmailman専用aliasesの作成.
# sudo yum install mailman
# sudo -u mailman /usr/lib/mailman/bin/genaliases

あとここで出来たaliasはパーミションがおかしいので修正
# chmod 0660 /etc/mailman/aliases*

/usr/lib/mailman/Mailmanの中にあるDefaults.pyで下記を変更.
 ・MTAをPostfixとする
 ・言語をjaに(初期en)変える

最後に管理者用PWを設定.
# sudo -u mailman mmsitepass

postfix側はalias_mapに足すことくらい.

apache側はScriptAliasにmailmanディレクトリのcgi-binを追加.

土曜日, 11月 25, 2006

[Life] インフラとは

NRIでのインフラの定義.

http://www.nridata.co.jp/infra/knowledge/d0101.html

確かにアプリ以外のすべてを総称するイメージで捉えるべきであり,そのために部分部分にこだわることが難しくなっている気がする.

ただ,こだわりの無いインフラは運用する段になってやる気がそがれる気がする...

[Linux] osCommerce

別に新しくも無いですが,osCommerceに興味あり.

http://www.os-commerce.jp/

オンライン+物流系の裏方システムが(プロトレベルでも)作れる
なら十二分に仕事に役立ちそう.

試してみなくては.

木曜日, 11月 23, 2006

[EC2] wikiができてます

オフィシャルではないですが、情報が乏しい中で貴重です。
http://www.ec2reference.com/

水曜日, 11月 22, 2006

[EC2] FC4でのメール設定

MTAをPostfixに変えたかっただけなのにえらい手間取った。。
alternativesという仕組みが採用されているんですね(FCユーザには当たり前?)。

[tf0054@domU-xx-31-33-00-03-A8 alternatives]$ sudo /usr/sbin/alternatives --config mta

There are 2 programs which provide 'mta'.

Selection Command
-----------------------------------------------
* 1 /usr/sbin/sendmail.sendmail
+ 2 /usr/sbin/sendmail.postfix

Enter to keep the current selection[+], or type selection number: 2
[tf0054@domU-12-31-33-00-03-A8 alternatives]$ ls -la /etc/alternatives/ | grep mta
lrwxrwxrwx 1 root root 26 Nov 22 06:58 mta -> /usr/sbin/sendmail.postfix
lrwxrwxrwx 1 root root 40 Nov 22 06:58 mta-aliasesman -> /usr/share/man/man5/aliases.postfix.5.gz
lrwxrwxrwx 1 root root 22 Nov 22 06:58 mta-mailq -> /usr/bin/mailq.postfix
lrwxrwxrwx 1 root root 38 Nov 22 06:58 mta-mailqman -> /usr/share/man/man1/mailq.postfix.1.gz
lrwxrwxrwx 1 root root 27 Nov 22 06:58 mta-newaliases -> /usr/bin/newaliases.postfix
lrwxrwxrwx 1 root root 43 Nov 22 06:58 mta-newaliasesman -> /usr/share/man/man1/newaliases.postfix.1.gz
lrwxrwxrwx 1 root root 23 Nov 22 06:58 mta-pam -> /etc/pam.d/smtp.postfix
lrwxrwxrwx 1 root root 22 Nov 22 06:58 mta-rmail -> /usr/bin/rmail.postfix
lrwxrwxrwx 1 root root 25 Nov 22 06:58 mta-sendmail -> /usr/lib/sendmail.postfix
lrwxrwxrwx 1 root root 41 Nov 22 06:58 mta-sendmailman -> /usr/share/man/man1/sendmail.postfix.1.gz
[tf0054@domU-xx-31-33-00-03-A8 alternatives]$

びっくりしました。

火曜日, 11月 21, 2006

[EC2] yumは普通に

yumは普通に使えます。
# sudo yum install postfix

月曜日, 11月 20, 2006

[Linux] gpsd

パソコンにつけたGPSセンサの情報を随時記録(というかサーバに送る?)ことができるGPSDというのがある。

http://gpsd.berlios.de/

この手のって,何かに使えそうな,何にもつかえなさそうな.対応するPerlモジュールも在りました.

日曜日, 11月 19, 2006

[EC2] ElasticLive

よく読まずに書いたけどElasticLiveは,安いだけじゃなくて,
EC2ではコマンドラインツールしか提供されていないインスタンス操作周りに,使いやすいGUIを提供している

ことも大きな売りらしい.個人的にはコマンドラインツールで別に不都合を感じてはいないけど,確かに一般化するには必要な部分か.

でもEC2にしてもElasticLiveにしても,サービスレベルが有る程度保障されないと使いづらい,,と思うのはまだまだなのか.

土曜日, 11月 18, 2006

[EC2] 安いリソースオンデマンドとHadoopのAMI

EC2のフォーラムで語られていました.時間当たり5セントだそうです.

http://www.elasticlive.com/

あとこちらの投稿ではオープンソースでのGFS実装であるhadoopのAMIが配られているという話題が.

http://wiki.apache.org/lucene-hadoop/AmazonEC2

夢は広がります.

木曜日, 11月 16, 2006

[search] HyperEstraier

前から気になっている全文検索エンジン。Windowsで使えることで結構人気になってそう。

http://hyperestraier.sourceforge.net/

でもそれよりも、P2P型で検索クエリを受け付ける側を多重化できることがすごいな、と思う(このP2P機能の解説)。

Ngramだけじゃなく形態素解析してから突っ込むこともできるみたいだけど、何つかってんのかな(MeCABでもできるとの記載はあるけど、、)。

クローラも含まれているので簡単なサーチエンジンはすぐにでも作れるのかもしれません.

どんなもの?というきれいな要約を見つけたので貼り付け.
http://qdbm.sourceforge.net/mikio/osmftsspecial/

日曜日, 11月 05, 2006

[Life] 茅ヶ崎パシフィックホテル

散髪屋さんの待ち時間で湘南スタイルを読んだ。

今はなき茅ヶ崎パシフィックホテルについての記事がとても心に響きました。

それまでばらばらだった現在の"湘南"という文化圏は、このホテルを中心に形成された。

そういう形で世に形を残せるのはすばらしいことだと思います。

ちなみにかつてのホテル跡はマンションになっているらしい(地図)。

土曜日, 11月 04, 2006

[EC2] Windows@EC2

すごい。Xenだからで出来そうといえば出来そうだけど。。

http://www.enomaly.net/win_ec2.1136.0.html

元ネタはコチラ

木曜日, 11月 02, 2006

[PostgreSQL] 監視の方法

pg_stat_all_tablesを見ているだけでも、結構な監視が出来る。
全テーブルの時間当たりでのシーケンシャル操作総数をグラフ化しているのがポイントか。