[Linux] Javaのスレッドダンプ

Samuraiというツールでぐりっと見られるらしい．

[Linux] BigIPの情報をcactiで

CactiのBIGIPテンプレートに関して，フォーラムに情報があった．

[Windows] Snarl(≒Growl)

各種アプリケーションの情報を受信して表示するアプリGrowlというのが最近流行らしいが，でもこれはマック用であるらしい．

via kwout

これと同様のことをWindowsでやりたい場合，Snarlというやつになるのだそうな。
だがしかし，そもそもこの手のアプリってシステム運用でもしていない限り必要ないのでは？とも思うがどうなのだろう．

[Linux] Tentakel

サーバ管理をしていると，複数台のサーバで同じコマンドを叩いてゆきたいことが，たまにある．こんなときにはTentakel．マルチスレット実行なのでレスポンスが遅いサーバにも影響されないのが良いようです．

[Linux] Selenium

ずっとWebの負荷テストにはJMeterを用いてきたが，Seleniumというのが最近流行らしい．Firefoxが動くことなどが条件にあるようなので実際にブラウザ操作をしちゃうのかな？

本家はコチラ．

JMeterとは異なり、負荷試験という視点ではなく正常性確認という意味でのテストを行うツールです。が、SeleniumRCというのでリモートからPCを制御し、複数試験もできるといえばできる様子です。

[Linux] DSAS資料

「DSASのあれこれ」という資料が公開されていました．RSTPの組み方や，タグVLAN@Linux，IPVSとkeepalivedなどOSSでインフラを組むときに参考になる情報がてんこ盛りです．

この手の資料を普通に公開してしまうところが，KLabさんが偉いところだなぁと思います．

[Linux] JVM with snmp

最近の(?)JVMはSNMP経由でモニタできるらしい．Cactiで見るためのテンプレートも公開されているところを見ると，皆ぜんぜん普通に見ているんでしょうね．．．遅れてた．

[Linux] OSSユーザ会

OSSミドルウェアユーザ会が，日本にもたくさんあるのですねぇ．

[PostgreSQL] dblink

PostgreSQLでのdblinkはcontribに含まれている程度のサポート．こちらに利用メモがあった．

[OSS] Flashも

ずいぶん前の記事ですが，FlashにもOSSの波が来ていたのですね．最近まったくこっちを見ていなかったのでちょっとショックでした．

[Linux] I/O待ち？

I/O性能が悪いのかどうか判断するためのまとめページ．情報が揃っててよいです．

[EC2] ディスクについて

FC4のpublicAMIを使っているのですが，ディスク割りが微妙ですね．．

[tf0054@domU-12-31-XX-00-03-A8 tmp_20070328a]$ df -H
Filesystem Size Used Avail Use% マウント位置
/dev/sda1 11G 5.6G 4.5G 56% /
none 892M 0 892M 0% /dev/shm
/dev/sda2 158G 3.8G 146G 3% /mnt
[tf0054@domU-12-31-XX-00-03-A8 tmp_20070328a]$ ls -la

バックアップデータが溢れるまで"/"に11Gしか割り当てられていないことに気が付きませんでした．．/var/tmp以下をとりあえず"/mnt"以下へのリンクに書き換えて対応しました．

> sudo mkdir tmp
> sudo chmod 1777 tmp

[search] Lire

Luceneにて画像検索を行うLireというプロジェクトがありました！すごい．

[Linux] tarでのディレクトリコピー

意外に忘れるのでメモ．

clipped from www2.odn.ne.jp カレントディレクトリの下のworkディレクトリ以下の全てのファイルを/tmpにコピーする。 hogehoge% tar cf - ./work | (cd /tmp; tar vxf -)

[service] zamzar

こちらで紹介されているが、ファイル形式を変換するZamzarというサービスがある。出張先のホテルからなどであれば活用できる？でもgmailで相当な変換(toHTML)はできるけど。

[Report] へた円グラフ

手書き味の円グラフを作るソフトべつやくメソッドクリエーター(BMCreator)．とってもかわいい．プレゼンの味としてよい．

[EC2] Powerset

Powersetというところは，EC2を400ノード上げ，かつS3をストレージに使い，自然言語による検索エンジンをやっているとのこと(出所はhadoopのwiki)．

なんだけどPowersetのページにいっても，実用できないような気がする．どこで公開しているのかな．

[Linux] Synergy

複数台のLinuxやPC，Maｃを使っている人は必見のアプリ（Synergy）．専用HWを用意せずともOSが動いている前提なるもキーボードやマウスを切り替えて使える．

[search] Quintura.com

クラスタリング検索といっても，見せ方が大事なんだな，と(当たり前ですが)再認識させてくれるサイトQuinturaがありました．

ダイナミックドリルダウンという手法は各所で取り入れられてきていますが，その次が出ない感じがしています．

[Linux] puppet

puppetという各種設定ファイルのサーバ群における管理ツールがあるらしい(この認識はあっているのかな)．いぜんはてなさんの情報で，同様のなんとかTowerというのが良いと聞いたがそれとタメを張るものだろうか．

以前はCfengineというのの記事を読んだことがあるのだけれど，それよか抽象度を上げて設定ファイルを書けることがすばらしいとのこと．

mizzy.orgさんのところには結構puppetの情報がまとまっていそうなので参考にしたいです．

[search] Written in java

JAVAで書かれた全文検索エンジンが多数紹介されているページがありました．DBオフローディングを目指しての採用もありますし，この分野は商用的に最近熱いですね．

[PostgreSQL] pg_bulkload

pg_bulkloadなるものがNTTDさん作成で出来ているもよう(以前DWH系で近しいものが海外で出ていたような気がするけれど)．

WALをすっ飛ばしてかつIDX再構成のところを工夫することで，IDXをdropして投入後にcreateするよりも早いらしい(このロジックはよくわからない)．

オラクルとPgSQLの差異で，ダイレクトパスロードのことは実はよく話題になったりするので注目に値すると思います．最近NTTDさんはPgSQLではがんばっていますね．

[PostgreSQL] 逆キーIDXと転置IDX

逆キーとは、たとえばID:125というのにインデクスを張るとき、521とデータを逆さにしておいてカーディナリティを高めるやりかた。これと転置はまったく意味が異なる(今のいままで同じものと、なんとなく勘違いをしていました。おはずかしい)。

追伸：
　形態素解析含め、全文検索系の情報はこちらが詳しい。

[Linux] Scalix

Scalixというよさげなグループウェアがあるらしい．ウェブメール機能がベースのようですが，サイボウズに食われすぎているこのドメインでオープンソースがどこまで行けるか，興味があります．

[PostgreSQL] GINとGiST

GiSTは"Generalized Search Trees"であり転置(Inverted)とは直接関連しなさそう。
GIN(リンク先がpdfなので注意)は"Generalized Inverted Index"の略であり、これはv8.2の全文検索に使われているらしい。GiSTとは"汎用"というところで近しいだけ？

[Linux] Scapy

Scapyというpythonで作られたパケット生成プログラムがあるらしい．変なパケットをつくって当ててみる実験とか，，するひまが欲しいなぁ．

日本語での情報もちらほら．

[Linux] MetaVNC

MetaVNCという，Ｘのリモートデスクトップがあるようです．これまでのVNCはデスクトップ(と言っていいのかな)まるごとＰＣに持ってくるイメージですが，これはxtermなどのwindow単位なのがすごい，，のだとか．

[search] SenとMeCab

Luceneの日本語分かち書き(≒形態素解析？と書いていいのか？)はsenを使っていて，これはMeCabのJavaポートと言われる．がsenのホームページを見る限りMeCabのv0.77版ポートから進化していない様子．．

MeCabはv0.90以降でなにやら大幅な改変がなされている様子なので，，，やはりSWIG経由でMeCabを呼ぶ形に直したほうがよいのだろうか(直せるのかわからないけど)．

[search] ipadicとは2

辞書共通化という話題もあるようだが，止まっている様子．．．

プレゼン資料もみつけた(こちら)．

[search] ipadicとは

結局よくわからないが，MeCabやSenで使っているipadicとはなんなのだろう．フリー辞書一覧にはCasen辞書として出ているものがそれにあたるのだろうが．．．

IPAというからには情報処理推進機構のおさいふで作った辞書なのだと勝手に推測しているのだが．

[search] MeCabの辞書

辞書にはJUMANというのとIPAというのがあるらしく，比較をされた記事がありました．うーんよくよまないと何がなんだか．．．

MeCabについて調べているので，この記事を書かれた方のページを"MeCab"で検索．いろいろ書かれていてすばらしいと思います！

[search] 係り受け解析

形容詞が結局どこにかかっているのか？ということを判定する機能のことみたい(wikipedia)．確かにこういうことも考えないと，評判分析とかできないですね．．．

でも形態素解析よかそうとう固まり具合が弱そうな(未開拓という意味でよいのですが)．この分野のCabochaもgoogle工藤さんの作なのですね．

[Linux] svn@http

webdavを使ってsvnを公開する方法(FC4@EC2)．

• yumでmod_dav_svnをインストール
• conf.d/subversion.confを設定(SVNParentPathには注意)

当然だが昨今の会社におけるインターネット環境はhttpに制限されていたりするので，webdavの需要は逆に増えているのかも．

[EC2] with LVS

KLABさんなどがやられているLVS+DirectReturnなどを使って今風にウェブサーバの分散事例が紹介されていました．想像は難くないですが，実際にやって成功しているところがすばらしいです．

「ファイルシステムとしてのクラスタ事例はいいのだけど，CPUパワーをクラスタリングできないの？」というスレッドで見つけました．

EC2ですぐに問題になりそうな経路のセキュリティについてもOpenVPNで考慮している事例なので，その観点でも読む価値ありです．

[Linux] Ldirectord

これはHTTPやSMTPをプロトコルレベルで監視できるデーモンらしい．他にもありそうだがウルトラモンキー系で実績があるなら良いかもしれない．

[search] Ferret

フェレットとはLuceneに触発されて作られているRubyバインディング用のCで書かれたライブラリ(LuceneのRuby実装ではなさそう)．

[Linux] 日本語Eclipse

Solrのためにjavaに手を出すしかなくなり(これまでjavaは学生バイトで使ったことがあったくらい≒メモ帳で書いてた)，Eclipseに手を出すしかなくなった．．
"MergeDoc Project"で配られているプラグインを指定して日本語化して利用中．

[google] C-Store

googleが使っているデータベース(というかデータストレージ)がbigtableというのは周知だと思われますが，これにインスパイアされて作られているアプリケーションがあるそうです(記事)．

C-Store

よく分からないですが，カラム指向(PostgreSQLなど一般的なRDBMSはデータを入れると行が増えてゆくロー指向)というのがすごいらしく，また，MITのプロジェクトであることも夢を感じます(作者がwikipediaに載ってました)．．

[google] MonetDB

MonetDBというのもあるらしい(SFのページはこちら)．日本語の情報もあった．

XML-DBの関連なのかな．まだよくわからない．

[Linux] findでファイル削除

よく忘れるのでメモ．

clipped from www.atmarkit.co.jp % ssh サーバ 'find ディレクトリ名 -type f -mtime +7 -exec rm -f {} ;'

注意として、ディレクトリ名のところはシンボリックリンクではだめなようです(例えば"/mnt/tmp"を実態として"/var/tmp"をリンクとしている場合は"/mnt/tmp"と指定する必要がある)。あと、同様のことをやるには下記もありですね。

sudo find / -mtime +10 -type f | sudo xargs -n 10 rm --

ちなみにxargsの"-n"引数は、その個数分(STDINから)入力されるたびにそれを引数としてコマンド(ここではrm)を実行してくれるようにするオプション。

[Linux] vimでバイナリ編集

kawaz.jpにあるvimのコマンド一覧に書いてある方法で、RHEL4にてバイナリモードで開くことに成功。便利ですね。

また、あまりにでかいファイルをバイナリ編集するにはコノページが参考になりそうですが、なんかバイナリを壊してしまうようでうまくいきませんでした。。。(tailコマンドとかって改行変換しちゃうのかな)。

[Linux] SVN::Webしたい

入れてみようと苦戦中(SVN::Webいいねコレ)．

SVN::Coreというモジュールに依存していて，まずこれがCPANじゃ取れない．

調べて結局subversion本体の中にあることが分かったので，rpmを探し，EC2(FC4)の場合はyumでsubversion-perlという名前で入るそうなので入れてみた．

のだけど，でも今のSVN::Web(v0.52)にとっては古すぎるらしいので，subversionを最新版にしてSVN::Coreも作ろうとしたけど，今度はaprとapr-utilの両方が(FC4の0.9.6では)古すぎた．

というわけでapr系２個をコンパイルしてやっと本体へ．

コンパイルは終了したが，今度は非rootだとapacheモジュールのインストール時点で"make install"がコケる(--disable-mod-activationとしてもだめだった)．

というわけでMakefileにある"APACHE_LIBEXECDIR"を書き換えて変なところへインストールさせてやっと完了．．

先は長い．

[search] Y!CodeSearchはLucene

Yahoo!コードサーチの検索エンジンは，なんとLuceneベースのKrugleだそうな(元ネタ)．頼もしいことではあるけれど，何故(検索エンジン業者の)Y!を持ってして・・・?

[search] Luceneのblog(英語)

Luceneのネタだけを綴ったブログを発見．apacheComなどの情報もまとまっていてちゃんと読みたい．

[Linux] Winstone

Tomcatなどと同様のサーブレットエンジンで非常にサイズが小さく動作が快適．sfにプロジェクトがある．

こちらでの紹介されていますが，この時点(v0.7で現在最新はv0.9.6)で155kというのは魅力か．

でもjspは動かないらしい(他のと組み合わせればいけるのでしょうが)ので，その用途には不向きな反面，Solrを動かすために使うなど面白そうですね．

追伸：
winstoneでは(Solr自身は立ち上がるのだけど)どうしてもSenを見つけてくれない．JapaneseAnalyzerがエラー．．．何故？

[Linux] Quercus

またMYCOMから仕入れたネタですが，Resinというサーブレットエンジンには，PHPを稼動させることが出来るQuercusというPHPプロセッサが載っているらしい．

mod_phpよりも高速であり、PHPのパフォーマンス・アクセラレータを適用した場合に匹敵した性能。

本当かどうか不明ですが，PHPはアクセラレータ(eAccerelator)を入れても1.5倍の速度を稼ぐのがよいとこだった経験があるので，，ちょっと調べてみたいです．

[Life] proxomitron

MYCOMで紹介されているくらいだから，結構有名だと思うのだけど，ＰＣ側に入れて広告画像等を表示しないように加工してくれるProxyソフトらしい．

[search] インデクスブラウザ(for Lucene)

LIMOというやつが，v2.0系インデクスに対応している様子！

[search] Solrお試し2

Solrには，JapaneseAnalyzerが入っていない．今はSolrのexampleで試しているので，そこのwebapp内にあるsolr.warを展開し(warは普通のZIPファイルだから，拡張子を".zip"にして展開できる)，中のWEB-INF\libにlucene-ja.jarとsen.jarを入れ込んだ．

jar cvf ..\solr.war .\

warを作りなれている人には当たり前かもしれないけれど，展開したディレクトリに入ってjarしないとディレクトリ構成が当初と変わってしまうので注意．あと，環境変数にSEN_HOMEを指定していたとしても何故か効かないので，起動時に引数として与える必要がある．

java -Dsen.home=d:\Solr\sen -jar start.jar

これでインデクス時には問題が出なくなったけれど，どうもexampleにあるadmin画面では検索に引っかからない．．何故？

Solr(というかLucene)のインデクスをダンプするツールなどは無いものだろうか．Lukeというインデクスブラウザがあったようだが，使い方がよく分からない．それに(Luceneライブラリが)v1.9対応のようだし・・．

[search] Solrお試し

SolrのチュートリアルをWindowsでやってみた．

ドキュメント登録はhttpでPOSTしなくてはならないらしい(post.shより)ので，cURLのWindows版を取ってきて以下のようにした．

d:\Solr\curl\curl.exe --data-binary @hd.xml -H "Content-type:text/xml; charset=utf-8" http://localhost:8983/solr/update
～snip～
d:\Solr\curl\curl.exe --data-binary @vidcard.xml -H "Content-type:text/xml; charset=utf-8" http://localhost:8983/solr/update
d:\Solr\curl\curl.exe --data-binary "＜commit/＞" -H "Content-type:text/xml; charset=utf-8" http://localhost:8983/solr/update

d:\Solr\curl\curl.exe --data-binary "＜delete＞＜id＞3007WFP＜/id＞＜/delete＞" -H "Content-type:text/xml; charset=utf-8" http://localhost:8983/solr/update

いちおう検索は出来ている様子．これに日本語を通さないとね．

追伸：
　韓国ではLuceneがブームなんですね．

追伸2：
　ちなみにcurlでproxyを使うときは"-x localhost:8080"みたいなオプションで。

[Linux] PostgreSQLの特徴2

とりあえず，カーソルというのを使う場合は実行計画をキャッシュするらしい．でも接続間の共有はしないんだろうなぁ．

[Linux] PostgreSQLの特徴

DBがよく分からない．ので勉強をしようとしているのですが何から手をつけてよいやら．
とりあえずPgSQLには，ロールバックセグメントという概念はないらしい．

MVCCという，皆で使った場合のバージョン管理を(オラクルはロック式なところを)PgSQLでは追記型で凌いでいる，と．

ところで，PgSQLには実行計画キャッシュの実装は無い・・のですね．まぁいまの私たちの利用レベルではいらないようですが．

[Linux] netstatよりlsof

lsofってやはり便利なんですね．netstatよりよほど直感的で情報量も豊富(例)．

ちなみに，Windowsで同様にポートを開けているプロセスを知りたい場合は，FPortというのがよいらしいです．

[Linux] rPath

rPathというLinuxのディストリビューションがあるらしい．たまたまAMIを調べていたら見つけたのだが，主にRed Hatの元社員で構成される企業とのこと．

特徴はConaryというパッケージ管理システムを採用しており，これにより「Linuxディストリビューション全体をカスタマイズ可能にし、(最低限の労力で)企業内での利用やニッチ市場に対応させられる」らしい．

いまいち凄さが分かりませんが，たとえばEC2インスタンスを上げたまま，そのスナップバックアップが取れるなんてなったら素晴らしいのに．

[Search] Nutch+Hadoop

NDFSというらしい(?)が，NutchをHadoop上で動かすためのチュートリアルが出ていた．

このチュートリアルで知ったのだが，HadoopとはファイルシステムにMapReduceを持ち込んで分散ファイルシステムつくるアプリケーションだったんですね．．

MapReduceのやりたいことは分かるけれど，分散コンピューティングで難しいのは結局その計算を如何に(並列処理できるように)ばらせるかというところのわけで．．．その(分散させることを)考えるフレームワークとしてはすばらしいのかな．

英語だがMapReduceの観点からNutchを語っている記事も見つけたので，ちゃんと読んでみないと．．

[Linux] MoinMoin

apacheプロジェクトで使っているwiki(のエンジン)は，MoinMoinというやつなんですね．

でもwikipediaで調べても，コレと言った特徴が無さそうな気がするのですが，なんで使われているのかな．．

[WEB] Zirr.us

前どっかでみて気になっていた個人タスク管理ウェブZirrusが日本語入力可能になりました．

優先度がスライドバーで簡単に設定でき，また，ToDoをタグクラウドで表現してるし，無論RSSフィードもあるし．．．ちゃんと使ってみたいと思っています．

[Search] Nutch

Nutchという，裏にLuceneを使った検索エンジンパッケージのプロジェクトとが在るらしい．
Luceneを調べていて行き着いたのだが(NutchはLuceneのサブプロジェクト)，この手のものは企業内検索として実は最近(私の周りでは)ホットだったりする．

[Linux] Gfarm

クラスタファイルシステムのネタとしてひとつ(日本でもありました)．

産総研で開発されているGfarmというのがソレです．GoogleやHadoopとちがうところは，ファイル単位で操作をしようとしているところらしい．．．です．

[EC2] 事例：Mux

ビデオコンバータのＣＰＵをEC2に，保存先をS3にするという例が紹介されていました．

確かにCPU時間がとても必要で，かつデータ保存にはさほどI/Oが必要ない(必要なさそう)という，うってつけの課題ですね．

[search] オンメモリLucene?

Luceneはインデクスが遅いなど，メモリを有効活用しないと遅いよ，と聞いていた．
そんな中オンメモリLuceneの記事を見つけた．是非時間をとって読みたいと思います．

[EC2] サーバ共有＋グリッド

TechCrunchでEC2とは違うリソースオンデマンドサービスで"Grid Server"というものが紹介されていることに気がついた．

"Media Temple"という会社がやっているようで，EC2とは異なり数百台からなるサーバを皆で共有し，急激なトラフィック増などに耐えるサイト構築が可能とのこと．

アプリの組み方などはクセがありそうに思うものの，LAMPが簡単にセットアップできるらしいこともあり，リソースオンデマンドで本来(ウェブのサービスを上げる際に)欲しい機能にフォーカスしていそうな気がします．

要調査．

[S3] DreamHostでのバックアップもあり？

データ容量の観点から，データホスティングに必要な料金比較がなされているのを見つけた．

料金だけで見る限り，400GBまではS3よりも安いものがあるのですね(EC2ノードを使ってのS3へのバックアップは，その間の転送が課金されないすばらしさがあるので，一概には比較できないところはありますが)．

・・・というDreamHostですが，レンタルサーバの世界では結構有名なんですね．

[S3] GlusterFS

GlusterFSというのがあるのですね．
いまいちhadoopとの差別化等わからないのですが，EC2で(これら)クラスタファイルシステムが動くと夢が広がります．

[EC2] Firefoxアドオン

awsの開発フォーラムでEC2を操作するFirefoxアドオンが公開されています。

先に投稿したリンク集にもありましたが、S3FoxなるS3の操作アドオンもあるようだし、どんどん便利になりますね。

[S3] SmugMugも

コチラで紹介されていたので，ご存知の方は多いのでしょうが，SmugMugでもS3をバックアップストレージに使っていたのですね．

CEOのブログにも書かれていました．

[EC2] AWS-Console

EC2インスタンスをWebGUIから操作できるサービスがありました．

AWS-Console

これなら，DOS窓のコマンドラインで操作するより敷居が低いですね．

[EC2] SOAPSonarでEC2を操作する?

CrossCheckNetworksという会社が出しているSOAPSonarというウェブサービスのテストツールを使いこなせば，これをEC2の操作(インスタンスの上げ下げ)GUIとして使うことが出来る，という記事を見つけた(SOAPSonar を使ったEC2のプロビジョニング(英語))．

普通に操作が出来るだけのように思えるが，これをプロビジョニングできる，と出し方をしてしまうところが．．日本人にはまねできない，と思います．

先のものはコレをさらに進めたものなのなのでしょうね．

あと，納得感があったのが「BPELでシステム開発を行う，というのはでもその実ウェブサービスのマッシュアップと同じでは」というこの記事．

[EC2] Enomalism

Enomalismでも，実はEC2の操作ができるようになっているみたい．

というか，そもそもXenのコンソールとして開発されているのだから，その集大成であるEC2が操作できるように拡張されていても不思議はない，ですが．

[EC2] OracleのSOAツールとEC2の融合策?

"Oracle Application Server"をベースにすることで，EC2を使ったウェブサービスサイト構築が，これまでとは全く異なるステージ(例:負荷が増えたらコマンド一発でウェブサーバ追加)で可能になるのでは，という
記事を見つけた．

こちらも参照のこと

ポイントは，

• "BPEL Process Manager"を使ったインスタンス操作．
• その上でOASを動かし，トランザクションを操縦(EC2を使ったHAクラスタ化や負荷分散)．

といったところです(あと正確には，全社は作ったWDSLを別のSOAPSonarというツールからSOAPoverHTTPという形で操作するような)．でもそもそもBPELって..?

この手のは操作性や必要となる作りこみの分量が気になるけど，検証する時間(個人的時間)が必要なので最近出来ないです．

[Perl] goo辞書ガジェット(2)

ちょっときれいにしたので，思い切ってgoogleにガジェットをsubmitしてみた．

良ければご利用ください(goo英和辞書ガジェット)．

[Perl] goo辞書ガジェット

goo辞書は便利なのでよく利用する．

が，いくら便利でもページ移動が(URLでdictionaryと打つのも．．ブックマークでの選択すら)面倒な場合があったので，(Web)ガジェット化してみた．

まだ「読み込み中」やらは出来ていないが，とりあえず想像以上に便利．

構造としては，EC2上のサーバにCGIを置き，そのCGIからLWPでgooさんへ問い合わせ，そこから単語説明を切り出して返却する形(Javascriptが得意な人は全てJSだけで作っちゃったりするのかな)．

CGIの内部としては，Template::Extractorで取り出してTemplate::Toolkitで表示する形．後者TTは要らないといえば要らないが，使ってみたかったので．

ちなみにガジェットについてはコチラを参考して作った．

[S3] いろんなtool

こんなにいっぱいS3を使うためのツールが，整備されてきているのですね(他力本願)．Firefoxのエクステンションなんて魅力大．

elastic8

[Catalyst] Angerwhale

Catalystで作られたBlogシステムAngerwhaleを見つけた．コチラで実際のところを見ることができる．

特徴などはコチラのブログで読むことができる．

[Catalyst] 11万行/600クラス

シャノンという会社では，Catalyst上11万行/600クラスのシステムを構築し，ASPとして提供しているらしい．

動くんだ．．FastCGI化したりmemcachedを使ったりいろいろ工夫をしている様子．

[Catalyst] NetHorus

Catalystをベースにしたアプリで，NetHorusというネットワーク管理ツールというのを見つけた．

[S3] Hadoop＋S3のすごさ

以前コチラにHadoopのことを書いていたが理解不足だった様子．

というのはGFSのフリー代替と考えていたのですが，これだけではなくMapReduce的機能が含まれていたのですね．．(MapReduceの詳説はコチラ)

すばらしそう．調査せねば．．なんぜGoogleさまインフラ基盤の要諦ですから．

今回はAmazonS3のこの記事からスタートしているのですが，仰せのとおりS3とEC2間の回線は課金対象ではないわけで．すばらしすぎる．こういう組合せ技を考えられる(思いつく)ことさえ出来れば．．．

[Linux] MogileFSについて

MogileFSというのが最近ちょっとホットらしい(実践MogileFS構築事例 〜Catalystと一緒〜)．

どっかで読んだのだけど，PostgreSQLの裏に使えるとか，そもそもMogileFS自体の裏にmemcachedに出来るようになったとか．．．

もうちょっと調べてみたい．

でもそもそも，これって"Six Apart"さんなんですねぇ(解説記事)．だからどうというわけではないですが．．．

[Catalyst] 実行中のAction名を取るには？(2)

callerという(組込み)関数を使えば，forawrdされたAction内から呼び出し元のAction名を取得することができた．

(caller(8))[3]

まぁ，この方法じゃあCatalyst内部での呼ばれ順序が変更及び追加になったら一発アウトですが．しかしこんな関数は，使ったことなかったなー．

[Catalyst] 実行中のAction名を取るには？

"$c->action->name"で取れるのかと思いきや，，forwardした後は追随されない？

.----------------------------------------------------------------+-----------.
| Action                                                         | Time      |
+----------------------------------------------------------------+-----------+
| /begin                                                         | 0.000602s |
| /auto                                                          | 0.000352s |
| /admin/root                                                    | 0.000151s |
| /admin/adminEditF                                              | 0.073384s |
|  -> /admin/adminList                                           | 0.014009s |
|   -> /admin/mkMessage                                          | 0.000851s |
| /end                                                           | 0.362402s |
|  -> htAxess::View::TT->process                                 | 0.358067s |
'----------------------------------------------------------------+-----------'

例えば上記の場合，mkMessage内で"$c->action->name"を見ても"adminEditF"ママ．
そらそうと言えばそうなのかも知れない(不勉強)けど，なんとか取れないものか．

同じようにインスタンスが持ってるメソッド一覧を見る方法もないのかなぁ(不勉強２)．

[Perl] Template::Extract

各所で話題だったTemplate::Extractを使ってみた。が、別に構造解析をして抜き出しているわけではないんですね。

たとえば、diggのTOPページにあるニュースを抜き出すようにイメージして下記を指定しても、、意図した全部抜きはできず、最初に表れる<\/div>までしか取ってくれない様子。

Top 10 in All Topics

[% news %]

なーんだ。まぁでも下のようにすれば問題ないといえばないですが、、正規表現でやってるのとさほど変わらないなぁ、という印象。

<br /><div class="side-container"><br /><h2>Top 10 in All Topics</h2><br /><br />[% news %]<br /><br /></div><br />&#65308;div class="side-container"><br />

何が入ってくるか不明な場合は、[% ... %]を使えばOKなのは便利。

[EC2] S3InfiniDisk

コチラで公開されているもので，機能としては「S3をEC2インスタンス上からマウントできるようにするツール(Java)」のよう．

コミュニティ版(無料)とエンタープライズ版(有料＝$195)があり，後者はキャッシュ機能を組み込んであるらしい．

このような気の利いたサービス(?)が展開されることはとてもすばらしいことだと思います．

[Catalyst] TTSite便利そう

CatalystにはTTSiteというTemplateToolKitを使っての外枠作成機能がPluginできます．

コチラやコチラに丁寧な説明があるが，唯一よく分からないのは"./root/lib/config/url"のbaseという変数．

[% base = Catalyst.req.base;
site.url = {
base = base
home = "${base}home"
～snip～

この"base=base"としていて後者がCatalyst.req.baseなのだろうと思うもののうまくいかない．．何故？

[沖縄] IT特区とは

データセンターやエクスチェンジを呼び込むことで、情報企業誘致のベースを作ることがメインなんですね(参考)。

しかしビックニウイスというのはどうなんでしょうね。

[Linux] 画像によるサイト検索(Pagebull)

ちょっと気に入っているウェブページが画像で表示される検索エンジン(裏はYahoo!のWebサービスらしいが)．

PageBull

これを常用したかったのでFirefoxの検索窓に入れるべく簡単なアドオンを書いてみた．

Firefox 検索窓用Pagebullプラグイン(Fx2.0以上向け)


微妙だったのはPagebullのfavicon.icoは32x32サイズだったことと，その画像をxml内部にbase64エンコードして入れなくちゃいけなかったこと．

後者(エンコード)はコチラでやったのを貼り付けただけだけど，ちゃんと使えるようなのでまぁよし．

xml内部タグの意味が知りたいという(奇特な)方はコチラを参照のこと．

[Linux] Catalystデモから勉強したこと(Chain)

CPANのCatalyst/DispatchType/Chaine
の要約とテストからのメモ．

Chained属性では，準備した関数間の連結(前に来る関数名を指定)を行います(引数を省略した場合は"/"扱い)．またPathPart属性でその後に来る実URLを記述します(引数無しは関数名を実URLとして扱います)．

このときChained('.')と指定することができ，その時点でのコントローラでの名前空間パスが入る，，らしいが使い方がいまいち不明．

CaptureArgs属性で，内部処理に使う後続URLパスのデータ個数を定義(個数を指定しない場合は無制限(に受け取る))でき，その値を受け取ることができます．Args属性は(CaptureArgs属性と近しいですが)chianがその関数で終了するときに利用します(下の例では，値の受け渡しは@_で行われている)．

sub wiki : PathPart('wiki') Chained('/') CaptureArgs(1) {
my ( $self, $c, $page_name ) = @_;
～snip～
}

コンテキスト経由で値を処理する場合はCaptureArgsとArgsでは格納場所が違い，前者は$c->request->captures->[$level]であり($levelにはそれまでキャプチャされたURLパス文字列が配列格納される)，後者は$c->request->argumentsに格納される．

またとても参考になる(より複雑な)例はこちら．

[Linux] htAxess

BASIC認証部分の運用ツールを探していたら，htAxessというのがあった．

SourceForgeにプロジェクトは立っているものの，まさに作りかけでUIもイケていない(総じてオープンソース系は運用ツールを作って公開することにモチベーションが上がらない，ものですね(自慢できないからかな))．

htAxessツールとしての認証も.htpasswdで行うため「adminというユーザを作り，その人で(ユーザと同じ)PW変更画面で"Reset"すると管理画面に行ける」という仕様がなんとも．

・・・というときに，文句ではなくパッチでも作って貢献すべきであろうと思い立ち，人生初パッチを送ってみた(良くしたいといよりは，パッチ貢献をしてみたかっただけなのだけど)．

[S3] PerlからS3ストレージを利用(ちょっと進歩)

s3コマンドが使えました．

[tf0054@domU-12-31-33-00-XX-XX aws]$ ./s3 -d ls
Listing all buckets
Got all buckets listing
6ca1e26410693a4d27ad25ddca1f4-default
[tf0054@domU-12-31-33-00-XX-XX aws]$ ./s3 -d ls 6ca1e2641XXXXa4d27ad25ddca1f4-default
Listing bucket '6ca1e2641XXXXa4d27ad25ddca1f4-default'
Got bucket listing
0.dir
1.Deploying Lucene on the Grid_-pdf.file
[tf0054@domU-12-31-33-00-03-A8 aws]$

ポイントは環境変数を追加で設定しておくこと．

[tf0054@domU-12-31-33-00-03-A8 aws]$ env | egrep '(S3|AWS)'
S3_CWD=/home/tf0054/aws
AWS_SECRET_ACCESS_KEY=XXXXXZjQHRF4bHlyFfYqHTGZpNpr1isDjApXXXX
AWS_ACCESS_KEY_ID=07ZX98TTVSJG2027XXXX
S3_LIBDIR=/home/tf0054/aws/s3-example-libraries/perl
[tf0054@domU-12-31-33-00-03-A8 aws]$

なかなか奥が深い(というかJungleDiskで作ったバケット名が怪しかっただけ？)．

[Perl] 一般ユーザでのCPAN

意外に一般ユーザでのCPAN利用(自分のホームディレクトリ内にPerlモジュール用のディレクトリを切り、使う場合は"use lib"する)は大変ですね．．．

Perlを使ってもう５年以上たちますが、やっと意味が分りました(恥かしい・・)．

~/.cpan/CPAN/MyConfig.pmの書換えはこの一行でよくて、

'makepl_arg' => q[INSTALLDIRS=site LIB=~/modules LIB=~/modules/lib/perl5 PREFIX=~/modules]

ポイントはこれと一緒に(bashなら)PERL5LIBを設定すること．

export PERL5LIB=~/modules/lib/perl5

皆これをやってんのかなぁ．すごいなぁ．

[S3] PerlからS3ストレージを利用(しかかり中)

awsの開発者フォーラムでPerlからS3を使うスクリプトが公開されていることを，今更ながら見つけました．

s3syncとまさにやりたいことなのですが，でもこの中で使っているs3-perlとは何だろう．．debianのパッケージ情報しか引っかからないけれど．．．Net-Amazon-S3というモジュールをCPANで見つけたけど，これとか使うのかな？

[tf0054@domU-12-31-33-XX-XX-XX Net-Amazon-S3-0.37]$ perl Makefile.PL PREFIX=/home/tf0054/a
ws/perl
Checking if your kit is complete...
Looks good
Warning: prerequisite Class::Accessor::Fast 0 not found.
Warning: prerequisite DateTime::Format::Strptime 0 not found.
Warning: prerequisite Digest::HMAC_SHA1 0 not found.
Warning: prerequisite HTTP::Date 0 not found.
Warning: prerequisite LWP::UserAgent 0 not found.
Warning: prerequisite URI::Escape 0 not found.
Warning: prerequisite XML::LibXML 0 not found.
Warning: prerequisite XML::LibXML::XPathContext 0 not found.
Writing Makefile for Net::Amazon::S3
[tf0054@domU-12-31-33-XX-XX-XX Net-Amazon-S3-0.37]$

しかし関連モジュール多いなぁ．プロトタイピングするならこれくらい使えこなせなくては，というモジュールばかりな気もしますが．．．

また，その他"s3-perl"というプログラムが指定されていますが，これはAWS開発者フォーラム内で公開されてるものです．

[PostgreSQL] やばいSQLをlするには

現在実行中のクエリ一覧はこれで見る．

select pid,current_query from pg_stat_activity;

でロックしている状況を見るにはこれで見る．

SELECT l.pid, c.relname, l.transaction, l.mode, l.granted FROM pg_locks l LEFT OUTER JOIN pg_class c ON l.relation = c.oid ORDER BY 1;

この結果が以下のような場合，

pid | relname | transaction | mode | granted
-------+---------------------------------+-------------+------------------+---------
5423 | xxxxxx_site_view | 1435608385 | AccessShareLock | t
5423 | | 1435608385 | ExclusiveLock | t
5423 | xxxxxx_kai_seigyo | 1435608385 | AccessShareLock | t
～省略～

OS側から"kill -TERM 5423"(ここで"-9"はダメ(当たり前か))．

[Windows] deskloops

xilokitという会社のdeskloopsはすごい．画面がぐりぐり動く仮想デスクトップソフト．回りすぎ．．

かも(画面の左右にカーソルを持ってゆくと帯みたいに回る．．．説明が難しい．ちなみに使用メモリは22M．多いととらえるか微妙なところですね．

[erlang] Yaws

erlangで書かれたWebサーバ。現在もちゃんとメンテされており性能も素晴らしいとのこと(ホントか?)。

Yaws via kwout

また、JSPのように中にerlangのコードを書くこともできるらしく、その点おもしろいかも(みかログさんを参照)。

[Linux] mob_bw

apacheのバンド幅制限を行うモジュールmod_bw。使うことがあるかもしれず、かつそんな時は火急なためメモ。

[Linux] pipebentch

シェルのパイプは、便利な反面、意外にボトルネックになっていると聞いた事があります。このパイプの速度(流し込み速度)を測ることができるツールpipebentchを見つけました。

syntoolという一群のプログラムに含まれているもののようです。

[PHP] 気にすべきポイント12選

もう既出ですが。
PHPってCache-Tryじゃないですが、エラー制御演算子なんてものがあって"握りつぶし"ができるのですね。。。ある意味きがきいているのかな(普及するわけだ)。

[PHP] vld

vldはPHPスクリプトの、実行前オペコード状態(?)を見ることができるツール。php5にも対応しているようで使いようによっては面白そうです。

[Linux] lingerd

apacheのTCPセッション管理が甘い部分を、代わりにざくざくと処理してくれるデーモンlingerd。いまいち細かいところが不明であり、まあ2002年が最終更新なので本体に同様の処理が組み込まれたのだろう。

[Linux] osCommerce(2.2ms2-060817)導入

入れてみた(8月17日版≒英語)．

php4とmysql縛りがある(php5では動かない)が，カートから特価設定(何日まで)など，素人的には必要機能は殆ど揃っているイメージ．

日本語版はどこまでどうなんだろう．更新がとまっているようだけど．．．

[Linux] coLinux(v0.6.4)+FC5

coLinuxを初めて使う＋FC5イメージ(FedoraCore5-2006.8-ext3-2gb.7z)から入ると，かなり各所にトラップ有り．．．

<1>ネットワークの設定
まずそもそも我が家は192.168.0.0/24なので，おかげでWindowsのICSが使えない．つまりはTAPとかなんとかいくらがんばってだめ．なので"slirp"という方式を利用することに(default.colinux.xmlのネットワーク設定は下記)．

＜network index="0" type="slirp" redir="tcp:22:22/tcp:23:23/tcp:80:80" /＞

先に書いちゃうと"slirp"では，Windowsからその中に立ち上がるLinux(ややこしい)にアクセスするすべが(普通にしてると)無くなるので，Windowsの22番ポート(および23番と80番)をcoLinuxで起動させるLinuxへリダイレクトしろ，というのが"redir"．

<2>cracklibが壊れとる
普通に起動してrootでpasswdしようとすると失敗する．
これはココを見て解決．

<3>パッケージの追加
このイメージにはそもそもsshdやらそもそもsshやらが，ぜんぜん入っていないので各種インストール．

yum install openssh-server openssh-clients

<4>namedさんが居ない
起動時にnamedというユーザは居ないよ，と起こられ続けるのでこれを追加．

named:x:25:25:/tmp:/sbin/nologin

<5>日本対応
キーボードとタイムゾーンを変更

/etc/sysconfig/keyboard : enをjp106に

/etc/localtimeを/usr/share/timezone/Asia/Tokyoのsymlinkに

<6>ipv6無効化
/etc/modprobe.confに以下の行を追加．

alias net-pf-10 off

<7>Windowsからssh出来ない
これにはかなりはまった．というかこのイメージを使っているひとはそもそもsshで接続していないのかな．．．「Unix98では上記のものを使用せず、代わりに/dev/ptmxと呼ぶ"pty master"を使います」というこのptmxが在りません．．．作りましょう．

mknod -m 622 /dev/ptmx c 5 2

でもまぁメモリも128しか割り当てていないけど，結構快適であとあと面白そうです．