まだブロ

Cygwin+Hiveで必要になる修正(File.separatorも!)

2011-09-18T21:07:00.000+09:00

Hive内部では、当然HDFSのPath操作を各種行っているのだけど、、そのセパレータ(HDFSなら"/"であるべき)を、File.separatorシステム変数から取得している。Cygwinではこれが"￥"になってしまうので、修正として先にで紹介したものだけでなく、ql/io/HiveFileFormatUtils.javaのdoGetPartitionDescFromPath()も変更が必要だった。


  private static PartitionDesc doGetPartitionDescFromPath(

-snip-

    if (part == null) {
      String dirStr = dir.toString();
      //int dirPathIndex = dirPath.lastIndexOf(File.separator);
      //int dirStrIndex = dirStr.lastIndexOf(File.separator);
      int dirPathIndex = dirPath.lastIndexOf("/");
      int dirStrIndex = dirStr.lastIndexOf("/");
      while (dirPathIndex >= 0 && dirStrIndex >= 0) {
        dirStr = dirStr.substring(0, dirStrIndex);
        dirPath = dirPath.substring(0, dirPathIndex);
        //first try full match
        part = pathToPartitionInfo.get(dirStr);
        if (part == null) {
          // LOG.warn("exact match not found, try ripping input path's theme and authority");
          part = pathToPartitionInfo.get(dirPath);
        }
        if (part != null) {
          break;
        }
        //dirPathIndex = dirPath.lastIndexOf(File.separator);
        //dirStrIndex = dirStr.lastIndexOf(File.separator);
        dirPathIndex = dirPath.lastIndexOf("/");
        dirStrIndex = dirStr.lastIndexOf("/");
      }
    }
    return part;
  }

というか、File.separatorでgrepすると多数あるので、、、他にも危ないところはありそう。。。

GW-SC150Nの動き

2011-06-20T02:57:00.000+09:00

この無線→有線コンバータは、とても便利なんだけど、どうも説明書などが詳細まで書かれていないので判然としないので調べてみた。

①自分自身は上位の(無線LANの)クラスCの".249"となる
②この249は上位から払い出されたものではなく勝手に使う
③自分の有線LAN配下には自身がDHCPサーバとなりIPを払い出す(※)
④但し払い出すIPのクラスC部分は上位の(無線LANの)ものを使う
⑤故に有線と上位(＝無線LAN)で同じ第四オクテットを払い出しうる

ということか。

上位で見ていても有線上のMACが見えて来ないので、(※)ではNATしている＝全て自分(GW-SC150N)が通信していることにすることは確認できた気がする。

Googleの検索機能をAPI的に使える!?

2011-01-09T03:29:00.006+09:00

Googleドキュメントにuploadした文書は、"Google Documents List Data API"経由で全文検索ができるらしい。これをJavascriptからやってみました(Rhino)。

/*
 * FullTextSearch
 * http://bit.ly/i4QaUO
 */

importPackage(com.google.gdata.client.docs);
importPackage(com.google.gdata.client);
importPackage(com.google.gdata.data.docs);
importPackage(java.util);
importPackage(java.util.logging);

function getDocsService(applicationName, username, password){
    var service = new DocsService(applicationName)
    service.setUserCredentials(username, password)
    return service;
}

var username = 'xxxx@gmail.com';
var password = 'xxxx';
var client   = getDocsService('fts-test-1', username, password);

var feedUri  = new java.net.URL('https://docs.google.com/feeds/default/private/full/');
var query    = new DocumentQuery(feedUri);

var qStr     = "first"; // 検索文字列
query.setFullTextQuery(qStr);

var feed = client.getFeed(
    query,
    java.lang.Class.forName("com.google.gdata.data.docs.DocumentListFeed")
);

print( feed );

if(feed){
    var entries = feed.getEntries();

    for (var i = 0; i < entries.size();i++){
        print("- " + entries.get(i).getTitle().getPlainText());
    }

    print(entries.size());
}

もちろん元ネタは、ぶいてくさんの「すごいのはGDriveより全文検索でしょ！？」です。カスタム検索という機能は提供されていましたが、検索結果としてHTMLが返されたりと、プログラムから使える感じではなかったのですが、これは便利そうです。

JavaからJavascriptを使うとき

2011-01-02T23:03:00.008+09:00

以下では、組込み変数のenvironmentなどがない環境での実行になってしまう。

Context cx = Context.enter();
Scriptable scope = new ImporterTopLevel(cx);
Object obj = cx.evaluateReader(scope, reader, "JsScript", 1, null);

これは以下のように、GlobalオブジェクトでContectを初期化することで(それら変数が入った)シェルと同様の環境で実行させることができる。

Global global = new Global();
Context cx = ContextFactory.getGlobal().enterContext();
global.init(cx);
Scriptable scope = cx.initStandardObjects(global);
Object obj = cx.evaluateReader(scope, reader, "JsScript", 1, null);

EnvJSの過去MLで知りました。
なお、ここのGlobalはorg.mozilla.javascript.tools.shell.Globalです。

mahoutでkmeans!

2010-12-21T03:49:00.011+09:00

以下HADOOP_CLASSPATHを設定して、

$ export HADOOP_CLASSPATH=dependency/mahout-math-0.4.jar:dependency/mahout-core-0.4.jar:dependency/mahout-utils-0.4.jar:dependency/google-collections-1.0-rc2.jar:dependency/gson-1.3.jar:dependency/mahout-collections-1.0.jar:dependency/commons-cli-2.0-mahout.jar

以下を実行。なぜかKMeansはhadoopがローカルで待ち受けていないと動かない様子。

$ ~/hadoop-0.20.2/bin/hadoop jar mahout-examples-0.4.jar org.apache.mahout.clustering.display.DisplayKMeans

以下は、Hadoopが待ち受けていなくても動きますが、クラスがpublic宣言されていないのでソースを書きかえる必要がありました。

$ ~/hadoop-0.20.2/bin/hadoop jar mahout-examples-0.4.jar org.apache.mahout.clustering.display.DisplayCanopy

mahoutにGUIが付いていることは、意外にしられていないのでは、と思います。

mahoutでTSP!

2010-12-07T02:01:00.011+09:00

mahoutの中には、TSP(Travelling Salesman Problem / 巡回セールスマン問題)の例が入っています。一応GUIも付いてます。でも、なぜかsrc版からコンパイルしないと動きません。

うーん。。地味。もっと派手なのかと思ったのですが(AWT入ってるからバイナリのやつだと動かないのかな)。ちなみにmahoutはTESTを回すと準備にかなり時間がかかるので、

$ mvn install -Dmaven.test.skip=true

とやるのが良いようです。そして以下で起動。

$ ~/hadoop-0.20.2/bin/hadoop jar examples/target/mahout-examples-0.4-job.jar org.apache.mahout.ga.watchmaker.travellingsalesman.TravellingSalesman

しかし、Hadoopでやらせる(チェックをつける)と、outputパスがもうあるから書けないよ！と文句を言われるのだけど、これはどうすればよいのだろう。
MahoutEvaluator.javaの中でoutputって定義してあるから、複数回(Generationの分だけ)この評価を回したら、そらバッティングすると思うんだけど。。？(これはHDFS上のホームディレクトリというか、/user/～/outputとかのようにできる)
このディレクトリを、ランダム文字列付きとして実行したら最後まで動くことは動いた。

なお、cygwinなどでローカル実行するときは、Generationを(デフォルトの100から)低い数字にしておかないと大変な時間がかかるので注意。

rhinoから"Google Storage"にupload!

2010-11-10T01:20:00.003+09:00

GSUtil というコマンドラインツールが用意されているものの、Python(?Rubyだっけ)なので使っていなかった、が、以下ソースでuploadに成功。
"WebOS Goodies"さんの情報を参考にしました。ありがとうございます！

importPackage(javax.crypto);
importPackage(javax.crypto.spec);
importPackage(org.apache.commons.codec.binary);

importPackage(org.apache.commons.httpclient);
importPackage(org.apache.commons.httpclient.methods);

var ACCESS_KEY = 'GOOG4C72MAOUMK7xxx3Z';
var SECRET     = 'xy4jTrxxxxuTZEtqUItfZIViVUF3xEKx4xxxp';
var HOST       = 'commondatastorage.googleapis.com';

var strDate    = getDate();
var strPath    = '/test/start.txt';

var headers = {
//  'Content-Length': '0',
 'Content-Type': 'text/plain',
 'Date': strDate,
    'User-Agent': 'Jakarta Commons-HttpClient/3.1',
    'Host': 'commondatastorage.googleapis.com'
};

// rhino + Java package/class
// http://d.hatena.ne.jp/terurou/20100918/1284791541

// http://www.fireproject.jp/feature/uzumi/httpclient/logging.html
java.lang.System.setProperty("org.apache.commons.logging.Log", "org.apache.commons.logging.impl.SimpleLog");
java.lang.System.setProperty("org.apache.commons.logging.simplelog.showdatetime", "true");
java.lang.System.setProperty("org.apache.commons.logging.simplelog.log.httpclient.wire.header", "debug");
java.lang.System.setProperty("org.apache.commons.logging.simplelog.log.org.apache.commons.httpclient", "debug");

var httpclient = new HttpClient();

if(false){ 
 var httpget = new GetMethod("http://commondatastorage.googleapis.com" + strPath); 
 httpget.setRequestHeader(new Header("Date",strDate));
 httpget.setRequestHeader(new Header("Authorization",getAuthHeader('GET', headers,strPath)));
 
 var statusCode = httpclient.executeMethod(httpget);  
 print(httpget.getStatusLine());
}else{
 var httpput = new PutMethod("http://commondatastorage.googleapis.com" + '/tf0054'+strPath);
 var jstrTmp = "Hello this is a test in one line that is longer 12345677890\n";

 httpput.setRequestHeader(new Header("Authorization",getAuthHeader('PUT', headers, strPath)));
 httpput.setRequestHeader(new Header("Date",strDate));
 httpput.setRequestHeader(new Header("x-goog-acl","public-read"));
 httpput.setRequestHeader(new Header("Content-Type","text/plain"));
 httpput.setRequestHeader(new Header("Content-Length","" + jstrTmp.length));
 httpput.setRequestBody(jstrTmp);
 
 httpclient.executeMethod(httpput); 
 print(httpput.getResponseBodyAsString());
}

function getAuthHeader(strMethod, headers, strPath){

 function getHmacSign(strTmp){
  var strType = 'HmacSHA1';
  var jstrTmp = new java.lang.String(strTmp);
  var jstrSec = new java.lang.String(SECRET);
  var mac = Mac.getInstance(strType);
  mac.init(new SecretKeySpec(jstrSec.getBytes(), strType));
  return new java.lang.String(Base64.encodeBase64(mac.doFinal(jstrTmp.getBytes())),"UTF-8");
 }

 var strHeaders = strMethod + "\n";
 strHeaders += "\n"; // Content-MD5 value
 for(var i in headers){
  if(i.toLowerCase() == 'date' || i.toLowerCase() == 'content-type'){
   strHeaders += headers[i] + "\n";
  } else {
   // strHeaders += i.toLowerCase()+':'+headers[i]+"\r\n";
  }
 }
 strHeaders += "x-goog-acl:public-read\n";
 strHeaders += '/tf0054' + strPath;
 print(">"+strHeaders);
 return 'GOOG1 ' + ACCESS_KEY + ':' + getHmacSign(strHeaders);
}

function getDate(){
 var d = new Date(new Date().getTime());
 return d.toGMTString().replace(/UTC/,'GMT');
}

適当なソースですが、ご参考までに。

BigQueryを試してみた

2010-11-03T02:40:00.023+09:00

GoogleさんからBigQueryの利用OKがメール出来たので、(公開されているお試し手順に沿って)自らuploadしたデータに検索ができる、までを確認しました。

また、このときPythonが手元にない環境だったので、先に作ったcygwin環境のシェル+curlでお手軽に試せることも分かりました。
- - -①操作用Tokenを取得
curl -X POST -d accountType=HOSTED_OR_GOOGLE -d Email=tf0054@gmail.com -d Passwd=xxx -d service=ndev -d source=google-bigquery-manualimport-1 -H "Content-Type: application/x-www-form-urlencoded" https://www.google.com/accounts/ClientLogin

xxxの部分はご自分のpwに変えて下さい。このcurlコマンド実行で得られるレスポンスにある、AUTH=yyyのyyy部分ががTokenになります。けっこう長いです。

②各種操作用シェルスクリプトを保存
Librariesのページにあるシェルをファイルに落とします。

check_import_status.sh
createtable.sh
delete_table.sh
import.sh
query.sh

このとき、curlからhttpsアクセスをするので、(私の環境では)各シェルの中にあるcurlのオプションに、"-k"を足す必要がありました。

③SSAのサンプルデータをダウンロード＆配置
本家には日本からアクセスできなさそう？なので、ココからダウンロードし、以下絵の感じに「tf0054/yob1880.txt」として管理画面からupload。

④テーブルを作成
$ ./createtable.sh tf0054/tables/babynames

上のGoogleStorage管理画面キャプチャのとおりですが、ここの階層にあるディレクトリは自動的に掘られるようです(上記tablesなど)。

⑤データをインポート
$ ./import.sh tf0054/tables/babynames tf0054/yob1880.txt

これまでにGoogleStorageへ上げたデータがあれば、それをBigQueryで見られるようにする(BigQueryの管理下に置く)ことができました。

⑥インポート処理状況を確認
$ ./check_import_status.sh tf0054/tables/babynames b85867e864bf1259

先のインポートコマンド投入時にもらえるレスポンスに、ジョブIDがもらえるのでそれを最終パラメータにします。

⑦セレクトしてみる
$ ./query.sh "SELECT name,count FROM [tf0054/tables/babynames] WHERE gender = 'F' ORDER BY count DESC LIMIT 5;"

テーブル名はカギ括弧に括って記述し、さらにGoogleStorage的にはフルパスで参照する感じになりました。
- - -
レスポンスがJSONでもらえるだけど、見た目には分かりずらい。Parseエラーなどになっていないことを随時確認しましょう。例えば⑦の結果は以下です。

{"result":{"kind":"bigquery#queryResults","fields":[{"id":"name","type":"string"},{"id":"COUNT","type":"integer"}],"rows":[{"f":[{"v":"Mary"},{"v":"7065"}]},{"f":[{"v":"Anna"},{"v":"2604"}]},{"f":[{"v":"Emma"},{"v":"2003"}]},{"f":[{"v":"Elizabeth"},{"v":"1939"}]},{"f":[{"v":"Minnie"},{"v":"1746"}]}]}}

何やら可能性を感じますが、Hadoop上のHIVE、みたいな位置づけですね(でも、だとするとGoogleStorageがHadoopにあたるものとなる、、、のでしょうか)。また、対応できているSQL(?)の情報も公開されていました。

JavascriptでHIVEを操作する(JDBC@Thrift)

2010-11-02T23:48:00.004+09:00

rhinoを使って、JavascriptからHIVEを操作してみるテスト。普通にできた(あたりまえ)。

/*
  http://wiki.apache.org/hadoop/Hive/HiveClient#Thrift_Java_Client
*/

importPackage(java.sql);
importPackage(java.lang);

Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");

var tableName = "testHiveDriverTable";

// make connection
var conn = DriverManager.getConnection("jdbc:hive://localhost:10000/default", "", "");
var stmt = conn.createStatement();

// init
stmt.executeQuery("drop table " + tableName);
stmt.executeQuery("create table " + tableName + " (key int, value string)");

// show tables
var sql = "show tables '" + tableName + "'";
print("Running: " + sql);
var resp = stmt.executeQuery(sql);
if (resp.next()) {
 print(resp.getString(1));
}

// describe table
sql = "describe extended " + tableName;
print("Running: " + sql);
resp = stmt.executeQuery(sql);
while (resp.next()) {
 print(resp.getString(1) + "\t" + resp.getString(2));
}

// load data into table
var filepath = "/tmp/a.txt";
sql = "load data local inpath '" + filepath + "' into table " + tableName;
print("Running: " + sql);
resp = stmt.executeQuery(sql);

// select * query
sql = "select * from " + tableName;
print("Running: " + sql);
resp = stmt.executeQuery(sql);
while (resp.next()) {
 print(String(resp.getInt(1)) + "\t" + resp.getString(2));
}

// regular hive query
sql = "select count(1) from " + tableName;
print("Running: " + sql);
resp = stmt.executeQuery(sql);
while (resp.next()) {
 print(resp.getString(1));
}

一応、走らせるときのbuild.xmlもサンプルとして。

<path id="clspath">
  <fileset dir="build/jar">
   <!-- メインの読込み -->
   <include name="*.jar"/>
  </fileset>
  <fileset dir="${hive.dir}">
   <!-- HIVEのjarを読込み -->
   <include name="**/*.jar"/>
  </fileset>
  <fileset dir="${hadoop.dir}">
   <!-- Hadoopのjarを読込み -->
   <include name="*.jar"/>
  </fileset>
 </path> 

 <!-- blog-gae>ant rhino-run -Dfile.encoding=UTF-8 -Dscript="env0.js" -->
 <target name="rhino-run">
  <echo message="Running ${script}"/> 
  <java fork="yes"
   classname="org.mozilla.javascript.tools.shell.Main"
   failonerror="true">
   <classpath>
    <path refid="clspath" />
    <pathelement path="js.jar" />
   </classpath>
   <arg value="${script}" />
  </java>
 </target>

HIVEの力なんだけど、とても簡単にM/Rが動くのは素晴らしい、と思います。

cygwinでHadoop(v0.21.0)＋HIVEを動かす

2010-10-31T02:50:00.007+09:00

FileのAppendもできるようになったとのこともあり、Hadoopがv0.21.0な状態でHIVEを使いたかったのだが、やってみると結構苦労したのでメモ。cygwinをまじめに使うのも初めてで、、これも意外に大変。。

①HIVE-1612に掲示されたパッチを対応するtrunkソースに当てる。

②よしもふさんのページを参考にql/exec/Utilities.javaのgetMapRedWorkメソッドを修正(多少本体側も変更されているので以下参考)。


 public static MapredWork getMapRedWork (Configuration job) {
   MapredWork gWork = null;
   try {
     synchronized(gWorkMap) {
       gWork = gWorkMap.get(getHiveJobID(job));
     }
     if(gWork == null) {
       synchronized (Utilities.class) {
         if(gWork != null)
           return (gWork);
   Path planPath = new Path(HiveConf.getVar(job, HiveConf.ConfVars.PLAN));
   FileSystem fs = planPath.getFileSystem(job);
   InputStream in = fs.open(planPath);
         MapredWork ret = deserializeMapRedWork(in, job);
         gWork = ret;
         gWork.initialize();
         gWorkMap.put(getHiveJobID(job), gWork);
       }
     }
     return (gWork);
   } catch (Exception e) {
     e.printStackTrace();
     throw new RuntimeException (e);
   }
 }

③ql/Context.javaのgetLocalScratchDirメソッドを修正(以下ひどい修正なので参考までに)。


  public String getLocalScratchDir(boolean mkdir) {
    try {
      FileSystem fs = FileSystem.getLocal(conf);
      URI uri = fs.getUri();
   return "/tmp";
/*
      return getScratchDir(uri.getScheme(), uri.getAuthority(),
                           mkdir, localScratchDir);
*/
    } catch (IOException e) {
      throw new RuntimeException (e);
    }
  }

Solrクエリのパーサ2

2010-09-10T01:33:00.004+09:00

以下を忘れいたので、GINによるSolrクエリパーサを改訂しました。

・NOT
・レンジクエリ(pub_date:[2009-10-01T00:00:00Z+TO+*])

// Solrクエリパーサの作成(LL) v0.2

// パーサジェネレータを読込み
load('work\\mod_gin.js');

// パーサを作成(EBNFで文法を定義)
// JS_STRINGはダブルクウォートで括らなくてはならないのでTermを定義して使う
// Termで+記号は定義せず+desc/+ascを別書きとする(+OR+等とかぶるため全体がターム扱いとなる)
// Rangeには[]で括って作られるレンジクエリ用の記述を入れて別出し
var calc = new Gin.Grammar({
 Solr: / Object ( '&' Object )* /,
 Object: / ( Value '=' Factor ) /,
 Factor: / Value ( ',' Factor | '+AND+' Factor | '+OR+' Factor | '+NOT+' Factor )* /,
 Value: / Term | '(' Factor ')' /,
 Term: / <[a-zA-Z0-9_.]+> ':[' Range ']' | <[a-zA-Z0-9_.:]+(\+desc|\+asc)?> /,
 Range: / <[a-zA-Z0-9_.+*\-]+> /
}, "Solr", Gin.SPACE);

// 検証するSolrクエリ
var strInput = 'start=0&q=AREA_CD:050+OR+DISP:1+AND+HAN_CD:011)+AND+EKI_CD:26610+AND+pub_date:[2009-10-01T00:00:00Z+TO+*]&sort=EKI_CD+asc,HAN_CD+desc&wt=javabin&rows=0&version=2.2';

// パーサのデバッグを行うときは以下のコメントを復活
var input = [
 // 'q=((AAA:1+AND+BBB:2))&start=1',
 // '"q"=(("AAA:x"+AND+"BBB:2")+AND+"CCC:3")&"start"=1&"var"=1.1',
 // '"q"=("DDD"+OR+("AAA"+AND+"BBB")+AND+"CCC")&"sort"="test+desc","kkk+asc"&"start"=1',
 strInput
];

// 検証！
for (var i = 0; i < input.length; i++) {
 var match = calc.parse(input[i]);
 if (match && match.full){
  print("AST: " + match.value.toSource());
 }else{
  print(input[i]);
  print("Sentence was wrong.");
 }
}

Solrクエリのパーサ1

2010-08-09T18:42:00.006+09:00

"Days on the Moon"さんのブログを参考に、Solrのクエリを整形(Lint)する目的でパーサを作る実験中です。

以下、なんとなく通った版です(GINはmod_gin.jsとリネームし、rhinoで起動)。

// Solrクエリパーサの作成(LL) v0.1

// パーサジェネレータを読込み
load('work\\mod_gin.js');

// パーサを作成(EBNFで文法を定義)
// JS_STRINGはダブルクウォートで括らなくてはならないのでTermを定義して使う
// Termで+記号は定義せず+desc/+ascを別書きとする(+OR+等とかぶるため全体がターム扱いとなる)
// Termには数字は入ってこない想定(Valueに$REALがあるため)
var calc = new Gin.Grammar({
 Solr: / Object ( '&' Object )* /,
 Object: / ( Value '=' Factor ) /,
 Factor: / Value ( ',' Factor | '+AND+' Factor | '+OR+' Factor )* /,
 Value: / $REAL | Term | '(' Factor ')' /,
 Term: / <[a-zA-Z0-9:_.]+(\+desc|\+asc)?> /
}, "Solr", Gin.SPACE);

// 検証するSolrクエリ
var strInput = 'start=0&q=(AREA_CD:050+OR+DISP:1+AND+HAN_CD:011)+AND+EKI_CD:26610&sort=EKI_CD+asc,HAN_CD+desc&wt=javabin&rows=0&version=2.2';

// パーサのデバッグを行うときは以下のコメントを復活
var input = [
 // 'q=((AAA:1+AND+BBB:2))&start=1',
 strInput
];

// 検証！
for (var i = 0; i < input.length; i++) {
 var match = calc.parse(input[i]);
 if (match && match.full){
  print("AST: " + match.value.toSource());
 }else{
  print(input[i]);
  print("Sentence was wrong.");
 }
}

rhinoでe4xを使う

2010-07-19T22:54:00.004+09:00

Windowsのantでスクリプト実行をしていたのだけど、何故かant経由だとe4xがうまく使えなかった。javaコマンドで直接起動する分には問題ない。


D:\work\blog-gae>java -cp war\WEB-INF\lib\js.jar org.mozilla.javascript.tools.shell.Main work\e4x.js

以下そのときのantのターゲット。


<target name="rhino-run">
    <property name="classes" value="war/WEB-INF/lib/js.jar:war/WEB-INF/lib/mailapi.jar:war/WEB-INF/lib/smtp.jar"/>
    <echo message="Running ${script}"/>
    <java classname="org.mozilla.javascript.tools.shell.Main"
        classpath="${classes}"
        failonerror="true">
        <arg value="${script}" />
    </java>
</target>

そのときのe4xテストスクリプトは以下。

// var a = require("test0.js");

var i = '<a><b><c>aaaa</c></b><b><c>bbbb</c></b></a>';

var xml = new XML(i);

//print(xml.a.b.c[1].toString());
//print(xml.a.b.c[1]);

// 何故か先頭要素を省いたものが正解
print(xml.b.c[1]);

エラーは以下のとおり。


D:\work\blog-gae>ant rhino-run -Dscript="work\e4x.js"
Buildfile: build.xml

rhino-run:
  [echo] Running work\e4x.js
  [java] js: uncaught JavaScript runtime exception: ReferenceError: "XML" is  not defined.
  [java]

BUILD FAILED
D:\work\blog-gae\build.xml:141: Java returned: 3

Total time: 1 second
D:\work\blog-gae>

これは(やはり)classpathの問題のようで、以下のスクリプト(コチラを参考)でclasspathを出してみると、

var strConf = "java.class.path";
var cwd = environment[strConf];
cwd = cwd.replace(/;/g, "\n");
print(strConf + " = " + cwd);

antのものばかりで、肝心のjs.jarが出ない。


D:\work\blog-gae>ant rhino-run -Dscript="work\env0.js"
Buildfile: build.xml

rhino-run:
  [echo] Running work\env0.js
  [java] java.class.path = D:\work\apache-ant-1.7.1\bin\..\lib\ant-launcher.j
ar
  [java] d:\Documents and Settings\00962724\.ant\lib\ivy-2.0.0-rc2.jar
  [java] D:\work\apache-ant-1.7.1\lib\ant-antlr.jar
  [java] D:\work\apache-ant-1.7.1\lib\ant-apache-bcel.jar
  [java] D:\work\apache-ant-1.7.1\lib\ant-apache-bsf.jar
snip
  [java] D:\work\apache-ant-1.7.1\lib\xercesImpl.jar
  [java] D:\work\apache-ant-1.7.1\lib\xml-apis.jar
  [java] C:\Program Files\Java\jdk1.6.0_18\lib\tools.jar

BUILD SUCCESSFUL
Total time: 1 second
D:\work\blog-gae>

そこで、上記ターゲットにantを実行しているjvmとは別のvmで実行するようforkを入れると、


<target name="rhino-run">
 <property name="classes" value="war/WEB-INF/lib/js.jar:war/WEB-INF/lib/mailapi.jar:war/WEB-INF/lib/smtp.jar">
 <echo message="Running ${script}">
 <java fork="yes" classname="org.mozilla.javascript.tools.shell.Main" classpath="${classes}" failonerror="true">
     <arg value="${script}">
 </arg>
</java>
</echo></property></target>

うまくjs.jarが動くようになり、


D:\work\blog-gae>ant rhino-run -Dscript="work\env0.js"
Buildfile: build.xml

rhino-run:
  [echo] Running work\env0.js
  [java] java.class.path = D:\work\blog-gae\war\WEB-INF\lib\js.jar
  [java] D:\work\blog-gae\war\WEB-INF\lib\mailapi.jar
  [java] D:\work\blog-gae\war\WEB-INF\lib\smtp.jar

BUILD SUCCESSFUL
Total time: 3 seconds
D:\work\blog-gae>

e4xが正常に動作した。


D:\work\blog-gae>ant rhino-run -Dscript="work\e4x.js"
Buildfile: build.xml

rhino-run:
  [echo] Running work\e4x.js
  [java] bbbb

BUILD SUCCESSFUL
Total time: 1 second
D:\work\blog-gae>

検索すると意外にrhinoのバージョン問題か、などいろいろでるけど、1.7R1で正常に使えています

Mahotをウェブアプリで使う

2010-05-18T18:41:00.004+09:00

Jteamというサイトに、サンプルアプリが公開されていたのでメモ。

sampleのzipファイル(taste-getting-started.zip)をダウンロードして展開
Mavenを使って"mvn install"
ミネソタ大学のgrouplensというラボから評価用データセット(ml-data_0.zip)を入手
どこかに立てたMySQLにテーブルを作る(taste-getting-started\src\main\resources\sql\initialize_movielens_db.sqlにて)
　・この中でmovielensという名前でデータベースやユーザが作られる
　・しかしこのとき作られるユーザはlocalhost縛りになるので注意('@%'に要変更)
　・ロードするu.itemは変なディレクトリにあることになっているので要変更
taste-getting-started\src\main\webapp\WEB-INF\persistence-context.xmlの接続情報を変更
Mavenを使って"mvn jetty:run"

意外に簡単なのですが、あるべきMoviePage.htmlが入ってなく、、、かつ映画名が良く分からないので、それがレコメンドとして正しいのかの判断が不明です。

appenginejsのアプリ初期化過程

2010-03-22T09:18:00.005+09:00

最初のリクエストが飛んできたときに、appenginejsに同梱されているJSGIServlet.javaで行われていることをまとめておきます。

コンテキストが作られる
narwhalの(engine個別の/ここではrhinoの)bootstrap.jsが実行される
　ここでNARWHAL_HOMEはWEB-INF/packages/narwhalと決め打ち
　その中で(NARWHAL_HOMEの)narwhal.jsが実行され環境が作られる
jackのservletハンドラ(proessメソッド)がrequireされる
　アプリは(serviceメソッドから呼ばれ)このハンドラ内で実際に実行される
アプリのWEB-INF/src/jackconfig.jsがrequireされる
　(web.xmlの)appとenvironmentに合わせた変数がexportされる
上記exportされた変数(environmentとapp)を使ってアプリが初期化される

hotデプロイなGAE開発!

2010-03-08T01:55:00.005+09:00

appenginejsでは、war\WEB-INF\jackconfig.jsの中でlocalとhostedという2つの稼働方法をexportしている。

そして、同ディレクトリにあるweb.xmlの中でenvironmentという名前で指定して利用するのだが、これをlocalにしておけば、ソース修正が(jettyの再起動を行わずとも)反映できるようになる。

なお、jackconfig.jsというファイル、何かの設定ファイルのようだけどなんのことはなく、このファイルが、jack経由でJettyで実行されているだけである(このファイルのexports.app)。

appenginejsでtimezone

2010-03-07T02:26:00.008+09:00

blog-gaeでのtimezone設定のやり方が分からず、ずっと時間表示がUTCだった。
調べてみると起動するservletであるjack-servletを最新ソースではこの設定が可能になっていたので差し替え。

ソースを落としたら、D:\work\blog-gaeに展開して、

ant runserver

とするだけで、開発用サーバが8080ポートで上がります。ちなみに、WEB-INF\packages\narwhal\lib\sandbox.jsの6行目にある以下を修正すれば、配置場所は変更可能です(Windowsのディレクトリ記述がうまくパースできないようなので、このファイルは無理に改造しています)。

var zzWork = 'd:\\work\\blog-gae\\war\\WEB-INF\\';

blog-gae

2010-03-06T22:47:00.003+09:00

appenginejsのサンプルが動いたので、ソースを上げました。
GAEって、普通にzipファイルを上げたらダウンロードできるようになるんですね。

appenginejsでrunInTransaction!!

2010-02-23T02:08:00.008+09:00

appenginejsで、どうしても出来なかった同一トランザクションでのdb登録がやっとできた。GAEでは同一トランザクションでのデータ更新は、
・同じエンティティグループのエンティティ群しかダメ
・(そのためには先に作ってる同一に入れたい)エンティティからキーをもらう必要あり
このための記述が、昔はModelをnewするときの第一引数にキーを渡す方式だった(よう)だが、

×(昔)

var objCom = new Comment(msg.key(),{
 msgRef:msg.key(),
 content: "This is test comment"
});

今のバージョンではプロパティにparentと切ってそこにキーを渡すことになっている。

○(今)

var objCom = new Comment({
 parent:msg.key(),
 msgRef:msg.key(),
 content: "This is test comment"
});

これで、以下のような一括更新が成功するようになる！！

db.runInTransaction(function() {
 db.put([objCom,msg]);
});

ちなみに、
agl0ZjAwNTQtMDZyDQsSB01lc3NhZ2UYCQw
というキーを与えたら、
agl0ZjAwNTQtMDZyGgsSB01lc3NhZ2UYCQwLEgdDb21tZW50GAoM
というキーを持った(同一エンティティグループに入った)エンティティができている。

App Engine JavaScript SDK

2010-02-13T01:07:00.004+09:00

GAEのアプリをJavascriptで書けるSDK"appenginejs"というのがあるのだけど、公開されているサンプルアプリ(blog-gae)をWindowsで動かすのにえらく苦労したのでメモ。

"app is not function"とかエラーがでるがこれはウソ。
で、やることは大きく2つ。

パスがうまく取り込めないので置換する(配置場所に合わせて適宜変えて下さい)。
変更するファイルは"blog-gae\war\WEB-INF\packages\narwhal\lib\sandbox.js"の1つだけ。


    loader.find = function (topId) {
 if(topId.match(/\-gae/)){
 var zztmp = new Array();
  //zztmp = topId.match(/([^\\]+)$/);
  zztmp = topId.match(/INF\\(.+)$/);
  topId  = 'd:\\work\\blog-gae\\war\\WEB-INF\\'+zztmp[1];
 }
...


    self.find = function (topId) {
 if(topId.match(/\-gae/)){
  var zztmp = new Array();
  zztmp = topId.match(/INF\\(.+)$/);
  topId  = 'd:\\work\\blog-gae\\war\\WEB-INF\\'+zztmp[1];
 }
...

"\blog-gae\war\WEB-INF\src"は本来classesへのシンボリックリンク。
なのだけど、Windowsなのでこれはclassesをsrcという別名でコピーしておく。

これで、起動はやはり重いけど動くことは動く。日本語も使えている様子。

[haXe] aswingを使う(ウィンドウ内に描画)

2010-01-11T23:46:00.003+09:00

同様にhaXeにてaswingのウィンドウ内に絵を描く(linetoなど)には、FrameのContainerをとって、そこに、絵が描かれたGroudDecoratorをBackgroundDecoratorとしてセット、するみたいです。。。中国のaswingサイトに例がありました。

import flash.display.Sprite;

import org.aswing.ASColor;
import org.aswing.Component;
import org.aswing.Container;
import org.aswing.JFrame;
import org.aswing.graphics.Graphics2D;
import org.aswing.graphics.IBrush;
import org.aswing.graphics.SolidBrush;

class FillTest extends Sprite
{
 public function new()
 {
  super();
  var frame:JFrame = new JFrame(this);
  frame.setSizeWH(400, 370);

  var c:Container = frame.getContentPane();
  c.setBackgroundDecorator(new MyCanvas());

  frame.show();
 }
}

import org.aswing.GroundDecorator;
import flash.display.Shape;
import org.aswing.Component;
import org.aswing.graphics.Graphics2D;
import org.aswing.geom.IntRectangle;
import flash.display.DisplayObject;
import org.aswing.graphics.IBrush;
import org.aswing.graphics.SolidBrush;
import org.aswing.ASColor;
import org.aswing.graphics.GradientBrush;

import flash.geom.Matrix;

class MyCanvas implements GroundDecorator {

 private var shape:Shape;

 private var H_GAP:UInt;
 private var V_GAP:UInt;

 private var WIDTH:UInt;
 private var HEIGHT:UInt;

 public function new()
 {
  shape = new Shape();

  H_GAP = 10;
  V_GAP = 10;

  WIDTH = 100;
  HEIGHT = 100;
 }

 public function updateDecorator(com:Component, g:Graphics2D, bounds:IntRectangle):Void {

  var g2:Graphics2D = new Graphics2D(this.shape.graphics);
  g2.clear();

  var rectBounds:IntRectangle = new IntRectangle();

  //fill solid rect

  rectBounds.x = bounds.x + H_GAP;
  rectBounds.y = bounds.y + V_GAP;
  rectBounds.width = WIDTH;
  rectBounds.height = HEIGHT;

  var solidBrush:IBrush = new SolidBrush(ASColor.RED);
  g2.fillRectangle(solidBrush, rectBounds.x, rectBounds.y, rectBounds.width, rectBounds.height);

  //fill liner grandient rect

  rectBounds.y += HEIGHT; // move shape rect
  rectBounds.y += V_GAP;

  var colors:Array<UInt> = [0x000000, 0xFF0000, 0x00FF00, 0x0000FF, 0x000000];
  var alphas:Array<Int> = [0, 1, 1, 1, 0];
  var ratios:Array<Int> = [0x00, 0x3F, 0x7E, 0xBD, 0xFF];
  var matrix:Matrix = new Matrix();

  matrix.createGradientBox(rectBounds.width, rectBounds.height, 0, rectBounds.x, rectBounds.y);
  var linear:IBrush = new GradientBrush(GradientBrush.LINEAR, colors, alphas, ratios, matrix);

  g.fillRectangle(linear, rectBounds.x, rectBounds.y, rectBounds.width, rectBounds.height);

  //fill radial grandient

  rectBounds.y += HEIGHT; // move shape rect
  rectBounds.y += V_GAP;

  matrix.createGradientBox(rectBounds.width, rectBounds.height, 0, rectBounds.x, rectBounds.y);
  var radial:IBrush = new GradientBrush(GradientBrush.RADIAL, colors, alphas, ratios, matrix);

  g.fillRectangle(radial, rectBounds.x, rectBounds.y, rectBounds.width, rectBounds.height);
 }

 public function getDisplay(c:Component):DisplayObject {
  return this.shape;
 }
}

普通にSpriteをJFrameなどにaddChildもできますが、これでは折りたたんだときに表示が残るので。。

[haXe] aswingを使う

2010-01-11T02:34:00.006+09:00

haXe(v2.04)でaswing(1_5というパック?)を使う例。

/**
 * Sample002.as
 * Thanks!! -> http://www.matzmtok.com/blog/?p=18
 */

import org.aswing.event.InteractiveEvent ;
import org.aswing.ASColor;
import org.aswing.Container;
import org.aswing.EmptyLayout;
import org.aswing.JSlider;
import org.aswing.JWindow;
import org.aswing.SoftBoxLayout;
import org.aswing.ButtonGroup;
import org.aswing.BoxLayout;
import org.aswing.BorderLayout;
import org.aswing.JLabel;
import org.aswing.JFrame;
import org.aswing.JPanel;
import org.aswing.JButton;
import org.aswing.JRadioButton;

import org.aswing.geom.IntPoint;
import org.aswing.geom.IntDimension;

class Sample002 extends JWindow{

 private var rbX:JRadioButton;
 private var rbY:JRadioButton;
 private var group:ButtonGroup;
 private var zzlayout:BoxLayout;
 private var frame:JFrame;

 public var bg:ButtonGroup;
 public var title:String;

 public function new() {
  super(flash.Lib.current, true);
  title = 'Example of BoxLayout';
  initUI();
 }

 private function initUI():Void {
  setBackground(new ASColor(0xffffff));

  var rbPanel:JPanel = new JPanel();
  rbX = new JRadioButton('BoxLayout.X_AXIS');
  rbY = new JRadioButton('BoxLayout.Y_AXIS');
  zzlayout = new BoxLayout();
  rbX.addSelectionListener(onRadioChanged);
  rbY.addSelectionListener(onRadioChanged);
  rbX.setSelected(true);
  group = new ButtonGroup();
  group.append(rbX);
  group.append(rbY);

  rbPanel.append(new JLabel('方向'));
  rbPanel.append(rbX);
  rbPanel.append(rbY);
  rbPanel.setLocation(new IntPoint(0, 0));
  rbPanel.setSize(new IntDimension(400, 30));

  getContentPane().append(rbPanel);

  var gapPanel:JPanel = new JPanel();
  gapPanel.append(new JLabel('間隔'));

  var slider:JSlider = new JSlider(JSlider.HORIZONTAL, 0, 30, 0);
  slider.addStateListener(onSliderChange);
  gapPanel.append(slider);

  gapPanel.setLocation(new IntPoint(0, 20));
  gapPanel.setSize(new IntDimension(400, 30));
  gapPanel.setBackground(new org.aswing.ASColor(0xFF00FF)); // 効かない?
  gapPanel.setToolTipText("xxxTIPxxx");
  getContentPane().append(gapPanel);

  frame = new JFrame(this, title);
  getContentPane().append(frame);

  frame.getContentPane().setLayout(zzlayout);
  frame.setLocation(new IntPoint(30, 50));
  frame.setSize(new IntDimension(250, 150));

  // たくさん並べるとよしなに幅や高さを等分してくれる
  frame.getContentPane().append(new JButton('Button 1'));
  frame.getContentPane().append(new JButton('Button 2'));
  frame.getContentPane().append(new JButton('Button 3'));
  frame.getContentPane().append(new JButton('Button 4'));

  frame.show();
 }

 public function onRadioChanged(e:InteractiveEvent):Void {
  var rb:JRadioButton = cast(e.target,JRadioButton);

  switch(rb){
     case rbX:
    zzlayout.setAxis(BoxLayout.X_AXIS);
     case rbY:
    zzlayout.setAxis(BoxLayout.Y_AXIS);
     default:
    trace("cannot change layout!");
  }
  updateLayout();
 }

 public function onSliderChange(e:InteractiveEvent):Void {
  var s:JSlider = cast(e.target,JSlider);
  zzlayout.setGap(s.getValue());
  updateLayout();
 }

 private function updateLayout():Void {
  frame.getContentPane().setLayout(zzlayout);
 }
}

これを、以下のように呼び出す。

import org.aswing.geom.IntPoint;
import org.aswing.geom.IntDimension;

class Main
{
    static function main()
    {
    var app:Sample002 = new Sample002();
    app.setLocation(new IntPoint(0, 0));
    app.setSize(new IntDimension(500, 500));
    app.show();

//        flash.Lib.current.addChild(new Sample002());
    }
}

ちなみに、haxeコマンドに与えるcompile.hxmlはこんな感じ。

-swf-header 500:500:20:FFFFFF
-swf Main.swf
-cp hxclasses
-swf-lib concat.swf
-swf-version 9
-main Main

[haXe] haxelibが変?

2010-01-06T03:14:00.005+09:00

haXeでは、swfにしたアセットライブラリは、"-swf-lib"オプションに指定するのだが、これが1つしか受け付けられない様子。画像ファイルのswfとflコンポーネントのswfを同時に使いたかったので、この2つのアセットswfを纏める方法。

以下xmlを用意(ここではconcat.xmlとした)。

<movie width="320" height="240" framerate="12" version="9">
<frame><library>
<clip id="foo" import="spectrum.swf"/>
<clip id="foo" import="component.swf"/>
</library></frame>
</movie>

そして、swfmillを実行。

> swfmill.exe simple concat.xml concat.swf

意外に簡単！xmlのwidthとかは適当で良いようです。

[haXe] haxelibが変?

2009-12-06T05:18:00.004+09:00

haXeでは、haxelibコマンドを使ってライブラリを簡単にインストールすることができるハズだが、Windows環境ではhscriptがうまく入れられなった。メッセージはこちら。

In project: Unexpected element tag

この原因は2つある模様。

1つはhaxelibのバグ。本家では解決済なので、最新ソースをCVSで取得後、コンパイルすることで無事入るようになります(一応、このコンパイル後haxelib.exeを置いておきます)。

2つめはｍライブラリパスの問題なようで、以下設定をすることで動くようになるハズ。

set HAXE_LIBRARY_PATH=c:\Program Files\Motion-Twin\haxe\std

パスは完了ごとに変えて下さい(\は実際は￥で指定します)。

[HIVE] Solrのexample/books.csvを

2009-11-24T04:11:00.003+09:00

以下スキーマで(Solrのexamplesにある)books.csvをHIVEに取り込むことができる。

create table books (
  id STRING,
  cat STRING,
  name STRING,
  price DOUBLE,
  inStock BOOLEAN,
  author_t STRING,
  series_t STRING,
  sequence INT,
  genre_s STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n';

取りこむのは以下コマンド。
LOAD DATA INPATH '/tmp/books.csv' overwrite into table books ;

[HIVE] 日本語が。。。

2009-11-09T01:21:00.005+09:00

jdkのエンコードのせいだと思うのだけど(コマンドラインでUTF8は見えるから)、HIVEのコンソールでは日本語が使えない。直接cygwinのコマンドラインでなら使えるので、まぁいいのだけど。

$ /cygdrive/d/work/apache-hive/build/dist/bin/hive -hiveconf hadoop.bin.path="bash /cygdrive/d/work/apache-hadoop-0.19.2/bin/hadoop" -e "FROM zip z insert overwrite directory '/tmp/gina3' SELECT z.zip, z.pref, z.city, z.town WHERE z.ver = '2008-12-26' AND z.town REGEXP '銀座';"

@ITの記事を参考に練習中。。

[HIVE] HIVE上からHDFS操作

2009-11-08T02:30:00.000+09:00

HIVE上からファイルを見るには。

hive> dfs  -ls /tmp;
Found 10 items
drwxr-xr-x   - 00962724 mkgroup          0 2009-11-24 02:27 /tmp/00962724
drwxr-xr-x   - 00962724 mkgroup          0 2009-11-03 03:24 /tmp/cy
-rw-r--r--   1 00962724 mkgroup       2740 2009-11-23 23:44 /tmp/FirstTest.jar
drwxr-xr-x   - 00962724 mkgroup          0 2009-11-09 01:21 /tmp/gina3
drwxr-xr-x   - 00962724 mkgroup          0 2009-11-09 01:13 /tmp/ginza
drwxr-xr-x   - 00962724 mkgroup          0 2009-11-24 02:25 /tmp/hadoop-00962724

drwxr-xr-x   - 00962724 mkgroup          0 2009-11-09 01:21 /tmp/hive-00962724
drwxr-xr-x   - 00962724 mkgroup          0 2009-11-09 00:16 /tmp/localfiles
drwxr-xr-x   - 00962724 mkgroup          0 2009-11-09 01:08 /tmp/prefff.dat
-rw-r--r--   1 00962724 mkgroup    6687150 2009-11-22 21:54 /tmp/sample.war
hive>

[HIVE] HQLの関数を確認

2009-11-07T03:07:00.000+09:00

意外に説明が充実してる。

hive> DESCRIBE FUNCTION EXTENDED substr;
OK
substr(str, pos[, len]) - returns the substring of str that starts at pos and is
of length len
pos is a 1-based index. If pos<0 the starting position is determined by counting
backwards from the end of str.
Example:
   > SELECT substr('Facebook', 5) FROM src LIMIT 1;
  'book'
  > SELECT substr('Facebook', -5) FROM src LIMIT 1;
  'ebook'
  > SELECT substr('Facebook', 5, 1) FROM src LIMIT 1;
  'b'
Time taken: 0.156 seconds
hive>

[HIVE] select出来た!

2009-11-06T01:53:00.008+09:00

cygwinだと、HIVEからhadoopを呼び出すところで失敗する。なのでこのためにはhiveconfオプションにて、hadoopのまるママの実行文を書いておくべし。

00962724@XXX /cygdrive/d/work/apache-hive/build/dist/conf
$ /cygdrive/d/work/apache-hive/build/dist/bin/hive -hiveconf hadoop.bin.path="bash /cygdrive/d/work/apache-hadoop-0.19.2/bin/hadoop" -e "SELECT a.foo FROM invites a WHERE a.ds='2008-08-15';"

また、以下のようなエラーがでるときはmetadataが壊れていた様子。

Job Submission failed with exception 'java.lang.NullPointerException(null)'

"drop table"して(このコマンドも失敗したけど、その後"show tables"してテーブルが無いようなら"create table"してloadすれば、うまく動くようになった！

Hive history file=/tmp/00962724/hive_job_log_00962724_200911060205_2037141967.txt
Total MapReduce jobs = 1
Number of reduce tasks is set to 0 since there's no reduce operator
09/11/06 02:05:32 INFO exec.ExecDriver: Number of reduce tasks is set to 0 since there's no reduce operator
09/11/06 02:05:32 INFO exec.ExecDriver: Using org.apache.hadoop.hive.ql.io.HiveInputFormat
09/11/06 02:05:32 INFO exec.ExecDriver: Processing alias a
09/11/06 02:05:32 INFO exec.ExecDriver: Adding input file file:/user/hive/warehouse/invites/ds=2008-08-15
09/11/06 02:05:34 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
09/11/06 02:05:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
09/11/06 02:05:34 INFO mapred.FileInputFormat: Total input paths to process : 1
Job running in-process (local Hadoop)
09/11/06 02:05:35 INFO exec.ExecDriver: Job running in-process (local Hadoop)
09/11/06 02:05:35 INFO mapred.FileInputFormat: Total input paths to process : 1
09/11/06 02:05:35 INFO mapred.MapTask: numReduceTasks: 0
09/11/06 02:05:35 INFO ExecMapper: maximum memory = 1040515072
09/11/06 02:05:35 INFO ExecMapper: conf classpath = [file:/D:/tmp/hadoop-00962724/hadoop-unjar3921453707640367881/, file:/D:/work/apache-hive/build/dist/lib/hive_exec.jar, file:/D:/tmp/hadoop-00962724/hadoop-unjar3921453707640367881/classes]
09/11/06 02:05:35 INFO ExecMapper: thread classpath = [file:/D:/tmp/hadoop-00962724/hadoop-unjar3921453707640367881/, file:/D:/work/apache-hive/build/dist/lib/hive_exec.jar, file:/D:/tmp/hadoop-00962724/hadoop-unjar3921453707640367881/classes]
09/11/06 02:05:35 INFO exec.MapOperator: Adding alias a to work list for file /user/hive/warehouse/invites/ds=2008-08-15/kv2.txt
09/11/06 02:05:35 INFO exec.MapOperator: dump TS struct<foo:int,bar:string,ds:string>
09/11/06 02:05:35 INFO ExecMapper:
<MAP>Id =10
  <Children>
    <TS>Id =0
      <Children>
        <FIL>Id =1
          <Children>
            <FIL>Id =2
              <Children>
                <SEL>Id =3
                  <Children>
                    <FS>Id =4
                      <Parent>Id = 3 <\Parent>
                    <\FS>
                  <\Children>
                  <Parent>Id = 2 <\Parent>
                <\SEL>
              <\Children>
              <Parent>Id = 1 <\Parent>
            <\FIL>
          <\Children>
          <Parent>Id = 0 <\Parent>
        <\FIL>
      <\Children>
      <Parent>Id = 10 <\Parent>
    <\TS>
  <\Children>
<\MAP>
09/11/06 02:05:35 INFO exec.MapOperator: Initializing Self 10 MAP
09/11/06 02:05:35 INFO exec.TableScanOperator: Initializing Self 0 TS
09/11/06 02:05:35 INFO exec.TableScanOperator: Operator 0 TS initialized
09/11/06 02:05:35 INFO exec.TableScanOperator: Initializing children of 0 TS
09/11/06 02:05:35 INFO exec.FilterOperator: Initializing child 1 FIL
09/11/06 02:05:35 INFO exec.FilterOperator: Initializing Self 1 FIL
09/11/06 02:05:35 INFO exec.FilterOperator: Operator 1 FIL initialized
09/11/06 02:05:35 INFO exec.FilterOperator: Initializing children of 1 FIL
09/11/06 02:05:35 INFO exec.FilterOperator: Initializing child 2 FIL
09/11/06 02:05:35 INFO exec.FilterOperator: Initializing Self 2 FIL
09/11/06 02:05:35 INFO exec.FilterOperator: Operator 2 FIL initialized
09/11/06 02:05:35 INFO exec.FilterOperator: Initializing children of 2 FIL
09/11/06 02:05:35 INFO exec.SelectOperator: Initializing child 3 SEL
09/11/06 02:05:35 INFO exec.SelectOperator: Initializing Self 3 SEL
09/11/06 02:05:35 INFO exec.SelectOperator: SELECT struct<foo:int,bar:string,ds:string>
09/11/06 02:05:35 INFO exec.SelectOperator: Operator 3 SEL initialized
09/11/06 02:05:35 INFO exec.SelectOperator: Initializing children of 3 SEL
09/11/06 02:05:35 INFO exec.FileSinkOperator: Initializing child 4 FS
09/11/06 02:05:35 INFO exec.FileSinkOperator: Initializing Self 4 FS
09/11/06 02:05:35 INFO exec.FileSinkOperator: Writing to temp file: FS file:/tmp/hive-00962724/1005059804/_tmp.10001/_tmp.attempt_local_0001_m_000000_0
09/11/06 02:05:35 INFO exec.FileSinkOperator: Operator 4 FS initialized
09/11/06 02:05:35 INFO exec.FileSinkOperator: Initialization Done 4 FS
09/11/06 02:05:35 INFO exec.SelectOperator: Initialization Done 3 SEL
09/11/06 02:05:35 INFO exec.FilterOperator: Initialization Done 2 FIL
09/11/06 02:05:35 INFO exec.FilterOperator: Initialization Done 1 FIL
09/11/06 02:05:35 INFO exec.TableScanOperator: Initialization Done 0 TS
09/11/06 02:05:35 INFO exec.MapOperator: Initialization Done 10 MAP
09/11/06 02:05:35 INFO exec.MapOperator: 10 forwarding 1 rows
09/11/06 02:05:35 INFO exec.TableScanOperator: 0 forwarding 1 rows
09/11/06 02:05:35 INFO exec.FilterOperator: 1 forwarding 1 rows
09/11/06 02:05:35 INFO exec.FilterOperator: 2 forwarding 1 rows
09/11/06 02:05:35 INFO exec.SelectOperator: 3 forwarding 1 rows
09/11/06 02:05:35 INFO ExecMapper: ExecMapper: processing 1 rows: used memory = 2369824
09/11/06 02:05:35 INFO exec.MapOperator: 10 forwarding 10 rows
09/11/06 02:05:35 INFO exec.TableScanOperator: 0 forwarding 10 rows
09/11/06 02:05:35 INFO exec.FilterOperator: 1 forwarding 10 rows
09/11/06 02:05:35 INFO exec.FilterOperator: 2 forwarding 10 rows
09/11/06 02:05:35 INFO exec.SelectOperator: 3 forwarding 10 rows
09/11/06 02:05:35 INFO ExecMapper: ExecMapper: processing 10 rows: used memory = 2388056
09/11/06 02:05:35 INFO exec.MapOperator: 10 forwarding 100 rows
09/11/06 02:05:35 INFO exec.TableScanOperator: 0 forwarding 100 rows
09/11/06 02:05:35 INFO exec.FilterOperator: 1 forwarding 100 rows
09/11/06 02:05:35 INFO exec.FilterOperator: 2 forwarding 100 rows
09/11/06 02:05:35 INFO exec.SelectOperator: 3 forwarding 100 rows
09/11/06 02:05:35 INFO ExecMapper: ExecMapper: processing 100 rows: used memory = 2388056
09/11/06 02:05:36 INFO exec.MapOperator: 10 finished. closing...
09/11/06 02:05:36 INFO exec.MapOperator: 10 forwarded 500 rows
09/11/06 02:05:36 INFO exec.MapOperator: DESERIALIZE_ERRORS:0
09/11/06 02:05:36 INFO exec.TableScanOperator: 0 finished. closing...
09/11/06 02:05:36 INFO exec.TableScanOperator: 0 forwarded 500 rows
09/11/06 02:05:36 INFO exec.FilterOperator: 1 finished. closing...
09/11/06 02:05:36 INFO exec.FilterOperator: 1 forwarded 500 rows
09/11/06 02:05:36 INFO exec.FilterOperator: PASSED:500
09/11/06 02:05:36 INFO exec.FilterOperator: FILTERED:0
09/11/06 02:05:36 INFO exec.FilterOperator: 2 finished. closing...
09/11/06 02:05:36 INFO exec.FilterOperator: 2 forwarded 500 rows
09/11/06 02:05:36 INFO exec.FilterOperator: PASSED:500
09/11/06 02:05:36 INFO exec.FilterOperator: FILTERED:0
09/11/06 02:05:36 INFO exec.SelectOperator: 3 finished. closing...
09/11/06 02:05:36 INFO exec.SelectOperator: 3 forwarded 500 rows
09/11/06 02:05:36 INFO exec.FileSinkOperator: 4 finished. closing...
09/11/06 02:05:36 INFO exec.FileSinkOperator: 4 forwarded 0 rows
09/11/06 02:05:36 INFO exec.FileSinkOperator: Committed to output file: file:/tmp/hive-00962724/1005059804/_tmp.10001/attempt_local_0001_m_000000_0
09/11/06 02:05:36 INFO exec.SelectOperator: 3 Close done
09/11/06 02:05:36 INFO exec.FilterOperator: 2 Close done
09/11/06 02:05:36 INFO exec.FilterOperator: 1 Close done
09/11/06 02:05:36 INFO exec.TableScanOperator: 0 Close done
09/11/06 02:05:36 INFO exec.MapOperator: 10 Close done
09/11/06 02:05:36 INFO ExecMapper: ExecMapper: processed 500 rows: used memory = 2459320
09/11/06 02:05:36 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
09/11/06 02:05:36 INFO mapred.LocalJobRunner:
09/11/06 02:05:36 INFO mapred.TaskRunner: Task attempt_local_0001_m_000000_0 is allowed to commit now
09/11/06 02:05:36 INFO mapred.FileOutputCommitter: Saved output of task 'attempt_local_0001_m_000000_0' to file:/tmp/hive-00962724/384798627
09/11/06 02:05:36 INFO mapred.LocalJobRunner: file:/user/hive/warehouse/invites/ds=2008-08-15/kv2.txt:0+5791
09/11/06 02:05:36 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000000_0' done.
2009-11-06 02:05:36,156 map = 100%,  reduce = 0%
09/11/06 02:05:36 INFO exec.ExecDriver: 2009-11-06 02:05:36,156 map = 100%,  reduce = 0%
Ended Job = job_local_0001
09/11/06 02:05:36 INFO exec.ExecDriver: Ended Job = job_local_0001
09/11/06 02:05:36 INFO exec.FileSinkOperator: Moving tmp dir: file:/tmp/hive-00962724/1005059804/_tmp.10001 to: file:/tmp/hive-00962724/1005059804/_tmp.10001.intermediate
09/11/06 02:05:36 INFO exec.FileSinkOperator: Moving tmp dir: file:/tmp/hive-00962724/1005059804/_tmp.10001.intermediate to: file:/tmp/hive-00962724/1005059804/10001
OK
Time taken: 27.86 seconds

00962724@XXX /cygdrive/d/work/apache-hive/build/dist/conf

[HIVE] 準備が結構。。。

2009-11-05T01:15:00.006+09:00

Hadoopも、JavaのScalaと同様に楽をしたいためHIVEを使おうと思って準備。したのだけど結構はまったのでメモ。

・Hadoopをインストール
HIVEにするといってもHadoopは事前に入れておく必要がある様子。このときおとなしくcygwinを入れるべし。中でdfとか使うのでbash.exeなどを入れていても(それだけでは)途中でこける。

・HIVEをインストール
ivy(というmavenみたいな構成管理ツール)が曲者。というかtrunkをsvnで取ってきたのだけど、中でもう古い、たとえばv0.19.0みたいなHadoopをdownloadしようとしてしまう。なので以下2ファイルを書き替える必要があった。
apache-hive\shims\ivy.xml
apache-hive\shims\build.xml
これらの中で、使いたいHadoopバージョンだけを残せばOK(私はv0.19.2だけを入れました)。あと、普通に入れると途中のHadoopダウンロードが遅いので、
D:\work>ant -Dhadoop.mirror="http://www.meisei-u.ac.jp/mirror/apache/dist" -Dhadoop.version=0.19.2 package
のとおり、ダウンロードサイトを指定すると吉。

補足：
cygwinのv1.7をUTF8化する方法はこちら。

[Solr] tikaを簡単に

2009-10-25T16:59:00.004+09:00

curlを2回つなげると、簡単にウェブページを検索対象にできる。

konpyuta:~/work tf0054$ curl -s http://lucene.apache.org/tika/ | curl 'http://localhost:8983/solr/update/extract?literal.id=doc5&literal.url=doc5&commit=true' -F "myfile=@-"
<?xml version="1.0" encoding="UTF-8"?>
<response>
<lst name="responseHeader"><int name="status">0</int><int name="QTime">76</int></lst>
</response>
konpyuta:~/work tf0054$

ちなみに、curlの"-F"オプションで指定ファイルをPOSTすることができる(ココでは前のcurlから受け取ったSTDINを流すために"-"で受けている)。

[Android] BlueLoggerを公開しました

2009-10-03T02:17:00.007+09:00

まだまだお恥ずかしいレベルですが、AndroidでBluetooth通信を使って疑似的に「すれちがい通信」ぽいことを行うアプリを作ってADC2に出していたので、マーケットにも公開してみました(もちろんScalaで書いています)。

Twitter連携としては「すれちがったー」さんが抜群のバランス感なのでアレですが、一応Twidroidを入れてあると連携してTweetも打てます。

ただ、、いかんせんHT-03A同士で実験をしていないので、、お互いうまく発見できるか分かりません。。が。ぜひ使えたら、また使えなかったりバグっていたら教えて下さい!

[Linux] フィード取得の偽装に関して

2009-09-24T05:09:00.002+09:00

blogspotユーザのフィード(atomで吐いている)を解析、画像のソースを本文に引っ付けて戻す事で、その記事ページに行かなくてもリーダ上で画像を見られるようにしたい。のだけど、atomで<img src="〜">〜</img>をきちんと処理してもらうには、どうすれば良いのか分からない。。。atom:contentでcdata付けてみたけどダメ。あ、cdata付けるからだめなのかな。

[Solr] GoSenをまた修正!

2009-09-10T04:45:00.003+09:00

Luceneが2.9-rc2になったからか、またSolrでgosenが動かなくなっていたので修正しました。
lucene-ja-gosen-1.0.2.zipとして置いておきます。

[Android] サブメニューの作成

2009-08-29T03:47:00.003+09:00

androidでメニューをXMLで書くときの、サブメニュー(クリックしたら更にその中から表示されるメニュー。選択肢だけが画面中央にでる)は以下のように書きます。


<?xml version="1.0" encoding="utf-8"?>
<menu xmlns:android="http://schemas.android.com/apk/res/android">
 <item android:id="@+id/main_Sort" android:title="ソート"
  android:icon="@android:drawable/ic_menu_more">
  <menu> 
   <item android:id="@+id/main_Sort_1" android:title="すれ違い日時" />
   <item android:id="@+id/main_Sort_2" android:title="すれ違い回数" />
    </menu> 
 </item>
 <item android:id="@+id/main_Input" android:title="入力" />
 <item android:id="@+id/main_Stop" android:title="停止" />
 <item android:id="@+id/main_Exit" android:title="終了"
  android:icon="@android:drawable/ic_menu_close_clear_cancel" />
</menu>

[Scala] Antでfscを

2009-08-27T02:05:00.004+09:00

Scalaはコンパイルが遅いので(Javaに比べて遅いかどうかは、Java開発をほぼしたことがないので不明)、Antでscalacタスクではなくfscタスクを使えるようにした。段どりは以下。

・fscだけをコマンドで実行し常駐させる(helpが出る)
・上がったデーモンのポート番号を調べる(※1)
・それをファイルに書く(※2)
・build.xmlのfscタスクでそれを指定(serverオプションにて)

(※1)は以下にポート番号でファイルができるのでそれを見ます。
d:\scala-2.7.5.final\var\scala-devel\scalac-compile-server-port

不思議なことに、fscのデーモンさんはPCをスタンバイにすると死んでしまうようなので、そうなると(※2)を毎回やらなくてはならず不便。。

今日AntでJavascript実行ができることに気がついたので、(※1)も(※2)も、それで何とかできると思います。

追伸：
今のところ致し方無い。そもそもWindowsじゃなければ、こんな面倒なことはないのだけど。

追伸2：
以下でポート番号を動的にantから取れそうです(参考にさせて頂いたページ)。

 <target name="fileList">
  <script language="javascript">
   <![CDATA[

    ls();

    function ls() {
     var curDir = (new java.io.File("/scala-2.7.5.final/var/scala-devel/scalac-compile-server-port"));
     var list = curDir.listFiles();
     for (var i = 0; i < list.length; i++) {
      print(baseName(list[i].toString()));
     }
    }

    function baseName(path) {
     // var sep = environment["file.separator"];
     var sep = "\\";
     var i = path.lastIndexOf(sep);
     return path.substring(i + 1);
    }

   ]]>
  </script>
 </target>

[Scala] AndroidのHandlerとか

2009-08-17T01:20:00.003+09:00

Scalaでのコーディングにおいては、特別な処理をしないならopsのfutureメソッドで別スレッドで処理を実行、結果は(Android的に正しく)Handlerのpostでメインスレッドに戻すのが正解な気がしています。

、、と思っていたのですが、(futureで作ったかにかかわらないと思うけど)スレッド側でExceptionしててもログに出ない様子？

[Scala] UriMatcher

2009-08-09T03:17:00.004+09:00

ScalaでAndroidプログラミングをして、UriMatcherのmatchメソッドが使えず困った。
結局、matchが予約語だからバッククオート(`)で括ればOKでした。

ふつう、URLのマッチをとってそれを(Scalaだから)さらにmatchでcaseしてゆく、、ので確かに、書きながらややこしいなぁ、とは思っていましたが。

今はAndroid的売り(だと思う)ContentProviderを作ろうとしておりハマり中。マニフェストへ記述したら、なぜかClassNotFoundといわれてアプリごと起動不能に。。

[Scala] JavaからScalaを

2009-07-19T22:58:00.003+09:00

JavaからScalaで作ったクラスを使うサンプル。簡単すぎてか、以外にサンプルが無かったので載せてみる。

konpyuta:~/work/j2s asummer$ cat javaMain.java 
class javaMain {
  public static void main(String[] args){
    scalaConv objScala = new scalaConv(args[0]);
    System.out.println(objScala.getResult());
    System.out.println(objScala);
  }
}
konpyuta:~/work/j2s asummer$ cat scalaConv.scala 
class scalaConv(tmpStr:String){
  val tmpPre = "xxx>";
  def getResult = {
    tmpPre + tmpStr;
  }
  override def toString = {
    tmpPre + tmpStr;
  }
}
konpyuta:~/work/j2s asummer$ javac javaMain.java 
konpyuta:~/work/j2s asummer$ scalac scalaConv.scala
konpyuta:~/work/j2s asummer$ java -cp ~/work/scala/lib/scala-library.jar:. javaMain test
xxx>test
xxx>test
konpyuta:~/work/j2s asummer$

おもいきりシームレス。

[Scala] HT-03AのUSB接続…

2009-07-14T12:53:00.003+09:00

HT-03AをPCにUSBでつなげる際、普通にやるディスクドライブとして自動認識されてしまい、少しはまります。こんな時は、Android開発者MLに流れていたメッセージを参考に、
　・レジストリを消して
　・端末で"設定＞アプリケーション＞開発＞デバッグ"をONに
することで、無事SDK(r2)のUSBドライバにて接続し、デバイス番号が確認できるところまで進みました。でも、もしかすると初めて端末を接続する前に、端末のデバッグをONにしておけばよかったのかも、と思います。

[Scala] Androidアプリ!(センサーの実験など)

2009-07-07T00:09:00.007+09:00

せっかくAndroid端末をGDDでもらったので、yamashitaさんのアプリを以下改造しました。
・せっかくなので売りのセンサーを使って(これは元から)
・自前式では動きが気に食わなかったので物理エンジンを入れて
・最近お気に入りのScalaで焼き直し
・SDKも1.5にして
そして、せっかくなので(汚いソースままですが)公開しておこうと思います(MoveCircle)。

物理エンジンはAPEがある程度Androidに移植されていた(testape2d.zip)ので取り込んでいます)。

でも、SDK1.5のセンサーって、今はシミュレータで実験できないんですね(シミュレータといってもライブラリを入れるタイプで、そのライブラリが1.1仕様ママ)。実機じゃないとテストできないってちょっと。。

[Scala] RichString!

2009-06-25T03:55:00.008+09:00

動作は遅いのかもしれませんが、

      val tmpStr:String = '^'+args(0)+".*";
      val objStr = tmpStr.r;
      println(aryTmp.filter{w => {
        w match {
          case objStr() => { true;}
          case _ => { false; }
        }
      }}(0));

というのが、一行で書けるScalaのRichStringは、やはり魅力です。

      println(aryTmp.filter{x => x.startsWith(args(0))});

特に意識せずに使う文字列型がコレ、というのはしかし、考えようによってはやり過ぎですが。。まぁLLと捉えればまったくありかと。

追伸：
　きちんとsplitなんかもあって。本当にLL感覚でいけて嬉しいです。

[Scala] GAE/JのMemcacheサービス

2009-06-21T16:08:00.006+09:00

Scalaで、なぜかGAE/JのMemcacheサービスをJCacheを経由して使う方法が分からない。
直接APIを使ってよいなら下のソースな感じで大丈夫なのだけど。

import com.google.appengine.api.memcache._

class memcached {
  val cache:MemcacheService = MemcacheServiceFactory.getMemcacheService();

  def setValue(strKey:String,strValue:String) = {
   cache.put(strKey,strValue);    
  }

  def getValue(strKey:String):String = {
   cache.get(strKey).asInstanceOf[String];    
  }

}

JCache経由にしようとしたら、出てしまうエラー。Kってjava.util.MapのKっぽいんだけど解決方法が分からない。。

　～snip～
   [scalac] D:\work\workspace\test\src\com\digipepper\memcached.scala:51: error:
 type mismatch;
   [scalac]  found   : String
   [scalac]  required: K
   [scalac]             cache.put(key, value);
   [scalac]                           ^
　～snip～

お分かりの方は是非コメントください。一部ではGAE/JをPythonで使うべきかJavaで使うべきか、から発展した大変な議論が巻き起こったようですが、私はのんびりとScalaでがんばります。

[Scala] GAE/JのMailサービス

2009-06-20T23:49:00.001+09:00

本文は普通に日本語文章を与えたらOK。サブジェクトだけ自分でいじることにしました。

import java.util.Properties;

import javax.mail.Message;
import javax.mail.Session;
import javax.mail.Transport;
import javax.mail.MessagingException;
import javax.mail.internet.AddressException;
import javax.mail.internet.InternetAddress;
import javax.mail.internet.MimeMessage;
import javax.mail.internet.MimeUtility;

class sendmail(strFrom:String) {

 var props:Properties = new Properties();
 var session:Session = Session.getDefaultInstance(props, null);

  def send(strTo:String, strSubject:String, strBody:String) {
  try {
         var msg:Message = new MimeMessage(session);
         msg.setFrom(new InternetAddress(strFrom));
         msg.addRecipient(Message.RecipientType.TO,
                          new InternetAddress(strTo, "Mr. User"));

         msg.setSubject(MimeUtility.encodeText(strSubject,"iso-2022-jp","B"));
         msg.setText(strBody+"\n");
 
         Transport.send(msg);
     
  } catch {
         case e:AddressException => printf("Exp_A(%s)\n", e.getMessage)
         case e:MessagingException => printf("Exp_B(%s)\n", e.getMessage)
         case e => e.printStackTrace
  }
  }
}

エラー処理とかとても適当ですが、何かの参考に。

[Scala] Eclipse+GAE/Jで最初にやること

2009-06-20T19:54:00.004+09:00

GoogleAppEngineのアプリをEclipse+Scalaで開発するとき、ScalaとGAEのアドオンを入れた最初の状態では、GAEのEnhancerが失敗する(ファイルを保存する度にコンソールで「エンハンスするクラスファイルが見つからない/CLASSPATH変えろ」と言われ続ける)。
そんなときには、"eclipse\plugins\com.google.appengine.eclipse.sdkbundle_1.2.1.v200905131143\appengine-java-sdk-1.2.1\lib\tools\orm"など、GAEのプラグイン内のライブラリフォルダにScalaのライブラリを入れておくことで解決できます。

[Solr] GoSenを修正!

2009-06-14T02:35:00.006+09:00

たぶん、全文検索ライブラリluceneに入った修正(LUCENE-1636)のために、先のgosenセットがtrunkのSolrが起動すら出来なくなっていました(IllegalAccessExceptionがPosFilter初期化時に発生!)。今日までupdateしてなかったので気が付かず。

で、読めないJavaをなんとなく眺め、結局、本体の似たようなFilterのソースと同じ初期方法にかえる(superを呼ぶだけにする)ことで解消できている様子。なので、新lucene-ja-gosenセットとして置いておきます。

よかったー。と直したのはいいけど、結局(Solrの)v1.4はいつ出るんだろう。。。

[Linux] libproxy

2009-06-08T00:11:00.000+09:00

ブラウジングでロケーションが変わるとよく問題となる"Proxy情報(どうやったらインターネットにつなげるの?)の取得"は、当然アプリを自作するときもとても手間な部分です。これをサポートするライブラリが有りました。

via kwout

WPADって規格もあるんですね。

[Scala] GAE/JでJDO!

2009-05-31T03:47:00.002+09:00

GoogleAppEngine/Javaではディスクが無いことからJDO/JPAでのデータ保存が必須です。

これをピュアScalaで(Javaクラスを使わず)やっている例題scalagaeを見つけたのだが、うまく動かず苦労。

原因は「java.lang.VerifyError」が出てしまうことだったのだが、これはJDO実装であるDataNucleusのバグである様子。v1.1.3に入れ替えたら無事に動きました。
具体的には、D:\appengine-java-sdk-1.2.1\lib\tools\ormにあるdatanucleus-enancer-1.1.0.jarが悪いのでdatanucleus-enhancer-1.1.3.jarに入れ替えます。

あと、コマンドラインからGAEにuploadするとき、app_idはscalagae\WEB-INF\appengine-web.xmlに書かれるので、適宜書き換えましょう。

[Scala] GAE/J上でコンパイル!?

2009-05-30T06:19:00.001+09:00

GAE/J上でコンパイル、JDOでバイトコードを保存、それを引き出して実行する、という機構を作ろうプロジェクトを見つけた。動くのかな。

[Scala] PulpCore!

2009-05-29T06:53:00.000+09:00

Javaの2DレンダライブラリであるPlupCoreのScala版があった。何故ソース的に焼き直したのかまったく不明。。

[Scala] Rail@GAE/J!

2009-05-27T00:36:00.003+09:00

JRubyがあるわけなので、出来そうではありますが、普通にありました。すごい。

ちなみに、Python版ではブログアプリ@GAEを見つけたのだが、これのJava版、もっというとScala版は無いものでしょうか。

[Solr] WebService::Solrが

2009-05-24T23:32:00.003+09:00

自前でSolrのレスポンスを、XML::Simple使って解析しようとして四苦八苦していたところ、、ふと思いついて調べてみたら、案の定WebService::Solrなるものが。。

早速書き直してみたところ、SolrのレスポンスのクセxXML::Simpleのクセにやられていた(例外処理ばかりだったコード)が、シンプルにんありました。

最初から調べておけば。。。

追伸：
XMLじゃなくJSONのレスポンスを解析してますね、、なるほどー。そういえば、確かにJSON用CPANモジュールをいっぱいダウンロードしていました(StrawberryPerlさいこうです)。

追伸：
英語の解説ページを発見。

[Lift] より簡素に!

2009-05-17T01:10:00.006+09:00

Liftの勉強をしてます。Webなフレームワークって便利ですね。
snippetで多用するbindについて、The Loopさんを参考に確認を。

まず、以下の書き方がサンプル的に分かりやすいモノ。

VIEW:

    <lift:helloDB.tstForm form="post">
    <testBox:lines>Lines</testBox:lines>
    <testBox:desc>To Do</testBox:desc>
    <testBox:submit>submit</testBox:submit>
    </lift:helloDB.tstForm>

SNIPPET:

    def tstForm(argForm: NodeSeq) = {
        // とりあえずモデルオブジェクトを作成(!)
        val hellom = HelloModel.create;

        // 入力を受け取り保存するかを判断
        def checkAndSave(): Unit = hellom.validate match {
            // S.noticeでに値を出力
            case Nil => hellom.save ; S.notice("Added "+hellom.desc)
            case xs => S.error(xs) ; S.mapSnippet("helloDB.tstForm", doForm)
            // S.redirectTo("/")は不要
            // →何にせよ最後にdoFormしているから(再描画される)
        }

        // テンプレートへバインドする関数
        def doForm(argForm: NodeSeq) = {
            bind("testBox", argForm,
                 //"lines" -> toShow.toString,
                 "lines" -> toShow, // toShowでXMLを返すようにするから
                 "desc" -> hellom.desc.toForm,
                 "submit" -> submit("SAVE", checkAndSave)); // ボタンもタグ必要
        }

        // バインド実行(上の関数を)
        doForm(argForm);
    }

で、これをより簡単に書くと(HTML的な変更点はlabelで囲むこと)。

VIEW:

    <lift:helloDB.tstForm form="post">
    <testBox:lines>Lines</testBox:lines>
    <label for="desc">
        <testBox:desc>To Do</testBox:desc>
    </label>
    <testBox:submit>submit</testBox:submit>
    </lift:helloDB.tstForm>

SNIPPET:

    def tstForm(argForm: NodeSeq): NodeSeq = {
        val hellom = HelloModel.create;

        bind("testBox",argForm,
             "lines" -> toShow, // toShowでXMLを返すようにするから
             "desc" -> SHtml.text(hellom.desc, hellom.desc(_)), // descカラムへ書込み
             "submit" -> SHtml.submit("SAVE", hellom.save)
        )
    }

なるほどー。かっこいい。

[Scala] DynamicVariableとは

2009-05-04T02:52:00.007+09:00

ScalaでDSLということで、DynamicVariableについて勉強中。あの記事においては、大体以下の流れであろうと思う。

・DynamicVariableのインスタンスであるoutは、withValueメソッドの引数で与えられたインスタンスを示すようになる(そのインスタンスに成り代わってしまうイメージ)
・だから、outさんは共に与えられたパスでファイルを開いた_outさんになってしまう
・そして、その与えられたブロック内で呼ばれたwriteメソッドは、オーバライドされたout.value.writeであるので、結局_outさんが書く事になる

うーん。分かったような、分からんような。。withValueメソッドがset(そしてvalueがget)に相当していることは分かった。

なお、ここでwriteが書かれているような、メソッドに渡されるブロック(＝クロージャ?/この表現も間違いな気がします)は、マニュアルではthunkとなっていた。

[Lift] 作ってゆく流れは

2009-05-01T23:56:00.004+09:00

基本的には以下流れ(yoroyoroさんライブコーディング資料から)。

0.コアとなるデータモデルを定義(MappedLongIndexとかをextendsする)
1.そのデータを記入するためのテンプレートを作成(webapp以下)
2.そのテンプレートで使うsnippetを作成(＝入力フォーム)
3.それをBootにPath登録(メニュー化+ACL)
4.見るページのテンプレートを作る
5.そこで必要となるsnippetを作る
6.それをBootにPath登録

1,2,3と4,5,6みたいに、テンプレート作ってsnippet当ててBootに入れる。

追伸：
Liftはやっぱり大きめですね。
sweetというScalaで書かれたフレームワークもあるようで。。

[Scala] jettyが止まらない!?(netbeans)

2009-04-29T02:38:00.001+09:00

ScalaのサポートはEclipseのpluginよりnetbeansのそれのほうが優れている(v6.5.1で見たとき)。
が、netbeansでlift開発をするとき、起動したjettyを落とすことができない、、と思っていたら、やはりissueとして登録されており、暫定対処もある様子なのでメモ。

via kwout

[Scala] システムトレイで

2009-04-25T01:48:00.002+09:00

システムトレイにアイコンを表示して、さらにメッセージボックスに日本語を出す実験。


import java.awt.AWTException;
import java.awt.Image;
import java.awt.MenuItem;
import java.awt.PopupMenu;
import java.awt.SystemTray;
import java.awt.TrayIcon;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import java.io.File;
import java.io.IOException;
import java.util.Calendar;
import java.util.Date;

import javax.imageio.ImageIO;

object Alarm2 {
    var clockImage:Image = ImageIO.read(new File("clock.png"));
    var alarmImage:Image = ImageIO.read(new File("alarm.png"));;
    var icon:TrayIcon = new TrayIcon(clockImage);

    var alarmTime:Date = new Date();

    def main(args : Array[String]){
        var tray:SystemTray = SystemTray.getSystemTray();

        var menu:PopupMenu = new PopupMenu();
        var item:MenuItem = new MenuItem("表示");
        item.addActionListener(new ActionListener() {
                def actionPerformed(event:ActionEvent):Unit = {
           icon.displayMessage("Alarm", "メッセージ!", TrayIcon.MessageType.INFO);
                    println("message was displayed.");
                }
            });
        menu.add(item);
        item = new MenuItem("終了");
        item.addActionListener(new ActionListener() {
                def actionPerformed(event:ActionEvent):Unit = {
                    System.exit(0);
                }
            });
        menu.add(item);

        icon = new TrayIcon(clockImage, "アラーム", menu);
        icon.setImage(alarmImage);

        tray.add(icon);
 }
}

じゃじゃ馬さんを参考に。ちなみに画像も使わせて頂きました(*)。

[Scala] NB6.7とScala

2009-04-19T03:17:00.003+09:00

v6.5ではmavenとの連携が悪い(環境変数を渡せない)ので、まだβではあるがv6.7へ移行。
当初Scalaプラグインが動かず困っていたが、暫定対応版(!?)を発見。

updates.xml.gzはダウンロードするものではなく、NetBeansのツール＞プラグイン＞設定＞追加、で足して使う(使用可能なプラグインにScalaが出てくる)。

今のところv6.5でやれていたメソッド補完などは無事に動いている(Jettyが止まらない現象は(ある意味当然)v6.7にしても出続けているのでかっこ悪いがカスタムターゲットでjetty:stopする作戦をまま踏襲)。

[Solr] GoSenを使う

2009-04-18T21:48:00.014+09:00

Javaで形態素解析ライブラリはもうSenしかない状況、、だと思っていましたが、(ちょっと途中で投げ出されている感はあるものの)GoSenのほうが辞書作成もJavaだけでできる等、整備されていて良さそうです。
ただ、Senはトークナイザだけを提供しているので、Solrで使うにはLucene-jaというのを別途取ってきて、そこに入っている"アナライザ"経由で使わなくてはなりません。
つまり、(Lucene-jaの)アナライザが使うトークナイザを、SenからGoSenに変えればよい。。のですが、GoSenはSenから多少構成が変わっているため「ただjarを入れ替え」るだけでは動きません。

細かくはまた別に書こうと思いますが、hideakiさんのブログを参考に、
・Lucene-ja(のSenTokenizer.javaを)書き換え
・無いと不便なbuild.xmlを作成
としたlucene-ja-gosenセットを作りましたので、上げておきます(JDK6で作ったので5で使うならlib以下にあるgosen.jarとか作り直しかも)。

ちなみに、GoSenでもsen.xmlは必要ですが(厳密にはこれはLucene-ja側で使うファイルなので当たり前)、testdata/dictionary/dictionary.xmlをコピーして使えばOKです。

簡単に使い方を。

1.Lucene-ja-gosenをダウンロードして解凍(DIR-Aとする)
2.中のGoSen.tgzをさらに解凍(DIR-Bとする)
4.DIR-B/testdata/dictionaryへ移動してant(辞書作成)
3.sen/confとディレクトリを掘る
5.そのディレクトリへdictionaryで出来たファイルをコピー
　cp *.sen sen/conf
6.そのディレクトリへ以下リネームしてコピー
　mv dictionary.xml sen/conf/sen.xml
7.動かしたいSolrのWEB-INF/libへ移動して以下コピー(※追加参照)
　cp DIR-A/lucene-ja-gosen*.jar (Solrの)WEB-INF/lib
　cp DIR-B/lib/gosen*.jar (Solrの)WEB-INF/lib
8.ココを参考にSolrのschema.xmlへ組込み(senの場合と全く同じで)

/sen/confは起動時の"-Dsen.home"指定を使いたくないからココにしているだけなので変更は可能です。が、辞書とsen.xmlは同じ場所に置きましょう。

追加：
　手順の7は、Solr自体がbuildできる状態なら、build.xmlと同じディレクトリにあるlib以下にこれらjarを入れておけば、適当に(WEB-INF/libに)はいるようなwarを作ってくれます。

[Lift] JavaRebelを使う

2009-04-18T13:29:00.001+09:00

Liftのアプリに対しても、コンテナをTomcatにすれば、今はやりの(?)JavaRebelを使ってホットデプロイを実現できるらしい。

via kwout

これで開発生産性(この単語は意味を持たなくなってきたけど)はあがりそうです、、、が、よく見るとJavaRebelって商用なんですね。残念。。。

補足：
日本の方が、thick4というのを開発中な様子。

[Life] Liftのサンプル

2009-04-17T03:19:00.002+09:00

ScalaのフレームワークなLiftと格闘中。GAE/Jで動くのはいつの日か。

なかなか説明を読んでも難しく(ゆろよろさんのが一番分かり良いと思う)、かつシンプルなサンプルが少ない(すぐDB連携とか見せちゃう)ので、シンプルなサンプルソースをmvn出来る形でまるっと置いておきます。
特にbootstrapのMenuはくせ者なので(ACL機能の代わりもしちゃう)、その部分、ソースにコメントしてあります。

ちなみに、Mavenでfscを使うには以下です(本家にありました)。
\apache-maven-2.0.9\bin\mvn scala:cc -Donce=true

[Solr] Nutchでサイトクロール

2009-04-16T03:38:00.002+09:00

Solrを使ってサイトクロールを行う方法が、公開されていたので、

Lucid Imagination » Using Nutch with Solr via kwout

やってみた。

Nutchはウェブスパイダーとしてのクロール機能を提供している。内部に分散ファイルシステムたるHadoopを持っていのだが、今回はこれは使わない方法(のようだ)。

- - - -

1. Nutchを<a href="http://hudson.zones.apache.org/hudson/job/Nutch-trunk/">ダウンロード</a>し、解凍する。

　tar xzf apache-nutch-1.0.tar.gz

2. Solrの設定を行う

Nutchの中にはschema.xmlなどSolrを連携して使うためのサンプルの設定ファイルが含まれています。

a. schema.xmlの配置
apache-nutch-1.0/conf to directory apache-solr-1.3.0/example/solr/conf

b. “content”フィールドの設定変更

<field name=”content” type=”text” stored=”true” indexed=”true”/>

c. クローラ用リクエストハンドラの作成

以下をsolrconfig.xmlに追記します。

<requestHandler name="/nutch" class="solr.SearchHandler" >
<lst name="defaults">
<str name="defType">dismax</str>
<str name="echoParams">explicit</str>
<float name="tie">0.01</float>
<str name="qf">
content^0.5 anchor^1.0 title^1.2
</str>
<str name="pf">
content^0.5 anchor^1.5 title^1.2 site^1.5
</str>
<str name="fl">
url
</str>
<str name="mm">
2<-1 5<-2 6<90%
</str>
<int name="ps">100</int>
<bool hl="true"/>
<str name="q.alt">*:*</str>
<str name="hl.fl">title url content</str>
<str name="f.title.hl.fragsize">0</str>
<str name="f.title.hl.alternateField">title</str>
<str name="f.url.hl.fragsize">0</str>
<str name="f.url.hl.alternateField">url</str>
<str name="f.content.hl.fragmenter">regex</str>
</lst>
</requestHandler>

3. Solrを起動しておきます。

cd apache-solr-1.3.0/example
java -jar start.jar

4. Nutchの設定を行います。

a. apache-nutch-1.0/confにあるnutch-site.xmlの中身を以下のものにまるっと入れ替えます。
ここでは、クローラの名前や、有効化するプラグイン、ドメイン単位でみたときの最大同時接続数などを指定します。

<?xml version="1.0"?>
<configuration>
<property>
<name>http.agent.name</name>
<value>nutch-solr-integration</value>
</property>
<property>
<name>generate.max.per.host</name>
<value>100</value>
</property>
<property>
<name>plugin.includes</name>
<value>protocol-http|urlfilter-regex|parse-html|index-(basic|anchor)|query-(basic|site|url)|response-(json|xml)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)</value>
</property>
</configuration>

b. apache-nutch-1.0/confにあるregex-urlfilter.txtの中身を書き換えます。

-^(https|telnet|file|ftp|mailto):

# skip some suffixes
-\.(swf|SWF|doc|DOC|mp3|MP3|WMV|wmv|txt|TXT|rtf|RTF|avi|AVI|m3u|M3U|flv|FLV|WAV|wav|mp4|MP4|avi|AVI|rss|RSS|xml|XML|pdf|PDF|js|JS|gif|GIF|jpg|JPG|png|PNG|ico|ICO|css|sit|eps|wmf|zip|ppt|mpg|xls|gz|rpm|tgz|mov|MOV|exe|jpeg|JPEG|bmp|BMP)$

# skip URLs containing certain characters as probable queries, etc.
-[?*!@=]

# allow urls in foofactory.fi domain
+^http://([a-z0-9\-A-Z]*\.)*lucidimagination.com/

# deny anything else
-.

5. 初期URLリスト(クロール起点)ファイルを作成します。

mkdir urls
echo "http://www.lucidimagination.com/" > urls/seed.txt

6. 初期URLのページをクロールしてNutchのcrawldbに格納します。

bin/nutch inject crawl/crawldb urls

konpyuta:~/work/nutch tf0054$ bin/nutch inject crawl/crawldb urls
Injector: starting
Injector: crawlDb: crawl/crawldb
Injector: urlDir: urls
Injector: Converting injected urls to crawl db entries.
Injector: Merging injected urls into crawl db.
Injector: done
konpyuta:~/work/nutch tf0054$

7. 取得したページを解析してコンテンツを抜き出します。

bin/nutch generate crawl/crawldb crawl/segments

konpyuta:~/work/nutch tf0054$ bin/nutch generate crawl/crawldb crawl/segments
Generator: Selecting best-scoring urls due for fetch.
Generator: starting
Generator: segment: crawl/segments/20090416032246
Generator: filtering: true
Generator: jobtracker is 'local', generating exactly one partition.
Generator: Partitioning selected urls by host, for politeness.
Generator: done.
konpyuta:~/work/nutch tf0054$

上のコマンドで、crawl/segments以下に新たなクロール対象のディレクトリを作成します。 that at this point contains files that store the url(s) to be fetched. In the following commands we need the latest segment dir as parameter so we’ll store it in an environment variable:

export SEGMENT=crawl/segments/`ls -tr crawl/segments|tail -1`

クロールを開始します。

bin/nutch fetch $SEGMENT -noParsing

konpyuta:~/work/nutch tf0054$ bin/nutch fetch $SEGMENT -noParsing
Fetcher: Your 'http.agent.name' value should be listed first in 'http.robots.agents' property.
Fetcher: starting
Fetcher: segment: crawl/segments/20090416032246
Fetcher: threads: 10
QueueFeeder finished: total 1 records.
fetching http://www.lucidimagination.com/
-finishing thread FetcherThread, activeThreads=1
-finishing thread FetcherThread, activeThreads=1
-finishing thread FetcherThread, activeThreads=1
-finishing thread FetcherThread, activeThreads=1
-finishing thread FetcherThread, activeThreads=1
-finishing thread FetcherThread, activeThreads=1
-finishing thread FetcherThread, activeThreads=1
-finishing thread FetcherThread, activeThreads=1
-finishing thread FetcherThread, activeThreads=1
-activeThreads=1, spinWaiting=0, fetchQueues.totalSize=0
-activeThreads=1, spinWaiting=0, fetchQueues.totalSize=0
-finishing thread FetcherThread, activeThreads=0
-activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0
-activeThreads=0
Fetcher: done
konpyuta:~/work/nutch tf0054$

コンテンツをパースします。

bin/nutch parse $SEGMENT

konpyuta:~/work/nutch tf0054$ bin/nutch parse $SEGMENT
konpyuta:~/work/nutch tf0054$

Then I update the Nutch crawldb.
updatedb コマンドを使うと、先にとってきたページのパースと、もうパースされて見つかっているURLページの取得をパイプライン的に並行して行わせることができます。なお、Nutchは取得した各ページの状態を覚えているため、同じページを何度も取得しに行ってしまうことはありません。

bin/nutch updatedb crawl/crawldb $SEGMENT -filter -normalize

konpyuta:~/work/nutch tf0054$ bin/nutch updatedb crawl/crawldb $SEGMENT -f
ilter -normalize
CrawlDb update: starting
CrawlDb update: db: crawl/crawldb
CrawlDb update: segments: [crawl/segments/20090416032246]
CrawlDb update: additions allowed: true
CrawlDb update: URL normalizing: true
CrawlDb update: URL filtering: true
CrawlDb update: Merging segment data into db.
CrawlDb update: done
konpyuta:~/work/nutch tf0054$

これまでが、クロールの1サイクルとなります。

8. linkdbを作る

bin/nutch invertlinks crawl/linkdb -dir crawl/segments

konpyuta:~/work/nutch tf0054$ bin/nutch invertlinks crawl/linkdb -dir crawl/segments

LinkDb: starting
LinkDb: linkdb: crawl/linkdb
LinkDb: URL normalize: true
LinkDb: URL filter: true
LinkDb: adding segment: file:/Users/tf0054/work/nutch-2009-04-15_04-01-57/crawl/segments/20090416032246
LinkDb: done
konpyuta:~/work/nutch tf0054$

9. 全セグメントからSolrにコンテンツを送る

bin/nutch solrindex http://127.0.0.1:8983/solr/ crawl/crawldb crawl/linkdb crawl/segments/*

10. Solrにて検索可能となったか確認する。

http://127.0.0.1:8983/solr/nutch/?q=solr&version=2.2&start=0&rows=10&indent=on&wt=json

- - - - -

[Scala] スクリプト実行!

2009-04-15T19:15:00.004+09:00

Javaで要求される杓子定規な、というか精緻な記述が省けるだけでもScalaを利用する価値はあるというものだが、さらにスクリプト実行(コンパイルして.classを作ってからじゃなく)できるとその価値はより高くなる。

以下、Windowsでスクリプト実行する場合(test.batなどとして保存されることを想定)。

::#!
@echo off
call c:\scala-2.7.4.final\bin\scala %0 %*
goto :eof
::!#

class HelloFunction {
    def apply() = "hello" 
    def apply(name: String) = "hello " + name
}

// メソッド省略の例
val hello = new HelloFunction
println(hello())        // => "hello"
println(hello("Dean"))  // => "hello Dean"

// コマンドライン引数処理の例
for(i <- 1 to (args.length)){
    print(i + ",");
}

[Java] SenよりもGoSen?

2009-04-12T03:30:00.008+09:00

ちょっと前に見たSenは、しかしバグ付きだという噂だし、どうしたものかと思っていたら、GoSenというのもあるらしい。

PerlやJCLからの依存性を排除したとのことだが、しかし、これも本家のURLがNotFoundで、、どうもJavaでこの手のアプリは保守するのが面倒になるものなのか(CMeCabの中にあるような、辞書不要のタイプもある)。

書きながら調べていたら、早速(Senよか治ってるようだけど)バグ情報も。あとLucene対応の書換えについて。

[Life] GAE/Javaとは

2009-04-11T04:14:00.002+09:00

Javaのアカウントが来たので、Liftの稼働実験をしつつ、@ITの記事を読む。
昨日まで「負荷による拡張はgoogleさんがよしなにやってくれる」という言説の意味(どうやって水平分散に回せているのか)が、まったく分からなかったのだけど、やっと理解。
シングルスレッドだからですね。
ウェブからの各アクセスを一筆的に考えると、確かに途中で抜けられたりしなければ、筐体が分かれてても(2本の干渉が無いから)ざーっと勝手に流れて行って問題ないんですね。。なるほど。というか確かに。

追伸：
面白い潜入調査をしている方がいた。あと、mavenからの操作も出来るようになった。

[Lift] derbyの中を調べる

2009-04-09T04:05:00.000+09:00

[Scala] 遅延評価の例

2009-04-02T23:01:00.000+09:00

Scalaで遅延評価。引数の型指定部分で":"の後ろに"=>"を挟み込むことで指示できる(参考)。

#!/bin/bash
exec ~/work/scala/bin/scala "$0" "$@"
!#

def until(f: => Boolean)(p: => Unit) {
        while (!f) p
}

var i = 0
until (i > 10) {
        print(i + " ")
        i += 1
}
println

この例で遅延評価を外す("until(f:Boolean)"とやる)と、
・最初に"i>10(でi=0)"がfalseと評価される
・その結果(false)がuntil関数に渡ってしまう
ため、(trueと渡って来たものを再評価できるわけもなく)無限ループに陥ってしまいます。

なお、"(p: => Unit)"もその意味では遅延評価の指定がなされている、つまり「関数とは要するに引数付き遅延評価式で」ということで、具体的にはココを"(p:Unit)"とすると、
・1回だけuntilに渡したブロック(printとか)を処理して
・戻値が無い(Unitな)whileが回り続ける(iは1になったが以後そのまま)
状態に陥ってしまう。なのでここでも遅延評価が活躍している(んだと思う)。

[Linux] JMX/REST変換

2009-03-30T03:51:00.001+09:00

TomcatのManagerにもJMXProxyがあるのでそれで良いような気はしますが、こんなのもあるようです。

via kwout

ダウンロードからは何も取れないですが、ソースのところをくだるとありそう。

[Life] ScalaでSolrj!

2009-03-22T23:26:00.007+09:00

下のソースで、以下条件下にて、
　・Solr(v1.4-dev/今のtrunk)のサーバ相手に
　・Solr(v1.3)のsolrjライブラリで
実行すれば、ABROADのスポット情報1件をインターネットから取得してうまく日本語も投入してくれることを確認しました。

なぜv1.4のsolrjを組み込むとうまく動かないのか。。(補足:SOLR-973にタイムリーにはまっていたようで、今updateしたらサーバもsolrjもv1.4で正常動作しました!)


// >\scala-2.7.3.fin\bin\scalac -cp c:\apache-solr-1.3.0\dist\solrj-lib\commons-httpclient-3.1.jar;c:\apache-solr-1.3.0\dist\apache-solr-solrj-1.3.0.jar;c:\apache-solr-1.3.0\dist\apache-solr-core-1.3.0.jar;c:\apache-solr-1.3.0\dist\apache-solr-common-1.3.0.jar getAB.scala
// >\scala-2.7.3.fin\bin\scala -cp .;c:\apache-solr-1.3.0\dist\solrj-lib\commons-httpclient-3.1.jar;c:\apache-solr-1.3.0\dist\apache-solr-solrj-1.3.0.jar;c:\apache-solr-1.3.0\dist\apache-solr-core-1.3.0.jar;c:\apache-solr-1.3.0\dist\apache-solr-common-1.3.0.jar;c:\apache-solr-1.3.0\dist\solrj-lib\commons-logging-1.0.4.jar;c:\apache-solr-1.3.0\dist\solrj-lib\commons-codec-1.3.jar getAB

import java.util.ArrayList;
import java.util.Collection;

import scala.xml.parsing.ConstructingParser;
import scala.io.Source;
import scala.xml.PrettyPrinter;

import org.apache.solr.client.solrj.SolrServer;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.impl.CommonsHttpSolrServer;
import org.apache.solr.common.SolrInputDocument;

object getAB {
  def main(args : Array[String]) {

 var solr = new CommonsHttpSolrServer("http://localhost:8983/solr");
    val url = "http://webservice.recruit.co.jp/ab-road/spot/v1/?key=xxx4e359bbbbe6f4&spot=000921";

    val data = Source.fromURL(url,"UTF-8");
    val elem = ConstructingParser.fromSource(data,true).document().docElem;

 var tmp1:String = (elem\"spot"\"description").text;
 //var tmp1:String = new PrettyPrinter(80 /*width*/, 2 /*indent*/).format(elem);
 //String変数(tmp1)から(UTF8エンコードな)バイトストリームで取り出し(そこから)UTF8のStringを作る
 var tmp2:String = new String(tmp1.getBytes("UTF-8"),"UTF-8");
 var tmp3:String = new String(tmp2.getBytes("MS932"),"MS932");

 //System.out.println( "ORG:\n"+tmp1 );
 System.out.println( "UTF8:\n"+tmp2 );
 System.out.println( "SJIS:\n"+tmp3 );

 var doc1 :SolrInputDocument = new SolrInputDocument();
 doc1.addField("id", "id1", 1.0f);
 doc1.addField("name", "doc1", 1.0f);
 doc1.addField("price", 10);

 var doc2 :SolrInputDocument = new SolrInputDocument();
 doc2.addField("id", "id2", 1.0f);
 doc2.addField("name", "doc2", 1.0f);
 doc2.addField("price", 20);
 doc2.addField("desc_t", tmp2);

 var docs :Collection[SolrInputDocument] = new ArrayList[SolrInputDocument]();
 docs.add(doc1);
 docs.add(doc2);

 solr.add(docs);
 solr.commit();
  }
}

お恥ずかしくも、Scalaっぽくはまったく無い書きっぷりですが、これでもJavaよりはだいぶ記述量が少ない気がします。

追伸：
　リクルートwebAPIを使うときのキーは、(ソースには)ダミーを入れています。

[Life] ScalaでJSP!

2009-03-20T07:39:00.005+09:00

ScalaのXMLサポートを実装した"Burak Emir"さんの書かれた"ScalaでJSP(@Tomcat)"(改題)を参考に。ソースにはantのbuildが付いているので、これを使うと楽に準備できる。私は、

tomcat.home = D:\\apache-tomcat-5.5.27
servlet-api.jar = ${tomcat.home}/common/lib/servlet-api.jar

scala.home = D:\\scala-2.7.2.final
scala-library.jar = ${scala.home}/lib/scala-library.jar
scala-compiler.jar = ${scala.home}/lib/scala-compiler.jar

として実行しました。なお、以下ライブラリは「1フォルダにまるっと集めて、そこにCLASSPATH通してantしてね」とあったのでその通りに。

　・fjbg.jar(これは何?→何故か入っていなかったのでダウンロード)
　・tools.jar(JDKの中にあるライブラリ)
　・scala.jar(不明→scala-compiler.jarをコピーした)

結構すんなり。ScalaでウェブといえばWebFlavorやliftまで行ってしまう感がありましたが、これならお手軽ですね。

[Linux] EC2の管理ツール

2009-03-19T02:23:00.002+09:00

メモっていたつもりが、書いていなかったので今更ながら。

RightScaleでは、動的にサーバ台数を増やしてゆく仕組み(RightScriptというマクロ的なもので実現する様子)を提供。
そのOSSとしてScalarというのが公開(元は商用)されているので、こっちをカスタマイズするのとどっちが便利か。

でもどちらにせよ"遠い向こうでインスタンスを上げる"というのが普通な世界になってきましたね。

[Java] commons-fileuploadで受け取る

2009-03-18T22:23:00.004+09:00

curlを使って、apacheのcommon-uploadで受信できる形で送信する方法。

D:\work\curl-7.16.2>curl -F "name=@test.xml" http://192.168.11.150:20050/uploader

nameのところは何でもよい(参考)。Windows版のcurlはここからダウンロードできます。

[Solr] wgetでPOSTする

2009-03-13T03:51:00.004+09:00

以前Solrにデータ投入をする際にはcurlを使っていた(本家でもそうしていた)。
が、これは普通にwgetでも出来るんですね。

wget -q -O - --header "Content-type:text/xml; charset=utf-8" --post-file="/var/tmp/test.xml" http://localhost:20050/apache-solr-1.3.0/update

curlって、いっても標準では入っていない環境も多いので(参考ページ)。

[GoogleMap] マイマップとGoogleMapAPIと

2009-03-09T00:57:00.003+09:00

GoogleMapのマイマップ機能はとても使いやすく、ちょろっとしたイベントの地図を作るのにベスト。だけれど、中にルート案内と作者(のマイマップへのリンク)が表示されてしまうのが玉に傷か。
これが嫌なときは、一度rss(georss/マイマップのツールバー、"GoogleEarthで表示"の左隣にある)を経由して、それをAPIで使えばよい、、のだけど、そうするとせっかく変えたアイコンが、全て同じ青いピンのに変えられてしまう様子(でもこれは仕様っぽい)。
うーん。やっぱりキチンと自前ですしょうか。

[MT] カスタムフィールド

2009-03-08T10:42:00.000+09:00

MovableType4.1から入ったカスタムフィールドは、エクスポート機能では取り出せない様子。DBのmt_entryテーブルからとろうとしたのだが、バイナリ列で連結されており。。

ただ、入力値は普通に入っているので、Perlなどで丸呑みし、無理やり置き換えは可能。
手動で投入したときは(mt_entry_idの)シーケンス上げを忘れずに。

[Scala] Twitterの移行について

2009-03-07T11:08:00.001+09:00

ずいぶん前の話題だが、TwitterのバックヤードScala化に関する記事の要点整理をしてみた。

＞＞前提

Twitterは、フロントはRailsに依存しており、逆にOffload観点から、キャッシュの失効処理等に、キューイングの仕組みを使った非同期処理が多数あり、それだけデーモンアプリが必要となるシステム構成。

＞＞なぜ移行？(システム的理由)

RubyはGreenThreadでカーネルスレッドを使うことはできず、プロセッサに依存してしまい、マルチコア環境での性能が出ない。これに対処するため複数プロセスを上げる方向に行くのだが、そうなるとメモリが大量に必要となり、さらにRubyのガベコレ性能が(Javaのそれに比べて)悪いこともあり、限界を感じていた。

(これに対し)JVMは、スクリプト言語が苦手とする長時間動かし続けるデーモンアプリを書く環境として適切。

また、動的型付けにより必要となる「型確認」の計算量が莫大になっていたという問題もあった。たとえば障害復旧時の処理時間が長くなりすぎていた。

JRubyへの移行も考えたが、オリジナルレベルのパフォーマンスは出ないこと、またそもそもRailsが動かなかったことから不採用とした。ただし将来的に再考の余地はあると考えている。

パフォーマンスという観点では、mutableとimmutableに注意すること。JITコンパイラはimmutableなオブジェクト(状態変化がない≒必然的にスレッドセーフとなる)であれば、最適化してゆくことができる。

＞＞なぜ移行？(その他の理由)

これまでのエンタープライズな職場を去ったあと、楽しく書いてゆきたい(表現してゆきたい)という理由から、(書いていてつまらない言語(C++など)を卒業し)Ruby等の高級言語に転向するプログラマをたくさん見てきた。

＞＞移行してどうだったか

とても上手くいった(性能向上及び動作安定化の観点から)。

静的型付けは、(Rubyでもわざわざ型宣言を使っていた位だから)まったく手間ではなかった。

actor部分とハイスケーラビリティを確保するところでいくつか問題が出たが、致命的なものはまったく無かった(良い意味で想定外)。

actorでの並列処理の記述はクライアントからの接続を受ける部分などを中心に極めて有効であった。

(中を再考している過程で)逆にactorまでは必要とせず、逆にthreadのほうが適している場合もあることが分かった。そしてこのときでも、(actorを)threadに書き戻すことは置換するレベルでありとても簡単だった(書き換えでいうと、普通にlockすればいいだけという場合も)。

いくつかパフォーマンス観点からJavaのクラスを直接利用する場面があったが、このようなことができることもScalaの利点だ。

＞＞切り替えで気をつけることは

関数型という考え方になれること(メンタリティ)。ただしこれは使っているうちに慣れてくる部分が大きい。その意味でもすぐにビジネスが絡むシステムに使うのではなくスタートアップで利用してゆくべき。

(型やその中身ベースでの)パターンマッチを使いこなせることは、効率的記述を行うためにとても重要だ。

IDEがモノによっては(Scalaの)サポートが完全ではないため注意が必要。TwitterではIntelliJとEmacsのそれを使っている。

インタプリタではなくcompile-deployが必要になることも、(慣れの問題かもしれないが)いらいらさせる原因となりうる。この点はProjectごとにケアが必要だとはいえ、JavaRebelを使えば解決できる。

＞＞その他

Scalaを選択する決断をするまでには煩悶してきた。でも(Rubyを使ってきた我々が)C++などの中級言語に移行することは、とても大きなリスクを負うことになり、かつ困難を伴うと判断した。

2009年度内には、メインどころのトラフィックを稼いでいるAPIをScalaベースに切り替える予定。

[Perl] デーモンプログラムを書くには

2009-02-22T23:56:00.003+09:00

今まで全く読んだ事がなかった"perlfaq8"より。

psコマンドなど、外部から見えるコマンドラインを実際に書き換えるには、$0変数を書き換える。

例えばsendmailのようなデーモンプログラムは以下ように状態を設定する:
$0 = "orcus [accepting connections]";

なるほどー。そんなことができるんだ。。

ちなみに、デーモンプログラムというかapache的なデーモンを書くためには、Parallel::Preforkがとても便利です(中で使われているProc::Wait3というのは初めて知りました)。

[Life] XMLをコマンドラインで

2009-02-20T20:47:00.000+09:00

GUIが使えるときは、折り畳めるエディタを使えばよいのだが、ターミナル操作のときにXMLで書かれたファイルの記述を確認するのは、とても難儀する。。。

と思っていたらxpathコマンドを発見。以下のように使う。

D:\apache-solr-trunk\example\solr\conf>xpath schema.xml "(//fieldtype|//fieldType)/@name"

これにより、この例ではsolrのスキーマに設定されいてるフィールドに与えられる型一覧を取得することが出来る。便利！

[Java] Senのバグ

2009-02-19T01:07:00.003+09:00

Javaで形態素解析をするときに、使われるSenだが本家からダウンロードできるオリジナルソースはバグ付き。これはgnarlさんのページに修正方法が詳しく記載されている様子。

[Linux] googleクローラはJavascriptが読める

2009-02-14T02:34:00.001+09:00

googleのクローラがJavascriptに対応していそう、という記事を発見。

via kwout

常識でしょうか。私は知りませんでした。。当然の流れとは言え、すごいことだと思います。Flashが読まれるようになったことは知っていて、こちらは奏すべきだろうと思いましたが。。

[Flash] PixelBlender

2009-02-13T01:49:00.005+09:00

Flasherな人にしたらいまさらな話なのだと思うが、PixelBlenderがすごい。

画像にぷるん、とした動きをさせたいと思っていたのが、もろできるようです。
というかこういうのを思いのままに作れるというのであれば(センスは相当必要とされそうだけど)、かなり勉強する価値ありそう。

[Linux] Kirin

2009-01-25T04:31:00.000+09:00

相当今更感があるのですが、Kirinという画像のリサイズなどが行える、画像変換のWebAPIを使ってみました。アプリキーをもらってから使うものなのですが、、説明に書かれている"呼び出し元サーバ名"って、、変換したい元画像が置いてあるサイトのドメイン名を書くのですね。。。うーん。

via kwout

たまたまGIF画像のリサイズをしてみたので気がついたのですが、戻しはJPGなんですね(JPGのコメントにはしっかり"Kirin Library 1.11 2009/01/25 0"と入っていました)。

[Scala] TwitterもScalaで

2009-01-20T08:16:00.000+09:00

Twitterでユーザ間のメッセージ送受信を実装するために使っている(のであろう)、キューイングシステムが、Rubyから(!)いつのまにかScalaにて書き直された、とのこと。その上これはソースも公開されているので、ぜひ勉強がてら読んでみたい(最近githubが増えてきましたね9。

[Perl] 携帯サイトのアクセス分析!

2009-01-20T02:09:00.013+09:00

MovableTypeを携帯対応する一番簡単な方法は、mt4iなわけですが、このアクセス解析をapacheログでやるのも面倒に思いました。
なので、最近出たGA4Kという、GoogleAnalyticsに携帯アクセスを流すPHPライブラリ(まぁ原理的にはココでも紹介されているとおり、たいしたことはないのですが)を、Perlモジュールに作り変えてみました(以下ソース。ウェブプロパティID(utmac)とウェブサイトURL(utmhn)は書き換えてください!)。

#
# This code is test module for k-tai web site (ex mt4i)
#
package Onamon;

sub accessGoogleAnalystics{

use Sys::Syslog;
require HTTP::Request;
require LWP::UserAgent;

my $utmac   = 'UA-179xxxx-2';
my $utmhn   = 'http://onamon.com';
my $utmn    = 1000000000 + rand(9999999999 - 1000000000);
my $cookie  = '';
my $uservar = '';
my $random  = 1000000000 + rand(2147483647 - 1000000000);
my $today   = time();
my $referer = $ENV{'HTTP_REFERER'};
my $utmp    = $ENV{'REQUEST_URI'};

if($ENV{'HTTP_X_UP_SUBNO'}){
        $uservar = $ENV{'HTTP_X_UP_SUBNO'};
}elsif($ENV{'HTTP_X_DCMGUID'}){
        $uservar = $ENV{'HTTP_X_DCMGUID'};
}elsif($ENV{'HTTP_X_JPHONE_UID'}){
        $uservar = $ENV{'HTTP_X_JPHONE_UID'};
}
$cookie = $uservar;

my $urchinUrl = 'http://www.google-analytics.com/__utm.gif?utmwv=1&utmn='.$utmn.'&utmsr=-&utmsc=-&utmul=-&utmje=0&utmfl=-&utmdt=-&utmhn='.$utmhn.'&utmr='.$referer.'&utmp='.$utmp.'&utmac='.$utmac.'&utmcc=__utma%3D'.$cookie.'.'.$random.'.'.$today.'.'.$today.'.'.$today.'.2%3B%2B__utmb%3D'.$cookie.'%3B%2B__utmc%3D'.$cookie.'%3B%2B__utmz%3D'.$cookie.'.'.$today.'.2.2.utmccn%3D(direct)%7Cutmcsr%3D(direct)%7Cutmcmd%3D(none)%3B%2B__utmv%3D'.$cookie.'.'.$uservar.'%3B';

my $ua = LWP::UserAgent->new;
my $request = HTTP::Request->new(GET => $urchinUrl);
if ($ENV{'HTTP_ACCEPT_LANGUAGE'}) {
        $request->header('Accept-language' => $ENV{'HTTP_ACCEPT_LANGUAGE'});
}
if ($ENV{'HTTP_USER_AGENT'}) {
        $request->header('User-Agent' => $ENV{'HTTP_USER_AGENT'});
}
my $response = $ua->request($request);

openlog(__FILE__, 'cons,pid', 'local4');
if ($response->is_success) {
        syslog('debug', 'OK('
                .$ENV{'REQUEST_URI'}
                .'^'.$ENV{'HTTP_USER_AGENT'}
                .'^'.$ENV{'HTTP_X_DCMGUID'}
                .')'
        );
} else {
        syslog('debug', 'NG');
}
closelog();
}
1;

汚い、というか何も考えていないソースで恥ずかしいですが、一応。mt4iに適用するなら、mt4i.cgiと同じディレクトリに上記ソースをOnamon.pmとして保存し、mt4i.cgiの最初のほうに、

～略～
use FindBin qw($Bin);
use List::Util qw(first);
use HTTP::Date;
use CGI::Carp qw(fatalsToBrowser);

# ★ここから
use Onamon;
if($ENV{'REQUEST_URI'} !~ /(png|jpg)$/){
        Onamon::accessGoogleAnalystics();
}
# ★ここまで

my $bin;
my $log_pl;
our %cfg;

BEGIN {
～以下略～

と足します。お名紋と贈り物ブログに適用してみたのですが、、果たして動くことやら。

[Perl] CTPP2テンプレートエンジン

2009-01-18T19:37:00.000+09:00

CPANのPerlモジュールがひたすらupdateされていて、頑張っている感のあるテンプレートエンジン(C++で書かれていて各種言語でバインディング可能なもの)。

via kwout

気になるのでメモ(Perlのモジュールはコチラ)。

[Flash] JPEG格納フォーマット

2009-01-10T23:58:00.002+09:00

以下ページに良くまとまっている。

via kwout

こられとやまさんページのFlashをswfmillで解析中(珍しくFlashLite1.1で出来たスライドショー)。

[Life] XMLファイルをきちんと扱う

2009-01-05T23:32:00.001+09:00

最近ミドルウェアの設定ファイルをXMLで書かなくてはならないことが多くなってきた。
可読性が意外と低いので、きちんとXMLを解釈して折りたたみなどができるエディタを探していたのだが、とりあえずjEditでできることまでわかった。

Pluginが1つ必要(その名もXMLというやつ)なのだが、PluginマネージャというGUIでさくっとインストールできる。

希望していた動きをするので、今しばらくはこれで行こうと思う。

[Solr] 日本語解析には

2008-12-29T09:25:00.004+09:00

cmecab-java、本当はMeCabをJavaから使うためのバインディング(本家のmecab-javaをSWIG使わず実装したもの)なのだけど、中にSolr用のファクトリクラスが含まれていることに注目すべし。

via kwout

Java記述がv1.6系向けで、まだv1.5系の場合は少し書き換えが必要になる(MecabExceptionで2つメソッドを消した/string型のisEmptyをnull比較に変更)のですが、なんとか無事Solr(v1.3)から使えるようになりました。

あ、あとMacでコンパイルする場合、Makefileが合わないのでシアノさんのページを見ながら書き換えること、また、標準Javaのエンコード指定が何故かSJISなので、"-D file.encoding=UTF-8"とする必要があります。

参考：ハタさんのブログ

[life] ソースをハイライト

2008-12-21T22:38:00.000+09:00

ブログにソースを張るときに。

via kwout

[Solr] SpellCheckComponent

2008-12-19T22:58:00.003+09:00

Solrには「もしかして検索」を実装するのに使えそうなSpellCheckComponentというコンポーネントがあるが、日本語は何故か使えない様子(出所はIBMの開発者向けページ/いつも質が高く関心する)。
Lukeで見るところ、SpellCheck用フィールドのトークナイザをMeCabにしているから、当然キチンとword及びstart3なんかにも、想定した切り方で入っているようだが。。
問題はクエリ側か？

参考:LingPipe, Wiki

[Life] userchrome.jsの練習で

2008-12-14T01:04:00.001+09:00

すばらしい先達。これから(も)勉強できそう。

clipped from www.code-404.net

[Life] XULの情報元!

2008-12-03T02:41:00.002+09:00

Firefoxの拡張(userChromeのだけど)を改訂したくて、XULのチュートリアルを探していた。しかしそもそもマニアックなので書籍など期待できないな、と思っていたら、、、なんとウェブ上にとてもしっかりとした情報が公開されていました。

via kwout

本当に、こういう活動には頭が下がります(しかし、本家のチュートリアルも日本語で充実してました。もう実は至れり尽くせり!?)。
あれ？でもFirefox2と3で少しは違うのかな。

[S3] junglediskの次

2008-12-02T02:23:00.001+09:00

CUIのツールを探していて、s3cmdが便利そう。pythonで書かれている。

via kwout

"--configure"で設定ファイルを書くウイザードになる親切設計。

[Linux] apacheの内部構造

2008-12-01T04:37:00.001+09:00

1999年当時のものと古いですが、apacheの内部構造が説明された論文(?)を見つけました。

via kwout

[PgSQL] セッションの切断方法

2008-11-30T22:54:00.003+09:00

PostgreSQLは、DBサーバとしてクライアントのセッションについてタイムアウトをかけない。このため、さすがにちょっとセッションが多すぎるな、とDBAが思ったとして、今度はセッションを切断する方法がよくわからない。。
と思ったら、管理者向け関数の中にあるpg_cancel_backend(pid int)というやつが役に立つようだ。これをpsqlからざくっと発行すれば、セッションは殺せるらしい(PostgisのMLより)。

SELECT pg_cancel_backend(5220);

なるほどね。

[Solr] jQueryのSolrプラグイン

2008-11-26T22:56:00.001+09:00

すばらしい!

[Java] 性能試験のときなどに

2008-11-24T06:14:00.001+09:00

Javaアプリは、性能に関係するパラメータが多すぎてよくわからない。なので試験時に如何にうまく、多くの情報を得て分析できるかが肝要だと思います。
これまで、JVMの情報をSNMPで取れることは知っていて、これを細々とZABBIXでグラフ化したり、少し前からzapcatを知ったのでそれを用いてTomcatのスレッド挙動を見たりしていました。
そして今日、今更ながらzapcatのzipファイルの中に「Javaテンプレート」が入っていることを発見しました。これは偶然、ファイルディスクリプタの消費って取れないのかな？と調べていた中で見つけました。
早速入れてみたのですが、なんかいっぱい取れすぎて、、でもこういう、先人の知恵(?)から学ぶことは大きいので、ちょっとづつ内容を確認してゆこうと思います。

でも、、灯台元暗しというか。。

[Life] userChrome

2008-11-20T04:02:00.000+09:00

httpヘッダに入ってくるデバッグ用の拡張httpヘッダを探すのに疲れたので、、LiveHeadersなんかを使わず画面上にそれとなく、そのデバック情報を表示してくれるような機能を、(今更ながら)Firefoxの拡張として、userChromeを使って書いてみた。画面上はで想定する動きになったので、次はステータスバーかメニューにoff/onスイッチを付けたい。

そもそもJavascriptが苦手ですが、意外に書けるもので、調子にのってこの苦手も克服できるよう、Javascriptの開発環境を整備してみようか、と考えています。

今回はuserChromeを使ってみたのですが、それより前からある(?)JavascriptActionsというやつと、どっちがどう(良い)のか。知りたいです。

[Life] MS-Accessの調査で

2008-11-18T12:28:00.003+09:00

MS-Accessから、クエリ名とSQLの一覧を取得するVBAスクリプト(Cドライブ直下にlog.txtという名前でファイルアウトします)。

Option Compare Database

Public Sub MyQueryName()

On Error GoTo エラー

    Dim Cat As ADOX.Catalog
    Dim viw As ADOX.View
    Dim pcd As ADOX.Procedure
    Dim strmsg As String

    ' ファイルハンドルオープン
    Open "C:\log.txt" For Output As #1

    Set Cat = New ADOX.Catalog
    Cat.ActiveConnection = CurrentProject.Connection 'カレントデータベースに接続

    For Each viw In Cat.Views ' --- A
        strmsg = strmsg & vbNewLine & "[v] " & viw.Name & "^" & viw.Command.CommandText
    Next viw

    For Each pcd In Cat.Procedures ' --- B
        If Left(pcd.Name, 1) <> "~" Then ' --- C
            strmsg = strmsg & vbNewLine & "[p] " & pcd.Name & "^" & pcd.Command.CommandText
        End If
    Next pcd

    Print #1, strmsg
    ' ファイルハンドルクローズ
    Close #1

    MsgBox "end."
    Set Cat = Nothing

    Exit Sub

エラー:

    MsgBox Err.Number & vbNewLine & Err.Description, vbCritical
    Exit Sub

End Sub

[Solr] Normとは

2008-11-15T04:23:00.008+09:00

Normとはノルムと読み、(Luceneや)Solrでは、検索対象文章の重要度(例/一覧表示するときなど)を決める要素のこと。

たとえばLength-Nornとは「各単語が含まれている文章が長い場合と、短い文章である場合は、後者のほうが(その単語が)、当該文章において重要である(≒その文章の特徴をあらわすものである可能性が高い)」ということを表現する情報のこと。

これ以外に、各文書や(その中の)フィールドがそれぞれ指定されうるブースト値も、この中に含まれます。

なお、よく混同される単語にNormalize(ノーマライズ/Normってこの略かと思いがち)があり、これは広くは正規化処理のことで、こと検索エンジンの世界(?)では、文章を格納するとき(後で使いやすいよう)、半角カナ→全角カナ、だったり、全角アルファベットを半角のそれに統一する処理をいいます。

。。。と調べようと思っていたら、Luceneのスコアリング解析というドンピシャなまとまったpdfが公開されていた。