日々精進

DSpaceにて日本語N-gramを実現する。 具体的にはCJKTokenizerを使うだけだけど。

準備

まず、作業をしやすくするために、環境変数を追加する。

# vi /etc/profile

export DSPACE_SOURCE=/home/dspace/dspace-1.6.0-src-release
exourt DSPACE_HOME=/usr/local/dspace

# source /etc/profile

DSpaceソースの変更

luceneのソースファイルを手に入れる。

# cd /usr/local/src
# wget http://archive.apache.org/dist/lucene/java/lucene-2.9.2-src.tar.gz
# tar zxvf lucene-2.9.2-src.tar.gz

DSpaceのDSTokenizer.javaをCJKTokenizer.javaと入れ替える。また、合わせて幾つかのソースファイルを変更する。

# cd $DSPACE_SOURCE/dspace-api/src/main/java/org/dspace/search/
# mv DSTokenizer.java DSTokenizer.java.bak
# cp /usr/local/src/lucene-2.9.2/contrib/analyzers/common/src/java/org/apache/lucene/analysis/cjk/CJKTokenizer.java .
# mv CJKTokenizer.java DSTokenizer.java

リネームしたCJKTokenizer.javaを書き換える。まず、パッケージを変更する。

# vi DSTokenizer.java
package org.dspace.search;
//package org.apache.lucene.analysis.cjk;

また、ファイル内のCJKTokenizerをDSTokenizerに置換する。

つぎに、DSAnalyzer.javaを書き換える。

# vi DSAnalyzer.java


 /*
     * Create a token stream for this analyzer.
     */
    public final TokenStream tokenStream(String fieldName, final Reader reader)
    {
        TokenStream result = new DSTokenizer(reader);

        result = new StandardFilter(result);
        result = new LowerCaseFilter(result);
        result = new StopFilter(result, stopSet);
        result = new PorterStemFilter(result);
        //追加
        result = new StopFilter(result, new String[] {""});

        return result;
    }

DSpaceのリビルドと索引の作成

あとは、DSpaceをリビルド。

# cd $DSPACE_SOURCE/dspace/target/dspace-1.6.0-build.dir/
# ant -Dconfig=$DSPACE_HOME/config/dspace.cfg update

索引を再作成する。

# cd $DSPACE_HOME
# bin/index-update
Creating browse index
Creating search index
#

これで、日本語全文検索が可能となった。はず。

User Registrationにて発生していたInternal Error。DspaceとTomcatの両方のログにはエラーが表示されず困っていたが、結局、読み込まれているJavaMailのバージョンが古いことが理由だった。

# pwd
/var/lib/tomcat5/common/lib
# ls -all \[javamail\].jar
lrwxrwxrwx 1 root root 28 Apr  4 08:04 [javamail].jar -> /usr/share/java/javamail.jar
# ls -all /usr/share/java/javamail.jar
lrwxrwxrwx 1 root root 26 Mar 26 18:37 /usr/share/java/javamail.jar -> /etc/alternatives/javamail
# ls -all /etc/alternatives/javamail
lrwxrwxrwx 1 root root 52 Mar 26 18:37 /etc/alternatives/javamail -> /usr/share/java/classpathx-mail-1.3.1-monolithic.jar

CentOS5.4にインストールされているJavaMailのバージョンは1.3.1。Dspaceに含まれているものよりも古い。このシンボリックリンクを削除することでエラーが発生しなくなり、無事メールが送信されるようになった。