kuromojiに最新のNEologdを組み込んでみた。

はじめに

ちょいと野暮用に使おうと思い、Apache Solr 8.5.2(※この記事を最初に書いた時点(2020年6月)における最新版です。)に最新のNEologdを組み込むためのパッチを作成しました(動作は未確認ですが、ここ(GitHub)に置いてあります。)。

…が、今回の野暮用は品詞分解ができて名詞が抽出できさえすればよいので、前回Apache Solr用のパッチを作った時ほど大掛かりな準備を必要としなさそうなことにパッチを作った後に気が付いてしまいました。

そこで、Apache Solr 8.5.2用に作ったパッチを使ってkuromoji本体に対して最新のNEologdを組み込むためのパッチを作成してkuromojiのみをビルドし、出来上がったJARファイルを開発予定のコードから呼び出す方法により使うことにしました。

この記事では最新のNEologdを組み込んだJARファイルができるまでの顛末について書きます。

作成したパッチ

作成したパッチは以下の2個です。

1. kuromojiに対して適用するパッチ。
2. GitHubから取得した最新のNEologdに対して適用するパッチ。

kuromojiに対して適用するパッチ

以下の通りです。GitHub Gistに置いてあります。

	--- /dev/null 2020-06-19 08:45:04.478343399 +0900
	+++ kuromoji/kuromoji-ipadic-neologd/ymd.sh 2020-06-19 13:42:58.453048740 +0900
	@@ -0,0 +1,4 @@
	+#!/bin/sh
	+BUILD_DIR=`find dictionary/mecab-ipadic-neologd/build -type d -regex ".*-neologd-[0-9]+" -print`
	+NEW_BUILD_DIR=`echo \d//g'`
	+ln -s `basename NEW_BUILD_DIR
	--- kuromoji/kuromoji-ipadic-neologd/src/test/java/com/atilika/kuromoji/ipadic/neologd/TokenizerTest.java.ORG 2020-06-19 14:11:39.984931179 +0900
	+++ kuromoji/kuromoji-ipadic-neologd/src/test/java/com/atilika/kuromoji/ipadic/neologd/TokenizerTest.java 2020-06-19 14:11:48.113053245 +0900
	@@ -290,6 +290,7 @@
	assertEqualTokenFeatureLengths("ahgsfdajhgsfdこの丘はアクロポリスと呼ばれている。", tokenizer);
	}
	+ @Ignore
	@Test
	public void testNewBocchan() throws IOException {
	assertTokenizedStreamEquals(
	--- kuromoji/kuromoji-ipadic-neologd/pom.xml.ORG 2020-06-19 18:05:53.482003137 +0900
	+++ kuromoji/kuromoji-ipadic-neologd/pom.xml 2020-06-19 18:29:53.935617718 +0900
	@@ -15,9 +15,12 @@
	<packaging>jar</packaging>
	<properties>
	- <kuromoji.dict.file>mecab-ipadic-2.7.0-20070801-neologd-20171113.tar.gz</kuromoji.dict.file>
	+ <kuromoji.dict.file>mecab-ipadic-2.7.0-20070801-neologd-20171113.tar.gz</kuromoji.dict.file>
	+ <!--
	<kuromoji.dict.url>http://atilika.com/releases/mecab-ipadic-neologd/${kuromoji.dict.file}</kuromoji.dict.url>
	- <kuromoji.dict.dir>${project.basedir}/dictionary/mecab-ipadic-2.7.0-20070801-neologd-20171113</kuromoji.dict.dir>
	+ -->
	+ <kuromoji.dict.url>https://github.com/neologd/mecab-ipadic-neologd.git</kuromoji.dict.url>
	+ <kuromoji.dict.dir>${project.basedir}/dictionary/mecab-ipadic-neologd/build/mecab-ipadic-2.7.0-20070801-neologd</kuromoji.dict.dir>
	<kuromoji.dict.targetdir>${project.basedir}/src/main/resources/com/atilika/kuromoji/ipadic/neologd</kuromoji.dict.targetdir>
	<kuromoji.dict.encoding>utf-8</kuromoji.dict.encoding>
	</properties>
	@@ -81,13 +84,53 @@
	<phase>generate-resources</phase>
	<configuration>
	<target unless="skipDownloadDictionary">
	- <echo message="Downloading dictionary"/>
	+ <echo message="Downloading dictionary"/>
	+ <macrodef name = "git">
	+ <attribute name = "command" />
	+ <attribute name = "dir" default = "" />
	+ <element name = "args" optional = "true" />
	+ <sequential>
	+ <echo message = "git @{command}" />
	+ <exec executable = "git" dir = "@{dir}">
	+ <arg value = "@{command}" />
	+ <args/>
	+ </exec>
	+ </sequential>
	+ </macrodef>
	+
	+ <macrodef name = "git-clone-pull">
	+ <attribute name = "repository" />
	+ <attribute name = "dest" />
	+ <sequential>
	+ <git command = "clone">
	+ <args>
	+ <arg value = "@{repository}" />
	+ <arg value = "@{dest}" />
	+ </args>
	+ </git>
	+ <git command = "pull" dir = "@{dest}" />
	+ </sequential>
	+ </macrodef>
	<delete dir="dictionary"/>
	<mkdir dir="dictionary"/>
	+ <git-clone-pull repository="${kuromoji.dict.url}" dest="dictionary/mecab-ipadic-neologd"/>
	+ <sequential>
	+ <exec executable="patch">
	+ <arg line="-p2 -i ../../kuromoji-ipadic-neologd-20200521.patch"/>
	+ </exec>
	+ <exec executable="bin/install-mecab-ipadic-neologd" dir="dictionary/mecab-ipadic-neologd">
	+ <arg line="-n -y -u -p ${project.basedir}/dictionary/target"/>
	+ </exec>
	+ <exec executable="/bin/sh">
	+ <arg line="./ymd.sh"/>
	+ </exec>
	+ </sequential>
	+ <!--
	<get src="${kuromoji.dict.url}"
	dest="dictionary/${kuromoji.dict.file}"/>
	<untar src="dictionary/${kuromoji.dict.file}"
	dest="dictionary" compression="gzip"/>
	+ -->
	</target>
	</configuration>
	<goals>
	@@ -167,4 +210,4 @@
	</dependency>
	</dependencies>
	-</project>
	+ </project>

view raw kuromoji-pom-20200521.patch hosted with by GitHub

最新のNEologdに対して適用するパッチ

以下の通りです。GitHub Gistに置いてあります。

	--- /dev/null 2020-06-19 08:45:04.478343399 +0900
	+++ kuromoji/kuromoji-ipadic-neologd/dictionary/mecab-ipadic-neologd/misc/patch/Noun.proper.reiwa.csv 2020-06-19 14:27:02.321778120 +0900
	@@ -0,0 +1 @@
	+令和,1288,1288,5904,名詞,固有名詞,一般,*,*,*,令和,レイワ,レイワ
	--- kuromoji/kuromoji-ipadic-neologd/dictionary/mecab-ipadic-neologd/libexec/make-mecab-ipadic-neologd.sh.ORG 2020-06-19 14:37:24.771121187 +0900
	+++ kuromoji/kuromoji-ipadic-neologd/dictionary/mecab-ipadic-neologd/libexec/make-mecab-ipadic-neologd.sh 2020-06-19 12:27:44.056021722 +0900
	@@ -227,6 +227,8 @@
	patch < ${BASEDIR}/../misc/patch/Noun.csv.20170317.diff
	patch < ${BASEDIR}/../misc/patch/Noun.name.csv.20170317.diff
	+cat ${BASEDIR}/../misc/patch/Noun.proper.reiwa.csv >> Noun.proper.csv
	+
	echo "${ECHO_PREFIX} Copy user dictionary resource"
	SEED_FILE_NAME=mecab-user-dict-seed.${YMD}.csv

view raw kuromoji-ipadic-neologd-20200521.patch hosted with by GitHub

パッチの適用及びビルドの手順

事前に確認が必要な事項

パッチの適用及びビルドの作業を行ったFedora 32のPCにはmaven,Java及びMecabがすべてインストールされていましたが、インストールがされていない場合にはdnf等のコマンドを用いる等の方法でパッチの適用及びビルドの前にインストールしておきます。

確認が終わったらビルド。

パッチの適用及びビルドは以下の手順で行います。

1. 上記2個のパッチを同じディレクトリに置きます。
2. 手順1のディレクトリにkuromojiをGitHubのリポジトリからcloneします。
3. 以下のコマンドを実行し、1個目のパッチを適用します。
   patch -p1 < ../kuromoji-pom-20200521.patch

    

4. 以下のコマンドを実行します。
   $ mvn install

    

5. ビルドの途中でNEologdのソースコードをダウンロードしてから辞書をコンパイルするので、時間がかかる場合があります。そんなときにはドーナツでも食べながら待ちます。
   

   今日は朝から #シレトコドーナツ です。
   時節柄、ドーナツ1個ごとに袋に入れられて販売されてます。
   クマゴロンはかわいいですが、一番最初に食べられる運命にあります。#lifeinyokohama pic.twitter.com/iH1xkDl46E

   — pandanote.info (@Pandanote_info) June 17, 2020

   
   

   スポンサーリンク

6. ビルドが完了すると、Mavenのローカルリポジトリのディレクトリ($HOME/.m2/repository)の下にJARファイルがインストールされます。
7. Enjoy!!

試運転

前節でビルドしたJARファイルを使って試運転をしてみます。

テスト用のコード(このコードについては別途記事を書く予定です。)をScalaで書いてFAT JARファイルを作成して試してみたところ…

 
「虎ノ門ヒルズ駅」が固有名詞として認識されているあたり、ただの辞書ではないなと考えざるを得ません。

問題点

NEologdを最新版に入れ替えてビルドを試みると、ビルド後のテストの際に一部の「の」の品詞が正しく判定されないために、以下のようなメッセージとともにテストが失敗します。

Failed tests: testNewBocchan(com.atilika.kuromoji.ipadic.neologd.TokenizerTest): expected:<助詞,[格助詞,一般],*,*,*,の,ノ,ノ> but was:<助詞,[連体化,*],*,*,*,の,ノ,ノ>

「テストの失敗箇所が1ヵ所であり、かつそれが助詞の部分であり、判定結果についても別の品詞と判定しているわけではないのでヨシ!! (AA略)」

ということで、ipadic-neologdのテストのうち、当該テストは上記パッチ適用後のビルド時のテスト対象から除外しています。

まとめ

kuromojiは使用する辞書ごとにJARファイルが分かれています。そこで、それらの間の比較を行うことために、前々節の試運転のために記述したコードは使用するJARファイルをコマンドラインオプションにより切り替えることができる仕様としています。

Javaで書けば比較的簡単に書けるコードであったのですが、Scalaで書いてみたところ、かなり大掛かりなコードになってしまいました(参考になりそうな文献もそれほどありませんでした)。

試運転のために記述したコードについては次の記事で書きましたので、見て行っていただけると幸いです。

この記事は以上です。

Related Posts / 関連ページ

【追記しました。】Apache Solrを急遽始めました(2): DataImportHandlerの拡張用のコードをちょいと追加して、7-Zipで圧縮されたデータをインポートしてみた。 Apache Solr 8用のNEologdを組み込んだkuromojiをビルドしようとしたところ、Apache Solr側の新元号対応が原因でハマった件。 Apache Solrを急遽始めました(1): NEologdを組み込んだSolr7対応のkuromojiを作ってみた。 Windows 10 Homeでsbt-assemblyを使ってFat JARファイルを作ったところ、パスの文字列長が長すぎてクラスファイルが不足していて実行できなかった件。