日本語処理のツール

下記は、日本語テキスト処理のための簡単なperlスクリプトです。いずれもフリーソフトです。 ただし、動作させるにはそれぞれの処理系に応じたperl(2についてはjperlのみ対応)が別途必要です。

Windows95,NT用のjperlの入手については、次のWebページの解説の「インストール手順」の部分を読んでください。

JPerl for MS-Windows

ツールリスト

• kgrep.pl(perlによるKWICスタイルの出力を持つgrep)
• • (使用方法)
  • (j)perl kgrep.pl 探索文字列 [文脈長(default 32byte)] < 入力ファイル

  • httpによるダウンロード(Webブラウザで、マウス右ボタンで「リンクに 名前をつけて保存」等を選ぶ)

• count.pl(jperlによる日本語文字の頻度調査プログラム)
• • (使用方法)
  • jperl count.pl < 入力ファイル

  • httpによるダウンロード(同上)

• ngmerge.pl(複数のngram処理の結果をmergeして対照する)
• • (使用方法)
  • perl ngmerge.pl 入力ファイル(複数でも可）

  • httpによるダウンロード(同上)

  • Ver.1.2(CSV対応)

• linguist.pl(YahooAPIを使ってデータ収集)
• • (使用方法)
  • perl linguist.pl -m 50 -f string

  • http download

• csjxml2txt.pl(XML::Simpleを使って話言葉corpusを処理する)
• • (使用方法)
  • perl csjxml2txt.pl a00f0001.xml

  • http download