table_tokenize コマンドは指定したテーブルのトークナイザーでテキストをトークナイズします。
table_tokenize コマンドには必須の引数と省略可能な引数があります。 table と string が必須の引数で、他の引数はすべて省略可能です。
table_tokenize table
string
[flags=NONE]
[mode=GET]
以下は簡単な使用例です。
実行例:
register token_filters/stop_word
# [[0,0.0,0.0],true]
table_create Terms TABLE_PAT_KEY ShortText \
--default_tokenizer TokenBigram \
--normalizer NormalizerAuto \
--token_filters TokenFilterStopWord
# [[0,0.0,0.0],true]
column_create Terms is_stop_word COLUMN_SCALAR Bool
# [[0,0.0,0.0],true]
load --table Terms
[
{"_key": "and", "is_stop_word": true}
]
# [[0,0.0,0.0],1]
table_tokenize Terms "Hello and Good-bye" --mode GET
# [
# [
# 0,
# 0.0,
# 0.0
# ],
# [
# {
# "value": "hello",
# "position": 0
# },
# {
# "value": "good",
# "position": 2
# },
# {
# "value": "-",
# "position": 3
# },
# {
# "value": "bye",
# "position": 4
# }
# ]
# ]
Terms テーブルには、 TokenBigram トークナイザーと、 NormalizerAuto ノーマライザーと、 TokenFilterStopWord トークンフィルターがセットされています。 この例は TokenBigram トークナイザーで "Hello and Good-bye" をトークナイズしたトークンを返します。トークンは、 NormalizerAuto ノーマライザーで正規化されています。 and トークンは、 TokenFilterStopWord トークンフィルターで除去されています。
このセクションではすべての引数について説明します。引数はカテゴリわけしています。