如果您使用edgeNGram令牌生成器,则它将“ EdgeNGram 12323”视为单个令牌,然后在其上应用edgeNGram’ing进程。例如,如果min_grams = 1 max_grams = 4,您将获得以下标记的索引:[“ E”,“ Ed”,“ Edg”,“ Edge”]。所以我想这不是您真正要寻找的-考虑改用edgeNGram令牌过滤器:
如果您使用的是edgeNGram令牌过滤器,请确保您使用的令牌生成器实际上将文本“ EdgeNGram 12323”令牌化以产生两个令牌:[“ EdgeNGram”,“ 12323”](标准或空白令牌生成器将做到这一点)。然后在其旁边应用edgeNGram过滤器。
通常,edgeNGram将采用“ 12323”并产生诸如“ 1”,“ 12”,“ 123”等的令牌。