您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

重要条款导致CircuitBreakingException

重要条款导致CircuitBreakingException

关于这种聚合的文档上有一个警告,内容涉及超大索引[1]的自由文本字段上的RAM使用。在大索引上,它对于词汇量较小的低基数字段(例如,标签)有效,但许多自由文本术语和许多文档的组合却很浪费内存。您可以查看在为Field 字段加载FieldData缓存[2]时指定一个过滤器,以修整低频项的长尾(例如doc频率<2),这将减少RAM开销。

在分析仅匹配的顶级文档样本中的重要术语之前,我使用了该算法的变体,并且此方法所需的RAM更少,因为仅从磁盘读取了前N个文档并标记了令牌(使用TermVectors或Analyzer)。但是,目前,Elasticsearch中的实现依赖于FieldData缓存并查找所有匹配文档的术语。

还有一件事- 当您说要“比较指定文档的正文”时,请注意,通常的操作方式是将一组文档与背景进行比较,而不仅仅是一个。所有分析均基于文档频率计数,因此,对于仅包含一个文档的样本集,所有术语的前景频率均为1,这意味着您缺乏加强任何分析的证据。

其他 2022/1/1 18:21:36 有411人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶