spaCy - Retokenizer.merge 方法



此 retokenizer 方法将标记一段 span 进行合并。

参数

下表解释了它的参数 −

名称 类型 说明
Span Span 它表示要合并的 span。
Attrs dict 这些是要在合并的 token 上设置的属性。

示例

Retokenizer.merge 方法的示例如下 −

import spacy
nlp_model = spacy.load("en_core_web_sm")
doc = nlp_model("This is Tutorialspoint.com.")
with doc.retokenize() as retokenizer:
   attrs = {"LEMMA": "Tutorialspoint.com"}
   retokenizer.merge(doc[2:4], attrs=attrs)
doc

输出

您会收到以下输出 −

This is Tutorialspoint.com.
spacy_doc_class_contextmanager_and_property.htm
广告