26 lines
665 B
YAML
26 lines
665 B
YAML
|
# 是否需要预处理数据
|
|||
|
|
# 当数据处理参数没有变换时，不需要重新预处理
|
|||
|
|
preprocess: True
|
|||
|
|
|
|||
|
|
# 原始数据存放位置
|
|||
|
|
data_path: 'data/origin'
|
|||
|
|
|
|||
|
|
# 预处理后存放文件位置
|
|||
|
|
out_path: 'data/out'
|
|||
|
|
|
|||
|
|
# 是否需要分词
|
|||
|
|
chinese_split: True
|
|||
|
|
|
|||
|
|
# 是否需要使用实体类型替换实体词语
|
|||
|
|
replace_entity_with_type: True
|
|||
|
|
|
|||
|
|
# 是否需要使用三元组头尾标记替换实体词语
|
|||
|
|
replace_entity_with_scope: True
|
|||
|
|
|
|||
|
|
# vocab 构建时的最低词频控制
|
|||
|
|
min_freq: 3
|
|||
|
|
|
|||
|
|
# 句长限制: 指句子中词语相对entity的position限制
|
|||
|
|
# 如：[-30, 30]，embed 时整体+31，变成[1, 61]
|
|||
|
|
# 则一共62个pos token，0 留给 pad
|
|||
|
|
pos_limit: 30
|