This commit is contained in:
tlk-dsg 2021-09-27 20:51:38 +08:00
parent eb31ad6846
commit 6d75b89a50
1 changed files with 41 additions and 22 deletions

View File

@ -34,28 +34,26 @@ Deepke的架构图如下所示
DeepKE包括了三个模块可以进行关系抽取、实体命名识别以及属性抽取的任务在各个模块下包括各自的子模块。其中关系抽取模块就有常规模块、文档级抽取模块以及低资源少样本模块。在每一个子模块中分为分词、预处理等的一个工具集合以及编码和训练预测部分。
## 快速上手
1. RE
### 环境依赖
关系抽取是从非结构化的文本中抽取出实体之间的关系以下为几个样式范例数据为csv文件
> python >= 3.7
| Sentence | Relation | Head | Head_offset | Tail | Tail_offset |
| :----------------------------------------------------: | :------: | :--------: | :---------: | :--------: | :---------: |
| 《岳父也是爹》是王军执导的电视剧,由马恩然、范明主演。 | 导演 | 岳父也是爹 | 1 | 王军 | 8 |
| 《九玄珠》是在纵横中文网连载的一部小说,作者是龙马。 | 连载网站 | 九玄珠 | 1 | 纵横中文网 | 7 |
| 提起杭州的美景,西湖总是第一个映入脑海的词语。 | 所在城市 | 西湖 | 8 | 杭州 | 2 |
具体流程请进入详细的README中RE包括了以下三个子功能
**[STANDARD](https://github.com/zjunlp/deepke/blob/test_new_deepke/example/re/standard)**
常规模块为常用的深度学习模型有CNN、RNN、Capsule、GCN、Transforemer以及预训练模型可进入其目录修改数据集以及conf文件夹下的目录```python run.py```即可训练,```python predict.py```即可预测。
FEW-SHORT
DOCUMENT
- torch >= 1.2
- hydra-core == 1.0.6
- tensorboard >= 2.0
- matplotlib >= 3.1
- transformers >= 2/0
- jieba >= 0.39
- scikit-learn >= 0.22
- pytorch-transformers >= 1.2.0
- seqeval >= 0.0.5
- tqdm >= 4.31.1
- nltk >= 3.4.5
2. NER
1. NER
数据为txt文件样式范例为
@ -75,15 +73,36 @@ DeepKE包括了三个模块可以进行关系抽取、实体命名识别以
少样本模块使用了LightNER模型可进入其目录模型加载和保存位置以及配置可以在shell脚本中修改```bash run_conll2003.sh```训练conll2003,```bash run_fewshot.sh "mit-movie" False```不加载模型直接进行few-shot训练,```bash run_fewshot.sh "mit-movie" True```加载模型进行few-shot训练,```bash run_predict.sh```进行预测。
2. RE
关系抽取是从非结构化的文本中抽取出实体之间的关系以下为几个样式范例数据为csv文件
| Sentence | Relation | Head | Head_offset | Tail | Tail_offset |
| :----------------------------------------------------: | :------: | :--------: | :---------: | :--------: | :---------: |
| 《岳父也是爹》是王军执导的电视剧,由马恩然、范明主演。 | 导演 | 岳父也是爹 | 1 | 王军 | 8 |
| 《九玄珠》是在纵横中文网连载的一部小说,作者是龙马。 | 连载网站 | 九玄珠 | 1 | 纵横中文网 | 7 |
| 提起杭州的美景,西湖总是第一个映入脑海的词语。 | 所在城市 | 西湖 | 8 | 杭州 | 2 |
具体流程请进入详细的README中RE包括了以下三个子功能
**[STANDARD](https://github.com/zjunlp/deepke/blob/test_new_deepke/example/re/standard)**
常规模块为常用的深度学习模型有CNN、RNN、Capsule、GCN、Transforemer以及预训练模型可进入其目录修改数据集以及conf文件夹下的目录```python run.py```即可训练,```python predict.py```即可预测。
FEW-SHORT
DOCUMENT
3. AE
数据为csv文件样式范例为
| Sentence | Attribute | Entity | Entity_offset | Attribute_value | Attribute_value_offset |
| :----------------------------------------------------: | :-----: | :-----: | :---: | :-----: | :------: |
| 张冬梅汉族1968年2月生河南淇县人1988年7月加入中国共产党1989年9月参加工作中央党校经济管理专业毕业中央党校研究生学历 | 民族 | 张冬梅 | 0 | 汉族 | 6 |
| 杨缨,字绵公,号钓溪,松溪县人,祖籍将乐,是北宋理学家杨时的七世孙 | 朝代 | 杨缨 | 0 | 北宋 | 22 |
| 2014年10月1日许鞍华执导的电影《黄金时代》上映冯绍峰饰演与之差别极大的民国东北爷们萧军演技受到肯定| 上映时间 | 黄金时代 | 19 | 2014年10月1日 | 0 |
| Sentence | Att | Ent | Ent_offset | Val | Val_offset |
| :----------------------------------------------------: | :------: | :--------: | :---------: | :--------: | :---------: |
| 张冬梅汉族1968年2月生河南淇县人| 民族 | 张冬梅 | 0 | 汉族 | 6 |
| 杨缨,字绵公,号钓溪,松溪县人,祖籍将乐,是北宋理学家杨时的七世孙 | 朝代 | 杨缨 | 0 | 北宋 | 22 |
| 2014年10月1日许鞍华执导的电影《黄金时代》上映 | 上映时间 | 黄金时代 | 19 | 2014年10月1日 | 0 |
具体流程请进入详细的README中: