readme
This commit is contained in:
parent
eb31ad6846
commit
6d75b89a50
63
README.md
63
README.md
|
@ -34,28 +34,26 @@ Deepke的架构图如下所示
|
|||
DeepKE包括了三个模块,可以进行关系抽取、实体命名识别以及属性抽取的任务,在各个模块下包括各自的子模块。其中关系抽取模块就有常规模块、文档级抽取模块以及低资源少样本模块。在每一个子模块中,分为分词、预处理等的一个工具集合,以及编码和训练预测部分。
|
||||
|
||||
|
||||
|
||||
## 快速上手
|
||||
|
||||
1. RE
|
||||
### 环境依赖
|
||||
|
||||
关系抽取是从非结构化的文本中抽取出实体之间的关系,以下为几个样式范例,数据为csv文件:
|
||||
> python >= 3.7
|
||||
|
||||
| Sentence | Relation | Head | Head_offset | Tail | Tail_offset |
|
||||
| :----------------------------------------------------: | :------: | :--------: | :---------: | :--------: | :---------: |
|
||||
| 《岳父也是爹》是王军执导的电视剧,由马恩然、范明主演。 | 导演 | 岳父也是爹 | 1 | 王军 | 8 |
|
||||
| 《九玄珠》是在纵横中文网连载的一部小说,作者是龙马。 | 连载网站 | 九玄珠 | 1 | 纵横中文网 | 7 |
|
||||
| 提起杭州的美景,西湖总是第一个映入脑海的词语。 | 所在城市 | 西湖 | 8 | 杭州 | 2 |
|
||||
|
||||
具体流程请进入详细的README中,RE包括了以下三个子功能
|
||||
|
||||
**[STANDARD](https://github.com/zjunlp/deepke/blob/test_new_deepke/example/re/standard)** :
|
||||
常规模块为常用的深度学习模型,有CNN、RNN、Capsule、GCN、Transforemer以及预训练模型,可进入其目录,修改数据集以及conf文件夹下的目录,```python run.py```即可训练,```python predict.py```即可预测。
|
||||
|
||||
FEW-SHORT
|
||||
|
||||
DOCUMENT
|
||||
- torch >= 1.2
|
||||
- hydra-core == 1.0.6
|
||||
- tensorboard >= 2.0
|
||||
- matplotlib >= 3.1
|
||||
- transformers >= 2/0
|
||||
- jieba >= 0.39
|
||||
- scikit-learn >= 0.22
|
||||
- pytorch-transformers >= 1.2.0
|
||||
- seqeval >= 0.0.5
|
||||
- tqdm >= 4.31.1
|
||||
- nltk >= 3.4.5
|
||||
|
||||
2. NER
|
||||
1. NER
|
||||
|
||||
数据为txt文件,样式范例为:
|
||||
|
||||
|
@ -75,15 +73,36 @@ DeepKE包括了三个模块,可以进行关系抽取、实体命名识别以
|
|||
少样本模块使用了LightNER模型,可进入其目录,模型加载和保存位置以及配置可以在shell脚本中修改```bash run_conll2003.sh```训练conll2003,```bash run_fewshot.sh "mit-movie" False```不加载模型,直接进行few-shot训练,```bash run_fewshot.sh "mit-movie" True```加载模型,进行few-shot训练,```bash run_predict.sh```进行预测。
|
||||
|
||||
|
||||
2. RE
|
||||
|
||||
关系抽取是从非结构化的文本中抽取出实体之间的关系,以下为几个样式范例,数据为csv文件:
|
||||
|
||||
| Sentence | Relation | Head | Head_offset | Tail | Tail_offset |
|
||||
| :----------------------------------------------------: | :------: | :--------: | :---------: | :--------: | :---------: |
|
||||
| 《岳父也是爹》是王军执导的电视剧,由马恩然、范明主演。 | 导演 | 岳父也是爹 | 1 | 王军 | 8 |
|
||||
| 《九玄珠》是在纵横中文网连载的一部小说,作者是龙马。 | 连载网站 | 九玄珠 | 1 | 纵横中文网 | 7 |
|
||||
| 提起杭州的美景,西湖总是第一个映入脑海的词语。 | 所在城市 | 西湖 | 8 | 杭州 | 2 |
|
||||
|
||||
具体流程请进入详细的README中,RE包括了以下三个子功能
|
||||
|
||||
**[STANDARD](https://github.com/zjunlp/deepke/blob/test_new_deepke/example/re/standard)** :
|
||||
常规模块为常用的深度学习模型,有CNN、RNN、Capsule、GCN、Transforemer以及预训练模型,可进入其目录,修改数据集以及conf文件夹下的目录,```python run.py```即可训练,```python predict.py```即可预测。
|
||||
|
||||
FEW-SHORT
|
||||
|
||||
DOCUMENT
|
||||
|
||||
|
||||
|
||||
3. AE
|
||||
|
||||
数据为csv文件,样式范例为:
|
||||
|
||||
| Sentence | Attribute | Entity | Entity_offset | Attribute_value | Attribute_value_offset |
|
||||
| :----------------------------------------------------: | :-----: | :-----: | :---: | :-----: | :------: |
|
||||
| 张冬梅,女,汉族,1968年2月生,河南淇县人,1988年7月加入中国共产党,1989年9月参加工作,中央党校经济管理专业毕业,中央党校研究生学历 | 民族 | 张冬梅 | 0 | 汉族 | 6 |
|
||||
| 杨缨,字绵公,号钓溪,松溪县人,祖籍将乐,是北宋理学家杨时的七世孙 | 朝代 | 杨缨 | 0 | 北宋 | 22 |
|
||||
| 2014年10月1日许鞍华执导的电影《黄金时代》上映,冯绍峰饰演与之差别极大的民国东北爷们萧军,演技受到肯定| 上映时间 | 黄金时代 | 19 | 2014年10月1日 | 0 |
|
||||
| Sentence | Att | Ent | Ent_offset | Val | Val_offset |
|
||||
| :----------------------------------------------------: | :------: | :--------: | :---------: | :--------: | :---------: |
|
||||
| 张冬梅,女,汉族,1968年2月生,河南淇县人| 民族 | 张冬梅 | 0 | 汉族 | 6 |
|
||||
| 杨缨,字绵公,号钓溪,松溪县人,祖籍将乐,是北宋理学家杨时的七世孙 | 朝代 | 杨缨 | 0 | 北宋 | 22 |
|
||||
| 2014年10月1日许鞍华执导的电影《黄金时代》上映 | 上映时间 | 黄金时代 | 19 | 2014年10月1日 | 0 |
|
||||
|
||||
具体流程请进入详细的README中:
|
||||
|
||||
|
|
Loading…
Reference in New Issue