命名实体识别的语料和代码

抱歉~之前比较忙，有很多朋友在我前几篇文章中留言都没有来得及回复，不过大部分留言都是找我要语料和代码的，貌似我在那几篇文章里写的不太清楚，这里就统一整理一下吧。

1.用规则做命名实体识别

原文：用规则做命名实体识别——NER系列（一）

这篇博文就不放出代码了，因为现在基本上不用规则做命名实体识别，当然除非你在某些特定的语料有规律，就完全可以用正则表达式来做。

2.用HMM做命名实体识别

原文：用隐马尔可夫模型(HMM)做命名实体识别——NER系列（二）

代码和语料：https://github.com/lipengfei-558/hmm_ner_organization

3.用CRF做命名实体识别

原文：用CRF做命名实体识别——NER系列（三）

这篇博文是根据我参加的一个比赛写的，当时用到了纯CRF方法，比赛介绍：
https://www.datafountain.cn/competitions/269/details/rule

数据集：https://pan.baidu.com/s/1hdC_W9E62w3Akzlo5pnQuA

用到了CRF++（版本0.58）， CRF++ 下载地址：https://pan.baidu.com/s/11lsCwRlJ5DyfVM3NxH61iw

使用方法直接参考官方文档：http://taku910.github.io/crfpp/，或者直接参考网上教程。主要涉及到两点，一是数据的预处理，二是CRF++的模板，事实上，用默认模板也能取得不错的效果。想要更好的效果，就得好好设计一下模板，尝试把一些词性、特征词等特征加进去，不赘述了~

4.LSTM+CRF做命名实体识别

原文：用双向lstm+CRF做命名实体识别(附tensorflow代码)——NER系列（四）

代码是一个老哥在github上开源的，基于tensorflow：https://github.com/guillaumegenthial/sequence_tagging

CoNLL-2003语料集下载地址：https://pan.baidu.com/s/1Pps7QIfePoxc1t8iNSSafg

上面这个是已经做好预处理的语料集，也可以直接用在CRF++上。

最后祝大家新年快乐~

《命名实体识别的语料和代码》有11个想法

发表评论

电子邮件地址不会被公开。 必填项已用*标注