Institute of Computing Technology, Chinese Academy IR
| 基于大规模语料库的新词检测 | |
| 崔世起1; 刘群1; 孟遥2; 于浩2; 西野文人2 | |
| 2006 | |
| 发表期刊 | 计算机研究与发展
 |
| ISSN | 1000-1239 |
| 卷号 | 43.0期号:005页码:927 |
| 摘要 | 自然语言的发展提出了快速跟踪新词的要求.提出了一种基于大规模语料库的新词检测方法,首先在大规模的Internet生语料上进行中文词法切分,然后在分词的基础上进行频度统计得到大量的候选新词.针对二元新词、三元新词、四元新词等的常见模式,用自学习的方法产生3个垃圾词典和一个词缀词典对候选新词进行垃圾过滤,最后使用词性过滤规则和独立词概率技术进一步过滤.据此实现了一个基于Internet的进行在线新词检测的系统,并取得了令人满意的性能.系统已经可以应用到新词检测、术语库建立、热点命名实体统计和词典编纂等领域. |
| 关键词 | 新词 垃圾串 垃圾头 垃圾尾 独立词概率 |
| 语种 | 英语 |
| 文献类型 | 期刊论文 |
| 条目标识符 | http://119.78.100.204/handle/2XEOYT63/34710 |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.中国科学院大学 |
| 第一作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 崔世起,刘群,孟遥,等. 基于大规模语料库的新词检测[J]. 计算机研究与发展,2006,43.0(005):927. |
| APA | 崔世起,刘群,孟遥,于浩,&西野文人.(2006).基于大规模语料库的新词检测.计算机研究与发展,43.0(005),927. |
| MLA | 崔世起,et al."基于大规模语料库的新词检测".计算机研究与发展 43.0.005(2006):927. |
| 条目包含的文件 | 条目无相关文件。 | |||||
| 个性服务 |
| 推荐该条目 |
| 保存到收藏夹 |
| 查看访问统计 |
| 导出为Endnote文件 |
| 谷歌学术 |
| 谷歌学术中相似的文章 |
| [崔世起]的文章 |
| [刘群]的文章 |
| [孟遥]的文章 |
| 百度学术 |
| 百度学术中相似的文章 |
| [崔世起]的文章 |
| [刘群]的文章 |
| [孟遥]的文章 |
| 必应学术 |
| 必应学术中相似的文章 |
| [崔世起]的文章 |
| [刘群]的文章 |
| [孟遥]的文章 |
| 相关权益政策 |
| 暂无数据 |
| 收藏/分享 |
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。
修改评论