放牧代码和思想
专注自然语言处理、机器学习算法

基于信息熵和互信息的新词识别

目录

新词识别.jpg

本文是《基于互信息和左右信息熵的短语提取识别》的姊妹篇,文如其名,没什么新意。

谈起“新词识别”“新词发现”,有许多论文慷慨陈词:要设计丰富的特征模板、建立训练语料库、引入CRF、ME、SVM、神经网络等模型并综合起来、在某某的基础上加入某种规则改进、最终在一个98年芝麻大小的训练集上训练出一个西瓜那么大的模型,并且在细菌大小的测试集上提高了2.33%的OOV识别率,展望未来,一定可以应用到更广阔的领域中。

可惜现实总是很残酷:既没有人力物力整理语料,服务器也只有绿豆大小的内存,放不下半个西瓜。

简单好用的方法有两个:

外部数据源

直接从输入法的词库抓,比如几千万级别的词库,或者写代码提取,如果业务系统中有用户的Query Log,也能充当不错的数据源。从这些数据源中做些筛选,大约可以解决80%的问题。

无监督新词识别

从外部数据源拿数据无法解决所有问题,比如需求的语境使用了很多非主流词语、人工筛选第三方数据费时费力等等。本文着重介绍一种利用了词语内部构词信息和外部构词信息的简单方法,参考了Moonshile的Python实现,用Java重写了一遍,并且对诸如一些参数的选取等细节进行额外说明。

词的定义

这是个因人而异的复杂问题,语言学上也许更加复杂,且对解决“新词识别”这个问题帮助不大。比如,“小提琴”究竟算是一个词,还是“小+提琴”两个词呢?“你好”到底是“你+好”还是“你好”呢?“不是”=“不+是”吗?事实上,一千个人有八百个标准,而每种答案对大众来讲都是可以理解的。许多分词语料库的标准也各不相同,然而有些分词器提供商将一些在A语料库上训练的开源分词器拿到自己私有的B语料库上跑benchmark,借以标榜自己的产品“准确率”有多高。且不说这些产品本身就在私有语料库上训练过的优势,普通用户其实根本不关心“你好”还是“你+好”这样的问题,然而这些问题的确会使“准确率”产生较大影响(因为常用词的分词标准不同,同时常用词的出现频率又大)。

对这么纠结的问题,不如回避它,将其置换为计算机能够处理的提问方式。

给定一段文本,随机取一个片段,如何判断这个片段是否是一个词呢?

如果这个片段左右的搭配很丰富,并且片段内部成分搭配很固定,则认为这是一个词。将这样的片段筛选出来,按照频率由高到低排序,排在前面的那些即为词语。如果文本足够大,再用通用的词典过滤掉“旧词”,就可以得到“新词”了。

内部凝聚力=互信息

片段的内部信息定义为:

片段的概率/(子序列概率的积)

如果将其取个对数,就得到了互信息:

片段可能有很多个子序列,将其互信息累加起来作为最终的“聚合度”。

比如“电影院”=“电+影院”+“电影+院”。

对于概率P的计算,比较模糊的是分母的取法。分母本应该是所有词的频次之和,Moonshile的Python实现取的是文档的长度,这的确可以度量所有片段的总频次,作为一个近似值,在实践中也能取得较好的效果。

外部搭配=左右信息熵

左右信息熵其实反映的是片段的外部信息,即这个片段是否有丰富的左右搭配。更详细的介绍请参考基于互信息和左右信息熵的短语提取识别,不再赘述。

效果测试

取最长备选片段长度为4,最低信息熵为0.4,最低互信息为lg100,按词频排序取前100,在一些语料上的测试结果如下:

西游记

[行者, 八戒, 师父, 三藏, 大圣, 唐僧, 沙僧, 菩萨, 和尚, 怎么, 妖精, 甚么, 悟空, 国王, 徒弟, 呆子, 闻言, 如何, 今日, 兄弟, 宝贝, 取经, 铁棒, 认得, 果然, 东土, 性命, 观看, 神通, 公主, 玉帝, 变作, 哥哥, 土地, 欢喜, 陛下, 太宗, 贫僧, 金箍, 变做, 爷爷, 模样, 多少, 十分, 兵器, 袈裟, 怪物, 变化, 手段, 近前, 往西, 唬得, 娘娘, 衣服, 猪八戒, 左右, 仔细, 吩咐, 金箍棒, 师徒们, 晓得, 奈何, 观音, 安排, 言语, 孙悟空, 钉钯, 叩头, 关文, 毫毛, 半空, 五百, 拜佛, 递与, 妖邪, 筋斗, 汝等, 抬头, 战兢兢, 径至, 许多, 孩儿, 扯住, 齐天大圣, 葫芦, 变变, 皇帝, 收拾, 小的们, 壁厢, 佛祖, 忍不住, 未曾, 往西天, 摇身, 玄奘, 造化, 本事, 白马, 揭谛]

红楼梦

[什么, 凤姐, 贾母, 黛玉, 姑娘, 宝钗, 怎么, 丫头, 如今, 老太太, 贾政, 奶奶, 自己, 贾琏, 平儿, 老爷, 东西, 告诉, 咱们, 姨妈, 薛姨妈, 所以, 探春, 紫鹃, 鸳鸯, 湘云, 如此, 妹妹, 婆子, 贾珍, 李纨, 答应, 尤氏, 晴雯, 媳妇, 屋里, 打发, 刘姥姥, 小丫头, 林黛玉, 薛蟠, 香菱, 孩子, 姊妹, 到底, 明白, 连忙, 丫鬟, 麝月, 姨娘, 哥哥, 贾蓉, 小厮, 果然, 意思, 周瑞, 怎么样, 主意, 已经, 越发, 跟前, 瞧瞧, 房中, 喜欢, 惜春, 贾赦, 句话, 雨村, 贾芸, 吩咐, 况且, 悄悄, 嫂子, 兄弟, 素日, 芳官, 金桂, 贾环, 言语, 时候, 雪雁, 多少, 嬷嬷, 许多, 迎春, 林之孝, 糊涂, 十分, 女孩, 奴才, 伏侍, 预备, 衣服, 收拾, 林姑娘, 请安, 莺儿, 赵姨娘, 年纪, 父亲]

三国演义

[玄德, 孔明, 唬骸, 司马, 丞相, 关公, 云长, 荆州, 夏侯, 张飞, 吕布, 诸葛, 商议, 赵云, 魏延, 孙权, 刘备, 左右, 司马懿, 姜维, 袁绍, 周瑜, 东吴, 十余, 都督, 马超, 陛下, 黄忠, 张郃, 背后, 太守, 先生, 有诗, 诸葛亮, 先锋, 孟获, 曹仁, 邓艾, 张辽, 奈何, 江东, 徐州, 成都, 喊声, 忽然, 祁山, 徐晃, 百姓, 鲁肃, 众官, 刘表, 接应, 十里, 百余, 视之乃, 董卓, 许褚, 三千, 庞德, 许都, 分付, 粮草, 夏侯惇, 追赶, 文武, 皇叔, 五千, 孙策, 五百, 兄弟, 洛阳, 挺枪, 关兴, 孙乾, 星夜, 子龙, 准备, 西川, 陆逊, 袁术, 曹洪, 间忽, 刘璋, 一彪, 张翼, 可轻, 英雄, 甘宁, 司马昭, 乘势, 夏侯渊, 朝廷, 李傕, 投降, 埋伏, 庞统, 传令, 首级, 心腹, 张苞]

微博热词

众所周知,微博是个挖掘热点。如果我们将一个微博分类语料丢进去,每个分类的热词是什么呢?

IT

[苹果, 微博, 中国, 小米, 用户, 移动, 转发, 公司, 可以, 电脑, 互联网, 软件, 智能, 乔布斯, 腾讯, 产品, 使用, 游戏, 系统, 评论, 什么, 网络, 诺基亚, 市场, 新浪, 支持, 服务, 活动, 设计, 技术, 分享, 三星, 视频, 关注, 功能, 平板, 信息, 免费, 下载, 已经, 自己, 今天, 数据, 安卓, 科技, 开始, 推出, 问题, 平台, 数码, 网站, 企业, 进行, 获得, 体验, 计算, 目前, 时间, 原文, 全球, 北京, 新浪微博, 客户, 世界, 平板电脑, 需要, 提供, 安全, 推荐, 品牌, 正式, 显示, 朋友, 未来, 百度, 消息, 谷歌, 内容, 移动互联, 销售, 笔记本, 商务, 屏幕, 摩托, 云计算, 地址, 官方, 消费, 客户端, 价格, 空间, 工作, 浏览, 终端, 购买, 摩托罗拉, 他们, 广告, 升级, 开放]

人文艺术

[艺术, 自己, 我们, 转发, 可以, 评论, 作品, 微博, 成功, 什么, 需要, 因为, 生活, 幸福, 原文, 喜欢, 放下, 时间, 时候, 所以, 摄影, 知道, 文化, 世界, 北京, 术馆, 朋友, 今天, 工作, 当代, 照片, 改变, 如果, 开始, 展览, 分享, 开幕, 心态, 美术馆, 孤独, 真正, 音乐, 东西, 失败, 很多, 其实, 结果, 精神, 活动, 件事, 动物, 欣赏, 问题, 蒙娜丽莎, 简单, 下午, 任何, 能够, 承受, 书画, 企业, 感恩, 价值, 获得, 举行, 永远, 快乐, 客户, 国际, 影响, 财富, 员工, 欢迎, 组织, 智慧, 精彩, 已经, 市场, 努力, 目标, 设计, 创业, 创造, 部分, 领导, 身体, 英国, 追求, 掌握, 如何, 主义, 职业, 共同, 或者, 参加, 复古, 属于, 学习, 过程, 收藏]

传媒

[微博, 转发, 评论, 节目, 新闻, 卫视, 关注, 新浪, 我们, 新浪微博, 原文, 媒体, 欢迎, 今天, 活动, 电视台, 频道, 音乐, 主持, 敬请, 生活, 栏目, 网络, 参与, 收听, 可以, 北京, 原文评论, 原文转发, 进行, 信息, 记者, 支持, 朋友, 请关注, 主持人, 分享, 交通, 江西, 问题, 什么, 他们, 现场, 时间, 热线, 通过, 江苏, 故事, 期待, 内容, 开始, 精彩, 观众, 敬请关注, 访谈, 传媒, 自己, 互动, 快乐, 幸福, 如何, 世界, 之声, 周六, 都市, 希望, 点击, 继续, 社会, 感谢, 企业, 客户, 城市, 投票, 方式, 官方, 需要, 嘉宾, 编辑, 手机, 财经, 非常, 获得, 专业, 湖南, 国际, 更多, 调查, 网站, 浙江, 影响, 公司, 完美, 已经, 文化, 特别, 旅游, 湖北, 各位, 交通广播]

体育

[体育, 微博, 世界, 转发, 直播, 新浪, 分享, 冠军, 我们, 今天, 英超, 运动, 北京, 俱乐部, 风云, 教练, 上海, 巴萨, 国际, 没有, 时间, 什么, 皇马, 阿内尔卡, 获得, 申花, 新闻, 今晚, 关注, 已经, 希望, 最佳, 开始, 欢迎, 精彩, 排名, 世界杯, 如果, 乒乓, 人物, 梅西, 自己, 视频, 节目, 切尔西, 科比, 高尔夫, 姚明, 曼联, 湖南, 进行, 可以, 结束, 广州, 巴塞, 辽宁, 可能, 正式, 支持, 预告, 男子, 第二, 互动, 湖南经视, 拜仁, 官方, 问题, 明星, 第轮, 选手, 分钟, 曼城, 媒体, 期待, 职业, 消息, 女子, 欧洲, 米兰, 新疆, 保罗, 报道, 表现, 话题, 欧冠, 加盟, 李娜, 总决赛, 热火, 超级, 记者, 广东, 巴塞罗那, 西班牙, 锦标赛, 这样, 签约, 武汉, 利亚, 回复]

健康

[健康, 转发, 原文, 评论, 微博, 治疗, 营养, 维生素, 疾病, 医院, 注意, 身体, 皮肤, 感冒, 时间, 每天, 糖尿病, 患者, 运动, 预防, 分钟, 萝卜, 冬季, 减肥, 蛋白, 导致, 消化, 容易, 血液, 蜂蜜, 血管, 艾滋病, 新浪, 牛奶, 排毒, 蔬菜, 眼睛, 影响, 引起, 长期, 转发微博, 降低, 保护, 症状, 苹果, 疲劳, 脂肪, 研究, 早餐, 出现, 吸收, 方法, 睡眠, 保持, 增加, 心脏, 功能, 减少, 感染, 需要, 造成, 缓解, 自己, 美容, 问题, 专家, 咳嗽, 神经, 工作, 女性, 免疫, 血压, 促进, 什么, 补充, 蛋白质, 我们, 功效, 卫生, 进行, 胡萝卜, 关注, 酸奶, 习惯, 细胞, 正常, 慢性, 干燥, 危害, 今天, 葡萄, 活动, 柠檬, 呼吸, 吸烟, 过度, 避免, 衰老, 丰富, 睡前]

动漫

[腾讯, 海贼王, 分享, 作品, 游戏, 世界, 我们, 微博, 火影, 文化, 电影, 视频, 喜欢, 啦啦, 没有, 系列, 开始, 转发, 可以, 欢迎, 什么, 第二, 国际, 公司, 嘉年华, 精彩, 官方, 连载, 原创, 评论, 金龙奖, 自己, 首届, 故事, 预告, 制作, 地址, 希望, 关注, 经典, 播出, 杂志, 四格, 学院, 已经, 今天, 北京, 爆笑, 电视, 主题, 支持, 陈维东, 武汉, 短片, 目前, 产业, 朋友, 圣诞, 颁奖, 频道, 设计, 联盟, 进行, 少女, 英雄, 搞笑, 盛典, 未来, 将于, 期精彩, 第届, 宣传, 第话, 工作, 内容, 更多, 即将, 感谢, 艺术, 论坛, 详情, 那些, 期待, 创意, 获奖, 举行, 有限, 加入, 推荐, 高清, 继续, 剧场, 公布, 文字, 政府, 消息, 各位, 济公, 发布, 角色]

女性

[转发, 皮肤, 可以, 原文, 评论, 肌肤, 面膜, 减肥, 微博, 化妆, 自己, 效果, 原文转发, 原文评论, 时尚, 整形, 分钟, 健康, 座第, 收听, 我们, 星座, 喜欢, 产品, 方法, 瘦身, 什么, 除皱, 生活, 注射, 保湿, 每天, 适合, 妈妈, 蜂蜜, 柠檬, 射手, 推荐, 新浪, 天蝎, 活动, 分享, 运动, 选择, 双鱼, 皱纹, 食物, 蛋白, 问题, 狮子, 搭配, 冬季, 男人, 时间, 养颜, 手术, 容易, 朋友, 排毒, 白羊, 天蝎座, 因为, 巨蟹, 按摩, 时候, 简单, 第名, 胶原, 注意, 中国, 金牛, 脂肪, 双子座, 摩羯, 天秤, 保持, 水瓶, 减少, 衰老, 设计, 医院, 如何, 进行, 转发微博, 补充, 改善, 滋润, 狮子座, 需要, 射手座, 指甲, 毛孔, 治疗, 睫毛, 维生素, 功效, 双鱼座, 专家, 羯座, 胶原蛋白]

娱乐

[电影, 转发, 音乐, 微博, 评论, 新浪, 演唱, 分享, 演唱会, 十三钗, 娱乐, 卫视, 视频, 原文, ★★, 今天, 北京, 喜欢, 那些, 现场, 自己, 明星, 期待, 演员, 导演, 关注, 腾讯, 龙门, 什么, 活动, ★★★, 那些年, 朋友, 支持, 故事, 节目, 龙门飞甲, 精彩, 女孩, 可以, 张艺谋, 我们一起, 春晚, 世界, 时间, 乐队, 电视剧, 原文评论, 原文转发, 推荐, 获得, 因为, 广播, 亲密, 作品, 主题, 上映, 跨年, 时尚, 经典, 非常, 周杰伦, 专辑, 高清, 预告, 时代, 官方, 观众, 希望, 感谢, 生活, 播放, 开始, 亲密敌人, 已经, 失恋, 参与, 哈哈, 如果, 粉丝, 全球, 有机会, 国际, 幸福, 门票, 南京, 最佳, 时候, 主持, 知道, 文化, 杨幂, 主题曲, 客户端, 更多, 潜伏, 圣诞, 艺术, ★★★★, 江苏]

广告公共

[广告, 微博, 我们, 转发, 评论, 绿色, 自己, 公益, 环境, 世界, 湖南, 中国, 朋友, 环保, 参与, 关注, 机会, 原文, 湖南省, 新浪, 开始, 优惠, 计划, 可以, 工作, 低碳, 进行, 电视, 城市, 分享, 获得, 问题, 家园, 音响, 环境事件, 测试, 腾讯, 老爸, 时间, 老师, 今天, 什么, 支持, 新闻, 感恩, 物种, 互动, 安全, 这里, 报名, 世界上, 广东, 创意, 网络, 因为, 专业, 圣诞, 商城, 准备, 喜欢, 公司, 只要, 方式, 提供, 管理, 免费, 健康, 黄伟老师, 湖泊, 保护, 投放, 官方, 长沙, 海洋, 成功, 手机, 孩子, 彻底, 企业, 欢迎, 营销, 系列, 更多, 正式, 天使, 品牌, 已经, 畅游, 第二, 参加, 川宁, 现场, 温暖, 招商, 容易, 客卖, 低碳生活, 信息, 宣传, 媒体]

房产

[北京, 政策, 调控, 转发, 微博, 成交, 利率, 评论, 限购, 经济, 住宅, 银行, 平方米, 新浪, 项目, 面积, 开发商, 平米, 销售, 目前, 来自, 环比, 投资, 优惠, 上涨, 政府, 亿元, 线城市, 表示, 商品, 开始, 公司, 广州, 万科, 已经, 认为, 部分, 首套, 我们, 人民, 原文, 没有, 详情, 推出, 笋盘, 集团, 可能, 保障, 下跌, 小区, 财经, 酒店, 继续, 建筑, 深圳, 超过, 需求, 活动, 三线城市, 武汉, 增长, 指数, 户型, 建设, 收入, 日笋盘, 今天, 贷款, 达到, 首套房贷, 客户, 更多, 限购政策, 佛山, 时间, 预计, 放松, 人士, 数据, 调整, 国际, 廉租, 任志强, 减少, 新闻, 阳光, 问题, 仅需万, 装修, 花园, 增加, 影响, 二三, 四川, 回归, 新浪房产, 研究, 公寓, 生活, 设计]

教育

[教育, 转发, 评论, 微博, 原文, 事故, 孩子, 来自, 江苏, 新浪, 安全, 考试, 丰县, 英语, 我们, 死亡, 首羡, 北京, 新闻, 今天, 他们, 工作, 时间, 幼儿, 进行, 侧翻, 老师, 问题, 活动, 可以, 东方, 交通, 什么, 管理, 自己, 研究, 新东方, 专业, 关注, 社会, 司机, 幼儿园, 政府, 要求, 徐州, 没有, 上海, 经济, 目前, 江苏丰县, 国际, 部门, 已经, 下午, 现场, 参加, 表示, 商学院, 造成, 培训, 课程, 记者, 毕业, 亡人数, 四六级, 丰县首羡, 通过, 都市, 情况, 网友, 企业, 如何, 首羡镇, 领导, 开始, 超载, 需要, 死亡人数, 当地, 朋友, 侧翻事故, 驾驶, 机构, 责任, 这样, 公务员, 网络, 发生重大, 发生侧, 甘肃, 信息, 标准, 公布, 申请, 讲座, 提供, 教授, 如果, 启德, 意见]

文学出版

[转发, 微博, 杂志, 评论, 推荐, 出版, 小说, 新浪, 原文, 作品, 自己, 可以, 乔布斯, 第期, 什么, 世界, 出版社, 生活, 故事, 意林, 关注, 北京, 上市, 封面, 今天, 时间, 已经, 阅读, 活动, 支持, 朋友, 欢迎, 文化, 开始, 科学, 内容, 分享, ★★, 时尚, 孩子, 编辑, 感谢, 希望, 苹果, 喜欢, 感恩, 经典, 即将, 动漫, 订阅, 因为, 意林杂志, 如果, 地址, 生命, 粉丝, 当当, 工作, 期待, 幸福, ★★★, 官方, 科幻, 下午, 精彩, 设计, 联系, 先生, 系列, 值得, 学出版社, 各位, 预售, 参与, 主编, 漫画, 时候, 购买, 国际, 电子, 免费, 新闻, 更多, 客户, 电影, 谢谢, 敬请, 预告, 获得, 研究, 火花, 知道, 快乐, 重要, 艺术, 正式, 书籍, 全球, 南京, 兴趣]

旅游

[转发, 微博, 原文, 世界, 滑雪, 活动, 这里, 成都, 新浪, 城市, 温泉, 公园, 可以, 生活, 文化, 原文转发, 原文评论, 摄影, 酒店, 体验, 国际, 欢迎, 我们, 度假, 浪漫, 关注, 发展, 西藏, 自然, 位于, 杂志, 四川, 报名, 自驾, 机会, 韩国, 圣诞, 历史, 北京, 时间, 开始, 时尚, 推荐, 分享, 门票, 古镇, 公司, 特色, 森林, 云南, 没有, 经济, 朋友, 三亚, 台湾, 滑雪场, 如果, 风情, 参加, 什么, 优惠, 官方, 更多, 免费, 建筑, 香港, 有机会, 感受, 购物, 峨眉, 环球, 冬季, 方式, 户外, 服务, 网站, 休闲, 西岭雪山, 非常, 工作, 福建, 详情, 频道, 享受, 投票, 丽江, 名校, 生态, 正式, 武汉, 免票, 攻略, 峨眉山, 广播, 新疆, 第二, 自己, 红色, 以及, 观光]

时尚

[转发, 评论, 原文, 微博, 设计, 中国, 来自, 原文转发, 原文评论, 造型, 搭配, 新浪, 我们, 婚纱, 模特, 品牌, 系列, 可以, 关注, 圣诞, 婚礼, 活动, 艺术, 自己, 摄影, 设计师, 国际, 珠宝, 风格, 杂志, 喜欢, 世界, 男士, 创意, 北京, 街拍, 先生, 芭莎, 什么, 经典, 今天, 更多, 秋冬, 分享, 潮流, 化妆, 冬季, 推荐, 支持, 流行, 上海, 如果, 推出, 明星, 专业, 全球, 效果, 参加, 非常, 选择, 产品, 气质, 优惠, 巴黎, 开始, 网站, 获得, 瑞丽, 新娘, 奢华, 盛典, 服饰, 市场, 奢侈品, 优雅, 适合, 期待, 休闲, 拍摄, 生活, 麦包, 温暖, 打造, 官方, 春夏, 各种, 机会, 价元, 欢迎, 感觉, 已经, 肌肤, 哈哈, 颜色, 简单, 复古, 精致, 保暖, 围巾, 只要]

校园

[转发, 环保, 教育, 微博, 招聘, 评论, 我们, 毕业, 活动, 老师, 时间, 原文, 青年, 本科, 北京, 安全, 参加, 管理, 孩子, 举行, 艺术, 保护, 优秀, 可以, 开始, 进行, 欢迎, 志愿, 培训, 工作, 协会, 师范, 研究, 没有, 信息, 国际, 同学们, 技术, 关注, 计划, 知识, 要求, 新青年, 绿色, 原文转发, 需要, 舞蹈, 音乐, 原文评论, 乐山, 自己, 现场, 科技, 项目, 英语, 新疆, 下午, 方式, 志愿者, 事故, 网络, 重庆, 将于, 工程, 咨询, 新闻, 浙江, 新东方, 演讲, 高校环保, 参与, 社团, 作品, 分享, 死亡, 已经, 设计, 他们, 今天, 什么, 江苏, 政府, 交通, 简章, 环境, 问题, 条件, 即将, 选择, 第二, 资源, 动画, 相关, 课程, 论坛, 世界, 组织, 宣传, 丰县, 推荐]

汽车

[转发, 评论, 微博, 我们, 公司, 原文, 奥迪, 品牌, 新浪, 市场, 宝马, 活动, 大众, 东风, 分享, 国际, 发动机, 北京, 上海, 奔驰, 系统, 可以, 广州, 客户, 设计, 安全, 已经, 销售, 豪华, 丰田, 驾驶, 概念, 改装, 原文转发, 原文评论, 杂志, 正式, 方向, 关注, 进口, 销量, 没有, 轮胎, 雪佛兰, 保时捷, 州车展, 交通, 推出, 年度车型, 如果, 什么, 全球, 公里, 目前, 获得, 使用, 行驶, 今天, 新闻, 开始, 冬季, 福特, 广州车展, 座驾, 世界, 百事达, 长城, 价格, 以及, 增长, 消费, 参与, 优惠, 服务, 颁奖, 技术, 售价, 官方, 企业, 部分, 保养, 时尚, 法拉利, 方面, 生产, 长安, 通过, 情况, 召回, 客户端, 环保, 问题, 亮相, 影响, 未来, 莱斯, 兰博基尼, 生活, 专业, 注意]

游戏

[城市, 微博, 活动, 世界, 英雄, 三国, 可以, 腾讯, 视频, 网络, 测试, 获得, 魔兽, 支持, 公会, 联盟, 开启, 官方, 礼包, 已经, 欢迎, 正式, 英雄联盟, 什么, 参与, 转发, 期待, 最受, 风云, 投票, 开始, 体验, 穿越, 关注, 魔兽世界, 公司, 分享, 激活, 领取, 争霸, 时间, 手机, 发布, 收听, 免费, 参加, 奖励, 用户, 电子, 下载, 推荐, 自己, 朋友, 战争, 激活码, 点击, 受欢迎, 平台, 竞技, 喜欢, 进行, 最受欢迎, 推出, 经典, 穿越火线, 有机会, 设计, 单机, 勇士, 不删档, 加入, 频道, 梦幻, 首款, 运营, 农场, 评论, 公布, 大冲锋, 希望, 决赛, 电影, 终于, 即将, 移动, 小鸟, 新浪, 版本, 官方微博, 系统, 成功, 地下城, 每天, 给力, 需要, 链接, 音乐, 产品, 暴雪, 星际]

生活

[转发, 评论, 微博, 原文, 可以, 活动, 新浪, 我们, 北京, 原文转发, 原文评论, 淘宝, 生活, 圣诞, 自己, 产品, 电话, 手机, 使用, 购物, 时尚, 开始, 现金, 分钟, 工作, 朋友, 注意, 分享, 价格, 如果, 免费, 关注, 皮肤, 安全, 已经, 什么, 气温, 孩子, 团购, 疯抢, 公司, 设计, 包邮, 官方, 优惠, 地区, 公安, 参与, 网站, 目前, 交通, 获得, 健康, 品牌, 消费, 服务, 信息, 推荐, 需要, 网络, 地址, 空气, 进行, 减肥, 欢迎, 红包, 抽奖, 方法, 商城, 喜欢, 订票, 选择, 美容, 提供, 购买, 冬季, 这样, 有机会, 如何, 问题, 辐射, 电脑, 参加, 下午, 新闻, 企业, 左右, 营养, 提醒, 客户, 电视, 影响, 警方, 他们, 联系, 时候, 售票, 详情, 价值, 报名]

美食

[转发, 原文, 评论, 餐厅, 微博, 放入, 咖啡, 来自, 分钟, 即可, 圣诞, 北京, 可以, 做法, 我们, 活动, 今天, 推荐, 洗净, 套餐, 喜欢, 鸡蛋, 什么, 倒入, 巧克力, 分享, 新浪, 欢迎, 地址, 价元, 制作, 朋友, 优惠, 关注, 蛋糕, 原价元, 土豆, 免费, 葡萄, 营养, 萝卜, 福州, 团购, 时间, 开业, 时候, 价格, 详情, 不错, 少许, 健康, 寿司, 开始, 辣椒, 适量, 牛排, 品尝, 生活, 翻炒, 牛奶, 特色, 料理, 口感, 均匀, 搅拌, 享受, 消费, 广场, 特别, 电话, 拌匀, 已经, 机会, 服务, 葡萄酒, 正宗, 豆腐, 仅元, 调料, 排骨, 获得, 知道, 更多, 下午, 麻辣, 自己, 世界, 时光, 粉丝, 鸡翅, 香蕉, 白糖, 经典, 糯米, 厦门, 香天下, 产品, 捞出, 如果, 番茄]

育儿

[原文, 转发, 评论, 微博, 原文转发, 原文评论, 活动, 自己, 奶粉, 食物, 什么, 父母, 专家, 时间, 注意, 开始, 培养, 健康, 需要, 早教, 爸爸, 新浪, 家庭, 营养, 安全, 母乳, 喂养, 每天, 水果, 如何, 影响, 故事, 医院, 习惯, 学习, 布奇, 智灵通, 游戏, 父亲, 进行, 阅读, 方法, 这些, 上海, 婴幼儿, 适合, 应该, 频道, 幼儿园, 帮助, 朋友, 怎么, 运动, 睡眠, 音乐, 今天, 各种, 快乐, 饮食, 容易, 电视, 环境, 自信, 感冒, 产品, 选择, 泡泡, 提高, 错误, 了解, 世界, 谣言, 参加, 问题, 优优宝贝, 知道, 满足, 孕妇, 圣诞, 母乳喂养, 辅食, 粉碎, 美国, 最佳, 增强, 兴趣, 保持, 鼓励, 避免, 课程, 分钟, 知识, 蛋白, 吸收, 添加, 保健, 促进, 良好, 制作, 是否]

财经

[经济, 投资, 黄金, 反弹, 银行, 指数, 继续, 政策, 公司, 可能, 增长, 目前, 投资者, 人民, 价格, 交易, 支撑, 震荡, 今天, 企业, 关注, 危机, 人民币, 证券, 货币, 欧洲, 板块, 走势, 央行, 我们, 影响, 数据, 风险, 转发, 问题, 微博, 白银, 全球, 分析, 短线, 评论, 调整, 发展, 操作, 昨日, 建议, 预计, 附近, 连续, 压力, 机构, 新浪, 如果, 消息, 时间, 技术, 回落, 开始, 趋势, 什么, 利率, 目标, 欧债, 通胀, 产品, 存款, 水平, 政府, 显示, 认为, 未来, 商品, 地产, 跌停, 消费, 维持, 分享, 早盘, 明显, 阻力, 保险, 腾讯, 工作, 债务, 月份, 准备, 空间, 收益, 再次, 表示, 需要, 万亿, 区间, 沪指, 货币政策, 季度, 超过, 联储, 需求, 管理]

转载须注明:码农场 » 基于信息熵和互信息的新词识别

分享到:更多 ()
  1. 博主你好,想问一下 是不是只统计 Bi-Gram 就可以了,还有我记得之前看到一些新词发现的方法,就是内部凝固度(mi)、边界自由度(le re) 与词频分别设置三个阈值. 大于阈值就提取出来,另外想问一下这种方法是不是只能两个term成一个词语,三个就不行了吧?

      • 博主为啥我得到的那你跟的不一样,语料应该是一样的,是不是你把那些词都加进字典了。。
        生活.data
        [转发微博, 转发评论, 官方微博, 天气预报, 机会获得, 电话订票, 原文转发, 公安机关, 官方网站, 铁路部门, 工作人员, 淘宝商城, 气象台发布, 部分地区, 温馨提示, 京东商城, 联系电话, 中国移动, 字头列车, 旅客列车, 血液循环, 双子座流星雨, 食品安全, 交通安全, 全国包邮, 网络售票, 发生一起, 淘宝购物, 不要立即, 最高气温, 参与活动, 网上购票, 互联网售票, 全球时尚, 新浪厦门, 警方提示, 笔记本电脑, 抢购原价, 注意事项, 注意保暖, 大部地区, 正确使用, 手机用户, 夜间多云, 提醒市民, 车票预售, 猪肉价格, 交通广播, 取暖电器, 智能手机, 校车事故, 天津航空, 平板电脑, 爱心人士, 广州深圳, 即可获得, 有效沟通, 健康饮食, 新浪福建, 港澳通行证, 生活服务, 知名品牌, 最低气温, 淘宝旗舰店, 地区气温, 订票电话, 江苏丰县, 优惠活动, 活动转发, 报名参加, 时尚瘦身, 头条新闻, 扬帆计划, 免费领取, 相关部门, 新浪乐居, 读书频道, 贵重物品, 手机钱包, 馒头商城, 健康减肥, 地区天气, 人力资源, 身边朋友, 研究人员, 购物网站, 价格上涨, 已经成为, 生活妙招, 购物广场, 有效证件, 参加活动, 死亡人数, 不要孩子, 活动地址, 网络订票, 个人信息, 空气中的, 打四黑除四害, 微博活动, 互联网购票, 大肠菌群, 整形美容, 即可获赠, 限时抢购, 淘宝促销, 数据显示, 公安局出入境, 促销活动, 儿童摄影, 新浪湖北, 绿色环保, 垃圾分类, 降低胆固醇, 时尚杂志, 拨打电话, 商业模式, 轨道交通, 便民服务, 正在转让, 国际机场, 新闻频道, 选择适合, 网上银行, 部门提醒, 身体健康, 提供信息, 北京上海, 最低温度, 真实身份, 正在进行, 空气质量, 网络购票, 宣布老人, 不同程度, 工作经验, 大驾光临, 朋友注意, 享受免费, 冷空气影响, 中指无名指, 便衣警察, 小米手机, 气温下降, 万达江苏, 万达广场, 窗口代售, 发表博文, 欧莱雅清润, 家居吊顶]
        美食.data
        [转发评论, 转发微博, 原文转发, 沙县小吃, 官方微博, 怡保咖啡, 阳澄湖大闸蟹, 食品安全, 抢购原价, 餐厅开业, 制作方法, 机会获得, 免费试吃, 美食情报, 天下火锅, 松露巧克力, 中国味道, 餐厅位于, 厦门美食, 超值套餐, 搅拌均匀, 大肠菌群, 分享图片, 推荐团购, 酱油料酒, 福州美食, 消费即可, 包旺锅贴, 味道不错, 莲子百合, 北京美食, 洋葱餐厅, 北京天下, 感恩回馈, 含有丰富, 大众点评, 金针菇海蜇丝, 切成细丝, 焦糖布丁, 团购原价, 大丰收鱼庄, 新东方烹饪, 仓山万达, 朱全香天下, 新视角餐厅, 一道美味, 和谐广场, 武汉杂志, 拌匀即可, 一起放入, 重庆火锅, 陕西新东方, 时尚餐厅, 食尚北京, 拉面骨汤, 福建美食, 太平沙财记, 日本料理, 起士林大饭店, 安佳蛋挞, 中国饮食, 揾食珠三角, 隆重开业, 敬请期待, 广东厨神, 悦达广场, 酱油味精, 上海滩餐厅, 京东商城, 美味菜品, 做法原料, 不要错过, 做法新鲜, 更多惊喜, 餐饮行业, 浙江卫视, 中国石化, 美图秀秀, 木金肉丸, 联系方式, 猩猩小肥羊, 做法五花肉, 花椒茴香, 时时牛排, 寿司寿司, 美食推荐, 营养丰富, 淘宝旗舰店, 官方网站, 淀粉勾芡, 活动内容, 下午茶套餐, 开业全场, 获奖名单, 原价咖啡, 即可享受, 四海一家, 洗净去皮, 详情原文, 美食厨房, 鱼翅捞饭, 分享照片, 戚风蛋糕, 味精香油, 调料拌匀, 钱江晚报, 诚意谢谢, 酸酸甜甜, 玫瑰人生, 令人愉悦, 福州食尚, 特色小吃, 两岸咖啡, 放入烤箱, 传统小吃, 梦幻餐厅, 免费聚餐, 营养美味, 做饭简单, 成都美食, 牛排餐厅, 土豆去皮, 去皮切成, 美味人生, 公布中奖, 关注赣州, 贵阳新东方, 工作人员, 用户需求, 最高价值, 爱吃一道菜, 地沟油生产, 美食餐厅, 蛋白质脂肪, 卫生等级, 土豆焖饭, 美食订餐, 感谢光临, 雕刻时光, 海鲜海鲜, 享受原价, 牛排套餐, 牛肉做法, 多多支持, 详细做法, 脂肪含量, 美食福州, 棒约翰粉丝, 精美台历, 市场监督管理]
        育儿.data
        [母乳喂养, 伊顿幼儿园, 培养宝宝, 转发评论, 进口奶粉, 适合宝宝, 音乐胎教, 不要孩子, 爸爸妈妈, 孩子不要, 孩子成长, 早教中心, 转发微博, 原文转发, 帮助宝宝, 宝宝健康, 儿童医院, 宝宝说话, 宝宝出生, 布奇乐乐, 金色湖畔, 育儿贴士, 孩子生活, 配方奶粉, 注意事项, 培养孩子, 阅读兴趣, 官方微博, 影响孩子, 鼓励宝宝, 母乳配方, 妈妈宝宝, 护理专家, 儿童心理, 出生宝宝, 宝宝右脑, 添加辅食, 幼儿园园长, 婴幼儿奶粉, 方法宝宝, 英语学习, 孩子培养, 粉碎专家, 亲子关系, 引导孩子, 智力发育, 孩子想象力, 专家在线, 帮助孩子, 饮食注意, 孩子学习, 宝宝智力, 开发宝宝, 好大夫育儿, 年画宝贝, 茁壮成长, 新东方泡泡, 育儿交流, 宝贝频道, 辅食添加, 粗制食物, 宝宝安全, 发表博文, 老婆多多, 孩子电视, 孩子健康, 扬子晚报, 对孩子影响, 冠军宝贝, 读者校园, 宝宝成长, 宝宝探索, 不要错过, 宝宝认识, 宝宝学习, 孩子阅读, 儿童安全, 了解孩子, 宝宝感冒, 孩子一起, 不要对孩子, 宝宝良好, 在线答疑, 家庭教育, 新浪亲子, 卫生习惯, 孩子发展, 激发孩子, 孩子学会, 宝宝更聪明, 容易引发, 鼓励孩子, 和睦白洁, 儿童性教育, 时间布奇, 详细原文, 诚诚妈咪, 右脑潜能, 协调能力, 小儿推拿, 频道播出, 孕产期保健, 创新小天才, 自信口头禅, 光盘礼仪, 心智成长, 体重身长, 美国孩子, 抱抱早教, 儿童心智, 母乳适合, 育儿培养, 抱抱妈妈, 从小养成, 远景上海, 发育所需, 浙江微博, 新生宝宝, 小麦难题, 潜能开发, 上海新东方, 奶粉宝宝, 接种疫苗, 水果图案, 以内不要, 家长对孩子, 宝宝社交, 属于新生儿, 不利于儿童, 宝贝家长, 动画故事, 不要过分, 宝宝艺术, 动手能力, 不要抱着, 尽量避免, 孕妇旅客, 消化功能, 频道联合, 社交能力, 做出正确, 促进宝宝, 孩子远离, 尽量不要, 促进婴儿, 宝宝准备, 对孩子进行, 不宜孩子, 建议宝宝, 科学合理]
        财经.data
        [货币政策, 中国经济, 中国股市, 上证指数, 超跌反弹, 冲高回落, 欧盟峰会, 股指期货, 黄金白银, 欧美股市, 经济增长, 欧洲央行, 金融危机, 债务危机, 资本市场, 重庆啤酒, 人民币升值, 人民币汇率, 黄金价格, 实体经济, 全球经济, 新浪财经, 窄幅震荡, 美国经济, 宏观调控, 宏观经济, 转发评论, 美国股市, 避险情绪, 经济前景, 全球股市, 整数关口, 做空中国, 投资策略, 基金经理, 金融市场, 基准利率, 对冲基金, 大幅下跌, 经济数据, 外汇储备, 评级机构, 转发微博, 震荡整理, 经济复苏, 国际金价, 民间借贷, 经济增速, 大盘反弹, 存款准备金率, 经济形势, 外围市场, 新华保险, 反弹行情, 资金流入, 证券市场, 耐心等待, 股市大跌, 出现反弹, 欧洲股市, 财经年会, 维持震荡, 跳空缺口, 黄金期货, 地方政府, 主力合约, 投资机会, 控制仓位, 创出新低, 技术性反弹, 房贷利率, 连续交易日, 利好消息, 恒生指数, 市场人气, 现货黄金, 通胀压力, 大幅下挫, 国债收益率, 新股发行, 股票市场, 实战解盘, 商品市场, 利空消息, 可能出现, 期货市场, 资金流出, 理财产品, 下行风险, 证券投资基金, 利空因素, 宏观政策, 建议投资者, 下跌趋势, 经济下滑, 黄金投资, 量化宽松, 重点关注, 市场资金, 继续关注, 连续跌停, 上升趋势, 财经频道, 高峰论坛, 市场预期, 首席经济学家, 探底回升, 大幅反弹, 上方压力, 股市解盘, 债务问题, 震荡上行, 海通证券, 继续下跌, 流通市值, 可可黄金, 欧元区经济, 世界经济, 市场情绪, 国内经济, 郭树清建议, 板块出现, 两市股指, 市场信心, 国泰君安, 鲁丰股份, 权重板块, 内幕交易, 金融机构, 股指震荡, 继续震荡, 黄金市场, 操作策略, 欧洲银行, 中国企业, 原油期货, 市场继续, 大盘下跌, 数据显示, 社保基金, 连续下跌, 出现大幅, 国信证券, 黄金走势, 外围股市, 下方支撑, 市场表现, 前期低点, 股市暴跌, 基金仓位]

    • 先不评价该文章有无技术含量,该“耗时三年”研究出来的“算法”在《红楼梦》上的测试结果如下:
      【主词】 | 遗忘词频 | 累计词频 | 词权值 | 成熟度(%)
      =========== 共1455 个 =============
      【是一】 | 1.99 | 2 | 28.7946 | 0.1
      【来二】 | 2 | 2 | 28.7878 | 0.13
      【你道】 | 2 | 2 | 28.7803 | 0.16
      【开卷第一回】 | 1 | 1 | 15.1044 | 0
      【过一】 | 1 | 1 | 15.1044 | 0
      【番梦幻】 | 1 | 1 | 15.1044 | 0
      【事隐】 | 1 | 1 | 15.1044 | 0
      【撰此】 | 1 | 1 | 15.1044 | 0
      【但书】 | 1 | 1 | 15.1044 | 0
      【所记】 | 1 | 1 | 15.1044 | 0
      【何事何】 | 1 | 1 | 15.1044 | 0
      【今风尘】 | 1 | 1 | 15.1044 | 0
      【日所】 | 1 | 1 | 15.1044 | 0
      【有之】 | 1 | 1 | 15.1044 | 0
      前十个结果没有一个是词语。

我的开源项目

HanLP自然语言处理包基于DoubleArrayTrie的Aho Corasick自动机