基于信息熵和互信息的新词识别

本新词发现模块已经集成到HanLP中开源。

本文是《基于互信息和左右信息熵的短语提取识别》的姊妹篇，文如其名，没什么新意。

谈起“新词识别”“新词发现”，有许多论文慷慨陈词：要设计丰富的特征模板、建立训练语料库、引入CRF、ME、SVM、神经网络等模型并综合起来、在某某的基础上加入某种规则改进、最终在一个98年芝麻大小的训练集上训练出一个西瓜那么大的模型，并且在细菌大小的测试集上提高了2.33%的OOV识别率，展望未来，一定可以应用到更广阔的领域中。

可惜现实总是很残酷：既没有人力物力整理语料，服务器也只有绿豆大小的内存，放不下半个西瓜。

简单好用的方法有两个：

外部数据源

直接从输入法的词库抓，比如几千万级别的词库，或者写代码提取，如果业务系统中有用户的Query Log，也能充当不错的数据源。从这些数据源中做些筛选，大约可以解决80%的问题。

无监督新词识别

从外部数据源拿数据无法解决所有问题，比如需求的语境使用了很多非主流词语、人工筛选第三方数据费时费力等等。本文着重介绍一种利用了词语内部构词信息和外部构词信息的简单方法，参考了Moonshile的Python实现，用Java重写了一遍，并且对诸如一些参数的选取等细节进行额外说明。

词的定义

这是个因人而异的复杂问题，语言学上也许更加复杂，且对解决“新词识别”这个问题帮助不大。比如，“小提琴”究竟算是一个词，还是“小+提琴”两个词呢？“你好”到底是“你+好”还是“你好”呢？“不是”=“不+是”吗？事实上，一千个人有八百个标准，而每种答案对大众来讲都是可以理解的。许多分词语料库的标准也各不相同，然而有些分词器提供商将一些在A语料库上训练的开源分词器拿到自己私有的B语料库上跑benchmark，借以标榜自己的产品“准确率”有多高。且不说这些产品本身就在私有语料库上训练过的优势，普通用户其实根本不关心“你好”还是“你+好”这样的问题，然而这些问题的确会使“准确率”产生较大影响（因为常用词的分词标准不同，同时常用词的出现频率又大）。

对这么纠结的问题，不如回避它，将其置换为计算机能够处理的提问方式。

给定一段文本，随机取一个片段，如何判断这个片段是否是一个词呢？

如果这个片段左右的搭配很丰富，并且片段内部成分搭配很固定，则认为这是一个词。将这样的片段筛选出来，按照频率由高到低排序，排在前面的那些即为词语。如果文本足够大，再用通用的词典过滤掉“旧词”，就可以得到“新词”了。

内部凝聚力=互信息

片段的内部信息定义为：

片段的概率/(子序列概率的积)

如果将其取个对数，就得到了互信息：

片段可能有很多个子序列，将其互信息累加起来作为最终的“聚合度”。

比如“电影院”=“电+影院”+“电影+院”。

对于概率P的计算，比较模糊的是分母的取法。分母本应该是所有词的频次之和，Moonshile的Python实现取的是文档的长度，这的确可以度量所有片段的总频次，作为一个近似值，在实践中也能取得较好的效果。

外部搭配=左右信息熵

左右信息熵其实反映的是片段的外部信息，即这个片段是否有丰富的左右搭配。更详细的介绍请参考《基于互信息和左右信息熵的短语提取识别》，不再赘述。

效果测试

取最长备选片段长度为4，最低信息熵为0.4，最低互信息为lg100，按词频排序取前100，在一些语料上的测试结果如下：

西游记

[行者, 八戒, 师父, 三藏, 大圣, 唐僧, 沙僧, 菩萨, 和尚, 怎么, 妖精, 甚么, 悟空, 国王, 徒弟, 呆子, 闻言, 如何, 今日, 兄弟, 宝贝, 取经, 铁棒, 认得, 果然, 东土, 性命, 观看, 神通, 公主, 玉帝, 变作, 哥哥, 土地, 欢喜, 陛下, 太宗, 贫僧, 金箍, 变做, 爷爷, 模样, 多少, 十分, 兵器, 袈裟, 怪物, 变化, 手段, 近前, 往西, 唬得, 娘娘, 衣服, 猪八戒, 左右, 仔细, 吩咐, 金箍棒, 师徒们, 晓得, 奈何, 观音, 安排, 言语, 孙悟空, 钉钯, 叩头, 关文, 毫毛, 半空, 五百, 拜佛, 递与, 妖邪, 筋斗, 汝等, 抬头, 战兢兢, 径至, 许多, 孩儿, 扯住, 齐天大圣, 葫芦, 变变, 皇帝, 收拾, 小的们, 壁厢, 佛祖, 忍不住, 未曾, 往西天, 摇身, 玄奘, 造化, 本事, 白马, 揭谛]

红楼梦

[什么, 凤姐, 贾母, 黛玉, 姑娘, 宝钗, 怎么, 丫头, 如今, 老太太, 贾政, 奶奶, 自己, 贾琏, 平儿, 老爷, 东西, 告诉, 咱们, 姨妈, 薛姨妈, 所以, 探春, 紫鹃, 鸳鸯, 湘云, 如此, 妹妹, 婆子, 贾珍, 李纨, 答应, 尤氏, 晴雯, 媳妇, 屋里, 打发, 刘姥姥, 小丫头, 林黛玉, 薛蟠, 香菱, 孩子, 姊妹, 到底, 明白, 连忙, 丫鬟, 麝月, 姨娘, 哥哥, 贾蓉, 小厮, 果然, 意思, 周瑞, 怎么样, 主意, 已经, 越发, 跟前, 瞧瞧, 房中, 喜欢, 惜春, 贾赦, 句话, 雨村, 贾芸, 吩咐, 况且, 悄悄, 嫂子, 兄弟, 素日, 芳官, 金桂, 贾环, 言语, 时候, 雪雁, 多少, 嬷嬷, 许多, 迎春, 林之孝, 糊涂, 十分, 女孩, 奴才, 伏侍, 预备, 衣服, 收拾, 林姑娘, 请安, 莺儿, 赵姨娘, 年纪, 父亲]

三国演义

[玄德, 孔明, 唬骸, 司马, 丞相, 关公, 云长, 荆州, 夏侯, 张飞, 吕布, 诸葛, 商议, 赵云, 魏延, 孙权, 刘备, 左右, 司马懿, 姜维, 袁绍, 周瑜, 东吴, 十余, 都督, 马超, 陛下, 黄忠, 张郃, 背后, 太守, 先生, 有诗, 诸葛亮, 先锋, 孟获, 曹仁, 邓艾, 张辽, 奈何, 江东, 徐州, 成都, 喊声, 忽然, 祁山, 徐晃, 百姓, 鲁肃, 众官, 刘表, 接应, 十里, 百余, 视之乃, 董卓, 许褚, 三千, 庞德, 许都, 分付, 粮草, 夏侯惇, 追赶, 文武, 皇叔, 五千, 孙策, 五百, 兄弟, 洛阳, 挺枪, 关兴, 孙乾, 星夜, 子龙, 准备, 西川, 陆逊, 袁术, 曹洪, 间忽, 刘璋, 一彪, 张翼, 可轻, 英雄, 甘宁, 司马昭, 乘势, 夏侯渊, 朝廷, 李傕, 投降, 埋伏, 庞统, 传令, 首级, 心腹, 张苞]

微博热词

众所周知，微博是个挖掘热点。如果我们将一个微博分类语料丢进去，每个分类的热词是什么呢？

IT

[苹果, 微博, 中国, 小米, 用户, 移动, 转发, 公司, 可以, 电脑, 互联网, 软件, 智能, 乔布斯, 腾讯, 产品, 使用, 游戏, 系统, 评论, 什么, 网络, 诺基亚, 市场, 新浪, 支持, 服务, 活动, 设计, 技术, 分享, 三星, 视频, 关注, 功能, 平板, 信息, 免费, 下载, 已经, 自己, 今天, 数据, 安卓, 科技, 开始, 推出, 问题, 平台, 数码, 网站, 企业, 进行, 获得, 体验, 计算, 目前, 时间, 原文, 全球, 北京, 新浪微博, 客户, 世界, 平板电脑, 需要, 提供, 安全, 推荐, 品牌, 正式, 显示, 朋友, 未来, 百度, 消息, 谷歌, 内容, 移动互联, 销售, 笔记本, 商务, 屏幕, 摩托, 云计算, 地址, 官方, 消费, 客户端, 价格, 空间, 工作, 浏览, 终端, 购买, 摩托罗拉, 他们, 广告, 升级, 开放]

人文艺术

[艺术, 自己, 我们, 转发, 可以, 评论, 作品, 微博, 成功, 什么, 需要, 因为, 生活, 幸福, 原文, 喜欢, 放下, 时间, 时候, 所以, 摄影, 知道, 文化, 世界, 北京, 术馆, 朋友, 今天, 工作, 当代, 照片, 改变, 如果, 开始, 展览, 分享, 开幕, 心态, 美术馆, 孤独, 真正, 音乐, 东西, 失败, 很多, 其实, 结果, 精神, 活动, 件事, 动物, 欣赏, 问题, 蒙娜丽莎, 简单, 下午, 任何, 能够, 承受, 书画, 企业, 感恩, 价值, 获得, 举行, 永远, 快乐, 客户, 国际, 影响, 财富, 员工, 欢迎, 组织, 智慧, 精彩, 已经, 市场, 努力, 目标, 设计, 创业, 创造, 部分, 领导, 身体, 英国, 追求, 掌握, 如何, 主义, 职业, 共同, 或者, 参加, 复古, 属于, 学习, 过程, 收藏]

传媒

[微博, 转发, 评论, 节目, 新闻, 卫视, 关注, 新浪, 我们, 新浪微博, 原文, 媒体, 欢迎, 今天, 活动, 电视台, 频道, 音乐, 主持, 敬请, 生活, 栏目, 网络, 参与, 收听, 可以, 北京, 原文评论, 原文转发, 进行, 信息, 记者, 支持, 朋友, 请关注, 主持人, 分享, 交通, 江西, 问题, 什么, 他们, 现场, 时间, 热线, 通过, 江苏, 故事, 期待, 内容, 开始, 精彩, 观众, 敬请关注, 访谈, 传媒, 自己, 互动, 快乐, 幸福, 如何, 世界, 之声, 周六, 都市, 希望, 点击, 继续, 社会, 感谢, 企业, 客户, 城市, 投票, 方式, 官方, 需要, 嘉宾, 编辑, 手机, 财经, 非常, 获得, 专业, 湖南, 国际, 更多, 调查, 网站, 浙江, 影响, 公司, 完美, 已经, 文化, 特别, 旅游, 湖北, 各位, 交通广播]

体育

[体育, 微博, 世界, 转发, 直播, 新浪, 分享, 冠军, 我们, 今天, 英超, 运动, 北京, 俱乐部, 风云, 教练, 上海, 巴萨, 国际, 没有, 时间, 什么, 皇马, 阿内尔卡, 获得, 申花, 新闻, 今晚, 关注, 已经, 希望, 最佳, 开始, 欢迎, 精彩, 排名, 世界杯, 如果, 乒乓, 人物, 梅西, 自己, 视频, 节目, 切尔西, 科比, 高尔夫, 姚明, 曼联, 湖南, 进行, 可以, 结束, 广州, 巴塞, 辽宁, 可能, 正式, 支持, 预告, 男子, 第二, 互动, 湖南经视, 拜仁, 官方, 问题, 明星, 第轮, 选手, 分钟, 曼城, 媒体, 期待, 职业, 消息, 女子, 欧洲, 米兰, 新疆, 保罗, 报道, 表现, 话题, 欧冠, 加盟, 李娜, 总决赛, 热火, 超级, 记者, 广东, 巴塞罗那, 西班牙, 锦标赛, 这样, 签约, 武汉, 利亚, 回复]

健康

[健康, 转发, 原文, 评论, 微博, 治疗, 营养, 维生素, 疾病, 医院, 注意, 身体, 皮肤, 感冒, 时间, 每天, 糖尿病, 患者, 运动, 预防, 分钟, 萝卜, 冬季, 减肥, 蛋白, 导致, 消化, 容易, 血液, 蜂蜜, 血管, 艾滋病, 新浪, 牛奶, 排毒, 蔬菜, 眼睛, 影响, 引起, 长期, 转发微博, 降低, 保护, 症状, 苹果, 疲劳, 脂肪, 研究, 早餐, 出现, 吸收, 方法, 睡眠, 保持, 增加, 心脏, 功能, 减少, 感染, 需要, 造成, 缓解, 自己, 美容, 问题, 专家, 咳嗽, 神经, 工作, 女性, 免疫, 血压, 促进, 什么, 补充, 蛋白质, 我们, 功效, 卫生, 进行, 胡萝卜, 关注, 酸奶, 习惯, 细胞, 正常, 慢性, 干燥, 危害, 今天, 葡萄, 活动, 柠檬, 呼吸, 吸烟, 过度, 避免, 衰老, 丰富, 睡前]

动漫

[腾讯, 海贼王, 分享, 作品, 游戏, 世界, 我们, 微博, 火影, 文化, 电影, 视频, 喜欢, 啦啦, 没有, 系列, 开始, 转发, 可以, 欢迎, 什么, 第二, 国际, 公司, 嘉年华, 精彩, 官方, 连载, 原创, 评论, 金龙奖, 自己, 首届, 故事, 预告, 制作, 地址, 希望, 关注, 经典, 播出, 杂志, 四格, 学院, 已经, 今天, 北京, 爆笑, 电视, 主题, 支持, 陈维东, 武汉, 短片, 目前, 产业, 朋友, 圣诞, 颁奖, 频道, 设计, 联盟, 进行, 少女, 英雄, 搞笑, 盛典, 未来, 将于, 期精彩, 第届, 宣传, 第话, 工作, 内容, 更多, 即将, 感谢, 艺术, 论坛, 详情, 那些, 期待, 创意, 获奖, 举行, 有限, 加入, 推荐, 高清, 继续, 剧场, 公布, 文字, 政府, 消息, 各位, 济公, 发布, 角色]

女性

[转发, 皮肤, 可以, 原文, 评论, 肌肤, 面膜, 减肥, 微博, 化妆, 自己, 效果, 原文转发, 原文评论, 时尚, 整形, 分钟, 健康, 座第, 收听, 我们, 星座, 喜欢, 产品, 方法, 瘦身, 什么, 除皱, 生活, 注射, 保湿, 每天, 适合, 妈妈, 蜂蜜, 柠檬, 射手, 推荐, 新浪, 天蝎, 活动, 分享, 运动, 选择, 双鱼, 皱纹, 食物, 蛋白, 问题, 狮子, 搭配, 冬季, 男人, 时间, 养颜, 手术, 容易, 朋友, 排毒, 白羊, 天蝎座, 因为, 巨蟹, 按摩, 时候, 简单, 第名, 胶原, 注意, 中国, 金牛, 脂肪, 双子座, 摩羯, 天秤, 保持, 水瓶, 减少, 衰老, 设计, 医院, 如何, 进行, 转发微博, 补充, 改善, 滋润, 狮子座, 需要, 射手座, 指甲, 毛孔, 治疗, 睫毛, 维生素, 功效, 双鱼座, 专家, 羯座, 胶原蛋白]

娱乐

[电影, 转发, 音乐, 微博, 评论, 新浪, 演唱, 分享, 演唱会, 十三钗, 娱乐, 卫视, 视频, 原文, ★★, 今天, 北京, 喜欢, 那些, 现场, 自己, 明星, 期待, 演员, 导演, 关注, 腾讯, 龙门, 什么, 活动, ★★★, 那些年, 朋友, 支持, 故事, 节目, 龙门飞甲, 精彩, 女孩, 可以, 张艺谋, 我们一起, 春晚, 世界, 时间, 乐队, 电视剧, 原文评论, 原文转发, 推荐, 获得, 因为, 广播, 亲密, 作品, 主题, 上映, 跨年, 时尚, 经典, 非常, 周杰伦, 专辑, 高清, 预告, 时代, 官方, 观众, 希望, 感谢, 生活, 播放, 开始, 亲密敌人, 已经, 失恋, 参与, 哈哈, 如果, 粉丝, 全球, 有机会, 国际, 幸福, 门票, 南京, 最佳, 时候, 主持, 知道, 文化, 杨幂, 主题曲, 客户端, 更多, 潜伏, 圣诞, 艺术, ★★★★, 江苏]

广告公共

[广告, 微博, 我们, 转发, 评论, 绿色, 自己, 公益, 环境, 世界, 湖南, 中国, 朋友, 环保, 参与, 关注, 机会, 原文, 湖南省, 新浪, 开始, 优惠, 计划, 可以, 工作, 低碳, 进行, 电视, 城市, 分享, 获得, 问题, 家园, 音响, 环境事件, 测试, 腾讯, 老爸, 时间, 老师, 今天, 什么, 支持, 新闻, 感恩, 物种, 互动, 安全, 这里, 报名, 世界上, 广东, 创意, 网络, 因为, 专业, 圣诞, 商城, 准备, 喜欢, 公司, 只要, 方式, 提供, 管理, 免费, 健康, 黄伟老师, 湖泊, 保护, 投放, 官方, 长沙, 海洋, 成功, 手机, 孩子, 彻底, 企业, 欢迎, 营销, 系列, 更多, 正式, 天使, 品牌, 已经, 畅游, 第二, 参加, 川宁, 现场, 温暖, 招商, 容易, 客卖, 低碳生活, 信息, 宣传, 媒体]

房产

[北京, 政策, 调控, 转发, 微博, 成交, 利率, 评论, 限购, 经济, 住宅, 银行, 平方米, 新浪, 项目, 面积, 开发商, 平米, 销售, 目前, 来自, 环比, 投资, 优惠, 上涨, 政府, 亿元, 线城市, 表示, 商品, 开始, 公司, 广州, 万科, 已经, 认为, 部分, 首套, 我们, 人民, 原文, 没有, 详情, 推出, 笋盘, 集团, 可能, 保障, 下跌, 小区, 财经, 酒店, 继续, 建筑, 深圳, 超过, 需求, 活动, 三线城市, 武汉, 增长, 指数, 户型, 建设, 收入, 日笋盘, 今天, 贷款, 达到, 首套房贷, 客户, 更多, 限购政策, 佛山, 时间, 预计, 放松, 人士, 数据, 调整, 国际, 廉租, 任志强, 减少, 新闻, 阳光, 问题, 仅需万, 装修, 花园, 增加, 影响, 二三, 四川, 回归, 新浪房产, 研究, 公寓, 生活, 设计]

教育

[教育, 转发, 评论, 微博, 原文, 事故, 孩子, 来自, 江苏, 新浪, 安全, 考试, 丰县, 英语, 我们, 死亡, 首羡, 北京, 新闻, 今天, 他们, 工作, 时间, 幼儿, 进行, 侧翻, 老师, 问题, 活动, 可以, 东方, 交通, 什么, 管理, 自己, 研究, 新东方, 专业, 关注, 社会, 司机, 幼儿园, 政府, 要求, 徐州, 没有, 上海, 经济, 目前, 江苏丰县, 国际, 部门, 已经, 下午, 现场, 参加, 表示, 商学院, 造成, 培训, 课程, 记者, 毕业, 亡人数, 四六级, 丰县首羡, 通过, 都市, 情况, 网友, 企业, 如何, 首羡镇, 领导, 开始, 超载, 需要, 死亡人数, 当地, 朋友, 侧翻事故, 驾驶, 机构, 责任, 这样, 公务员, 网络, 发生重大, 发生侧, 甘肃, 信息, 标准, 公布, 申请, 讲座, 提供, 教授, 如果, 启德, 意见]

文学出版

[转发, 微博, 杂志, 评论, 推荐, 出版, 小说, 新浪, 原文, 作品, 自己, 可以, 乔布斯, 第期, 什么, 世界, 出版社, 生活, 故事, 意林, 关注, 北京, 上市, 封面, 今天, 时间, 已经, 阅读, 活动, 支持, 朋友, 欢迎, 文化, 开始, 科学, 内容, 分享, ★★, 时尚, 孩子, 编辑, 感谢, 希望, 苹果, 喜欢, 感恩, 经典, 即将, 动漫, 订阅, 因为, 意林杂志, 如果, 地址, 生命, 粉丝, 当当, 工作, 期待, 幸福, ★★★, 官方, 科幻, 下午, 精彩, 设计, 联系, 先生, 系列, 值得, 学出版社, 各位, 预售, 参与, 主编, 漫画, 时候, 购买, 国际, 电子, 免费, 新闻, 更多, 客户, 电影, 谢谢, 敬请, 预告, 获得, 研究, 火花, 知道, 快乐, 重要, 艺术, 正式, 书籍, 全球, 南京, 兴趣]

旅游

[转发, 微博, 原文, 世界, 滑雪, 活动, 这里, 成都, 新浪, 城市, 温泉, 公园, 可以, 生活, 文化, 原文转发, 原文评论, 摄影, 酒店, 体验, 国际, 欢迎, 我们, 度假, 浪漫, 关注, 发展, 西藏, 自然, 位于, 杂志, 四川, 报名, 自驾, 机会, 韩国, 圣诞, 历史, 北京, 时间, 开始, 时尚, 推荐, 分享, 门票, 古镇, 公司, 特色, 森林, 云南, 没有, 经济, 朋友, 三亚, 台湾, 滑雪场, 如果, 风情, 参加, 什么, 优惠, 官方, 更多, 免费, 建筑, 香港, 有机会, 感受, 购物, 峨眉, 环球, 冬季, 方式, 户外, 服务, 网站, 休闲, 西岭雪山, 非常, 工作, 福建, 详情, 频道, 享受, 投票, 丽江, 名校, 生态, 正式, 武汉, 免票, 攻略, 峨眉山, 广播, 新疆, 第二, 自己, 红色, 以及, 观光]

时尚

[转发, 评论, 原文, 微博, 设计, 中国, 来自, 原文转发, 原文评论, 造型, 搭配, 新浪, 我们, 婚纱, 模特, 品牌, 系列, 可以, 关注, 圣诞, 婚礼, 活动, 艺术, 自己, 摄影, 设计师, 国际, 珠宝, 风格, 杂志, 喜欢, 世界, 男士, 创意, 北京, 街拍, 先生, 芭莎, 什么, 经典, 今天, 更多, 秋冬, 分享, 潮流, 化妆, 冬季, 推荐, 支持, 流行, 上海, 如果, 推出, 明星, 专业, 全球, 效果, 参加, 非常, 选择, 产品, 气质, 优惠, 巴黎, 开始, 网站, 获得, 瑞丽, 新娘, 奢华, 盛典, 服饰, 市场, 奢侈品, 优雅, 适合, 期待, 休闲, 拍摄, 生活, 麦包, 温暖, 打造, 官方, 春夏, 各种, 机会, 价元, 欢迎, 感觉, 已经, 肌肤, 哈哈, 颜色, 简单, 复古, 精致, 保暖, 围巾, 只要]

校园

[转发, 环保, 教育, 微博, 招聘, 评论, 我们, 毕业, 活动, 老师, 时间, 原文, 青年, 本科, 北京, 安全, 参加, 管理, 孩子, 举行, 艺术, 保护, 优秀, 可以, 开始, 进行, 欢迎, 志愿, 培训, 工作, 协会, 师范, 研究, 没有, 信息, 国际, 同学们, 技术, 关注, 计划, 知识, 要求, 新青年, 绿色, 原文转发, 需要, 舞蹈, 音乐, 原文评论, 乐山, 自己, 现场, 科技, 项目, 英语, 新疆, 下午, 方式, 志愿者, 事故, 网络, 重庆, 将于, 工程, 咨询, 新闻, 浙江, 新东方, 演讲, 高校环保, 参与, 社团, 作品, 分享, 死亡, 已经, 设计, 他们, 今天, 什么, 江苏, 政府, 交通, 简章, 环境, 问题, 条件, 即将, 选择, 第二, 资源, 动画, 相关, 课程, 论坛, 世界, 组织, 宣传, 丰县, 推荐]

汽车

[转发, 评论, 微博, 我们, 公司, 原文, 奥迪, 品牌, 新浪, 市场, 宝马, 活动, 大众, 东风, 分享, 国际, 发动机, 北京, 上海, 奔驰, 系统, 可以, 广州, 客户, 设计, 安全, 已经, 销售, 豪华, 丰田, 驾驶, 概念, 改装, 原文转发, 原文评论, 杂志, 正式, 方向, 关注, 进口, 销量, 没有, 轮胎, 雪佛兰, 保时捷, 州车展, 交通, 推出, 年度车型, 如果, 什么, 全球, 公里, 目前, 获得, 使用, 行驶, 今天, 新闻, 开始, 冬季, 福特, 广州车展, 座驾, 世界, 百事达, 长城, 价格, 以及, 增长, 消费, 参与, 优惠, 服务, 颁奖, 技术, 售价, 官方, 企业, 部分, 保养, 时尚, 法拉利, 方面, 生产, 长安, 通过, 情况, 召回, 客户端, 环保, 问题, 亮相, 影响, 未来, 莱斯, 兰博基尼, 生活, 专业, 注意]

游戏

[城市, 微博, 活动, 世界, 英雄, 三国, 可以, 腾讯, 视频, 网络, 测试, 获得, 魔兽, 支持, 公会, 联盟, 开启, 官方, 礼包, 已经, 欢迎, 正式, 英雄联盟, 什么, 参与, 转发, 期待, 最受, 风云, 投票, 开始, 体验, 穿越, 关注, 魔兽世界, 公司, 分享, 激活, 领取, 争霸, 时间, 手机, 发布, 收听, 免费, 参加, 奖励, 用户, 电子, 下载, 推荐, 自己, 朋友, 战争, 激活码, 点击, 受欢迎, 平台, 竞技, 喜欢, 进行, 最受欢迎, 推出, 经典, 穿越火线, 有机会, 设计, 单机, 勇士, 不删档, 加入, 频道, 梦幻, 首款, 运营, 农场, 评论, 公布, 大冲锋, 希望, 决赛, 电影, 终于, 即将, 移动, 小鸟, 新浪, 版本, 官方微博, 系统, 成功, 地下城, 每天, 给力, 需要, 链接, 音乐, 产品, 暴雪, 星际]

生活

[转发, 评论, 微博, 原文, 可以, 活动, 新浪, 我们, 北京, 原文转发, 原文评论, 淘宝, 生活, 圣诞, 自己, 产品, 电话, 手机, 使用, 购物, 时尚, 开始, 现金, 分钟, 工作, 朋友, 注意, 分享, 价格, 如果, 免费, 关注, 皮肤, 安全, 已经, 什么, 气温, 孩子, 团购, 疯抢, 公司, 设计, 包邮, 官方, 优惠, 地区, 公安, 参与, 网站, 目前, 交通, 获得, 健康, 品牌, 消费, 服务, 信息, 推荐, 需要, 网络, 地址, 空气, 进行, 减肥, 欢迎, 红包, 抽奖, 方法, 商城, 喜欢, 订票, 选择, 美容, 提供, 购买, 冬季, 这样, 有机会, 如何, 问题, 辐射, 电脑, 参加, 下午, 新闻, 企业, 左右, 营养, 提醒, 客户, 电视, 影响, 警方, 他们, 联系, 时候, 售票, 详情, 价值, 报名]

美食

[转发, 原文, 评论, 餐厅, 微博, 放入, 咖啡, 来自, 分钟, 即可, 圣诞, 北京, 可以, 做法, 我们, 活动, 今天, 推荐, 洗净, 套餐, 喜欢, 鸡蛋, 什么, 倒入, 巧克力, 分享, 新浪, 欢迎, 地址, 价元, 制作, 朋友, 优惠, 关注, 蛋糕, 原价元, 土豆, 免费, 葡萄, 营养, 萝卜, 福州, 团购, 时间, 开业, 时候, 价格, 详情, 不错, 少许, 健康, 寿司, 开始, 辣椒, 适量, 牛排, 品尝, 生活, 翻炒, 牛奶, 特色, 料理, 口感, 均匀, 搅拌, 享受, 消费, 广场, 特别, 电话, 拌匀, 已经, 机会, 服务, 葡萄酒, 正宗, 豆腐, 仅元, 调料, 排骨, 获得, 知道, 更多, 下午, 麻辣, 自己, 世界, 时光, 粉丝, 鸡翅, 香蕉, 白糖, 经典, 糯米, 厦门, 香天下, 产品, 捞出, 如果, 番茄]

育儿

[原文, 转发, 评论, 微博, 原文转发, 原文评论, 活动, 自己, 奶粉, 食物, 什么, 父母, 专家, 时间, 注意, 开始, 培养, 健康, 需要, 早教, 爸爸, 新浪, 家庭, 营养, 安全, 母乳, 喂养, 每天, 水果, 如何, 影响, 故事, 医院, 习惯, 学习, 布奇, 智灵通, 游戏, 父亲, 进行, 阅读, 方法, 这些, 上海, 婴幼儿, 适合, 应该, 频道, 幼儿园, 帮助, 朋友, 怎么, 运动, 睡眠, 音乐, 今天, 各种, 快乐, 饮食, 容易, 电视, 环境, 自信, 感冒, 产品, 选择, 泡泡, 提高, 错误, 了解, 世界, 谣言, 参加, 问题, 优优宝贝, 知道, 满足, 孕妇, 圣诞, 母乳喂养, 辅食, 粉碎, 美国, 最佳, 增强, 兴趣, 保持, 鼓励, 避免, 课程, 分钟, 知识, 蛋白, 吸收, 添加, 保健, 促进, 良好, 制作, 是否]

财经

[经济, 投资, 黄金, 反弹, 银行, 指数, 继续, 政策, 公司, 可能, 增长, 目前, 投资者, 人民, 价格, 交易, 支撑, 震荡, 今天, 企业, 关注, 危机, 人民币, 证券, 货币, 欧洲, 板块, 走势, 央行, 我们, 影响, 数据, 风险, 转发, 问题, 微博, 白银, 全球, 分析, 短线, 评论, 调整, 发展, 操作, 昨日, 建议, 预计, 附近, 连续, 压力, 机构, 新浪, 如果, 消息, 时间, 技术, 回落, 开始, 趋势, 什么, 利率, 目标, 欧债, 通胀, 产品, 存款, 水平, 政府, 显示, 认为, 未来, 商品, 地产, 跌停, 消费, 维持, 分享, 早盘, 明显, 阻力, 保险, 腾讯, 工作, 债务, 月份, 准备, 空间, 收益, 再次, 表示, 需要, 万亿, 区间, 沪指, 货币政策, 季度, 超过, 联储, 需求, 管理]

 知识共享署名-非商业性使用-相同方式共享：码农场 » 基于信息熵和互信息的新词识别