放牧代码和思想
专注自然语言处理、机器学习算法
    愛しさ 優しさ すべて投げ出してもいい

基于信息熵和互信息的新词识别

目录

微博新词

上述“热词”只是根据词频排序的结果,事实上还是存在许多常用词。如果我们用HanLP中的通用词库进行过滤,就能得出每个话题的新词了:

IT

[新浪微博, 平板电脑, 移动互联, 原文转发, 原文评论, 雷军, 给力, 青年用, 中国联通, 中国电信, 数码公会, 腾讯科技, 条微博, 礼包, 即有机会, 位好友, ··, 官方微博, 李开复, 云技术, 本条微博, 请关注, 有机会赢, 开放购买, 能助手, 酷盘, 开发工, 下载地址, 市场份额, 念乔布斯, 即日起, 社交网络, 大众软件, 应用程序, 明年月, 唯冠, 新浪科技, 内人士, 新品发布, ···, 伴随着, 今年月, 详情请, 完美越狱, 索爱, 入网许可, 外媒, 正式发布, 电脑管家, 品发布会, 千元, 尤其是, 半年, 十二, 最新版本, 抽取名, 告诉我, 第四, 修的过来, 什么呢, 阿里巴巴, 随机抽取, 毒霸, 消息称, 每天都, 移动终端, 开放平台, 无线网络, 小时内, 解决方, 普通用户, 此条, 日下午, 分享照片, 国外媒体, 达亿, 三星电子, 价值元, 淘宝商城, 媒体报道, 用户来说, 大家一起, 什么时候, 知情人士, 京东商城, 单反相机, 苏宁, 人人都, 日凌晨, 真的很, 转播本, 数码影, 更方便, 午点, 美国市场, 移动设备, 条广播, 已经成为, 文艺青年, 第三方]

人文艺术

[术馆, 件事, 敢不敢, 在这里, 第三, 掌握在, 做了个, 日下午, 背景中, 过程中, 吕澎, 只动物, 三十三, 经典语录, 两种, 总会有, 国古代, 本周, 洪凌, 每个人都, 雕刻时光, 天下之, 王小, 街旁, 力能够, 画北京, 三届, 知道这些, 有好心态, 新絲路, 改变不了, 台灣, 承泰, 佛性, 宝钢员工, 子才可以, 份工作, 痛而不言, 汪峰, 奇异景象, 剧集, 设计大赛, 利用价值, 這張, 耐得, 给你一个, 代美术馆, 粗暴地, 表现出, 利和自, 者其心, 中央美, 都有一个, 路号, 真正富有, 付之成林, 琴演奏, 没有任何, 欢迎大家, 笑而不语, 暂停时间, 柯岩, 文化产业, 桑塔格, 于传统, 或负责, 换位思考, 下午点, 体会到, 当代摄影, 我们追, 小鲁, 就叫, 另一个, 会这么, 或组织, 小勺子, 周六下午, 幕此次, 定目标, 客拍, 原副, 中兴南路, 将于月, 张照片, 收租院, 第三届, 却得到, 千万, 十二, 力超越, 价值体系, 九不交, 副主, 件翡翠, 剧院舞蹈, 主题作品, 上面记, 到最后, 别人的友]

传媒

[新浪微博, 原文转发, 原文评论, 请关注, 敬请关注, 之声, 交通广播, 欢迎大家, 官方微博, 有机会, 江西卫视, 午点, 让我们, 电台在线, 西交通, 第三, 本周六, 在线收听, 敬请收看, 请期待, 直播间, 浙江卫视, 第一财经, 中国之声, 金牌调解, 城市之, 贵州卫视, 详情请, 期刊网, 中央人民, 天晚上, 正在直播, 上午点, 星光大道, 周一至周, 品聚, 湖南卫视, 海峡卫视, 湖北卫视, 点半, 安徽卫视, 城市之音, 周一到, 公益活动, 播出时间, 今天下午, 节目预告, 者调查, 第七, 特别节目, 广电总, 李湘, 每晚点, 位幸运, 中国电信, 电子竞技, 下午点, 今天晚上, 旅游卫视, 陪你, 名注册, 至周六, 主流媒体, 不夜城, 今日海峡, 黄金时, 优优宝贝, 天津卫视, 音悦, 晚上点, 还可以, 踊跃参与, 文艺广播, 周一到周, 读者调查, 调查显示, 非诚勿, 评选活动, 提高了, 只要你, 广大观众, 第三届, 百万, 希望大家, 即日起, 可直接, 开始啦, 就觉得, 卖难, 实名注册, 江苏综艺, 南国都市, 歌声传奇, 正式开, 本周六晚, 宁夏卫视, 工作经验, 欢迎收看, 汽车音乐, 东方卫视]

体育

[阿内尔卡, 姚明, 巴塞, 湖南经视, 第轮, 李娜, 五星体育, 意甲, 热刺, 奖候选, 国家德比, 尤文, 最佳教练, 足球之夜, 职业联赛, 场均, 今晚点, 斯托克城, 如果你, 第届, 官方微博, 能成为, 陕西人和, 锦标赛上, 广大球迷, 级联赛, 直播预告, 邓华德, 节目预告, 微博互动, 上海申花, 洲杯, 林丹, 邵佳一, 原文转发, 原文评论, 反赌, 第七, 刘翔, 尼奥, 苏格拉底, 中超联赛, 辽宁女篮, 第二届, 丁俊晖, 率队, 马布里, 以场均, 本周末, 净胜, 古蒂, 上官鹏飞, 北京国安, 多特蒙德, 在江西, 让我们, 五套, 蒂加纳, 高于中国, 主场迎, 史上最, 为您带来, 第七届, 孙杨, 那么多, 大家一起, 请关注, 易建联, 尔滨, 斯堡, 姚明同学, 指代表, 加盟申花, 皇马巴萨, 年度最佳, 场均分, 同时也, 童鞋们, 将为您, 您认为, 正式加盟, 你心目中, 阿尔滨, 职业生涯, 天晚上, 杯篮球赛, 竞赛频道, 州恒大, 特鲁, 冬季转会, 木有, 主场迎战, 反赌扫黑, 明天凌晨, 陈奕迅, 正式宣布, 揭幕战, 欧冠强, 勒布, 世纪大战]

健康

[转发微博, 抗衰, 一定要, 血液循环, 是一种, 一份, 让你, 秋冬, 请收听, 季养生, 营养价值, 致癌物质, 官方微博, 梨汁, 血管疾病, 营养成分, 含有丰富, 小窍门, 凌晨点, 预防感冒, 第二天, 消化不良, 研究人员, 排出体, 冬季养生, 请关注, 教你, 眼睛疲劳, 病毒感染, 筛查, 研究发现, 生姜红糖, 补充维, 戴隐形, 阴润, 牙齿敏感, 很容易, 霉素, 小智慧, 效果更, 救肺, 含丰富, 会加重, 爱康国宾, 着电脑, 生活方式, 用脑过度, 生姜大, 全麦, 咽喉疼, 勺蜂蜜, 表现为, 几次, 手拍, 肤干燥, 间盘突出, 滋阴润, 温馨提示, 喝一大杯, 膳食纤维, 市儿, 第四, 半小时, 不要立, 午点, 含量高, 长痘, 锅内, 富含维, 睡眠不足, 郁症, 致肥胖, 种疫苗, 心肌梗, 大量排出, 友们, 蔬菜水果, 肿瘤放, 不要太, 最佳时间, 容易疲, 登特口腔, 保护眼睛, 瘦身减肥, 注意保暖, 生活习惯, 丰富的维, 小百科, 黄颖博士, 养生保健, 回事, 工作效率, 喝咖啡, 一点对, 唇干, 第六, 引起腹, 千万, 人民医院, 化学物质]

动漫

[金龙奖, 陈维东, 将于, 期精彩, 第话, 第届, 十二, 轻小说, 猫老, 第册, 爱心龟, 错过了, 第二期, 「」, 第四届, 银都文化, 痛车, 爆笑王国, 们一起, 奖公示, 欢迎大家, 南派三叔, 阿狸, 请关注, 地球环保, 在线观看, 官方微博, 史上最, ··, 第二届, 麦圈, 我们一起, 角川, 冠军得, 希望能, 宫崎骏, 朱斌, 文化艺术, 敢达, 转发微博, 让我们, 英雄联盟, 分享照片, 张小盒, 给力, 夏达, 呆头, 买到, 侠传, 天闻角川, 九九, 发生了, 银魂, 即将开, 奖获奖, 衍生产品, 获奥斯卡, 且还, 第三届, 哆啦梦, 富坚义博, 穷神, 王者争霸, 索隆, ···, 倒鸭子, 佳连, 作人员, 午点, 卡通频道, 月新番, 金鹰, 力谢, 一起玩, 谢谢你, 两位, 「魔法少, 节暨, 开始连载, 继续努力, 网球王子, 布请, 希望大家, 萌地球, 「轻音」, 井上雄彦, 下午点, 「穷神」, 神秘人物, 上海美术, 福雷斯, 可可系列, 祝武汉, 番「, 电视系列, 秀大赛, 果揭, 樱木花道, 大家踊跃, 为主角]

女性

[原文评论, 原文转发, 座第, 第名, 转发微博, 羯座, 请收听, 秋冬, 十二, 教你, 整形美容, 座找, 敷面膜, 脸部保养, 第一名, 这款, 抗衰, 小窍门, 十二星座, 去黑, 准妈, 女性朋友, 价元, 去痘, 甜酒酿, 去黑头, 注射除皱, 仅售元, 很简单, 小技巧, 孕妈, 听→, 一定要, 血液循环, 到底要, 温馨提示, 神仙水, 名双子, 雅诗兰黛, 型师, 魔羯, 种妙, 孕妈妈, 原价元, 韩式, 收听→, 男人最, 蚕丝面膜, 膜法世家, 小编, 秋冬季节, 官方微博, 来参加, 减肥方法, 军双, 名水瓶, 让你从, 徐州美莱, 种妙方, 羯座第, 十分钟, 油性皮肤, 件事, 装新款, 排毒养颜, 清水洗, 座第十, 容器里, 植村秀, 婚纱摄影, 时尚新娘, 缩毛孔, 整形专家, 教你美容, 推荐给, 食物如, 油脂分泌, 伊博士, 用温水, 补充维, 草茶, 片敷, 很重要, 下蹲, 膜纸, 肉毒素, 画眼线, 怎么化, 赶紧收, 千万, 格纹, 精华液, 就有机会, 给大家, 更显, 并位, 星座第一, 整形医, 祛痘印, 收听瘦身]

娱乐

[★★, ★★★, 那些年, 龙门飞甲, 张艺谋, 我们一起, 原文转发, 原文评论, 跨年, 周杰伦, 亲密敌人, 有机会, 杨幂, ★★★★, 失恋天, 分享视频, 南卫视, 莱坞, 林俊杰, 官方微博, 陈奕迅, 就有机会, 江苏卫视, 吉思光, 五月天, 给力, 音乐广播, 音悦台, 卫视跨年, 徐静蕾, 湖南卫视, 郭德纲, 这首歌, 周笔畅, 冯小刚, 刘德华, 徐克, 请关注, 第一次, 步步惊心, 抢票, 霆锋, 达人秀, 裸婚时代, 斯卡, 陈坤, 谢娜, 位好友, 王力宏, 午点, 浙江卫视, 袭警抢枪, 第届, ··, 范冰冰, 谢霆锋, 组图, 张柏芝, 盛乡, 王菲, 周迅, 汪峰, 韩庚, 李宇春, 安徽卫视, 冯绍峰, 张学友, 一定要, 非诚勿扰, 林志, 希望大家, 吴奇隆, 倪妮, 刘若英, 行榜, 汤唯, 敬请关注, 下午点, 颁奖典礼, ···, 全球首, 时尚先生, 筷子兄弟, 本周六, 赵薇, 虾米音乐, 美人天下, 刘诗诗, 张惠妹, 独家首, 深海之战, 故事广播, 千万, 何炅, 李连杰, 哈哈哈哈, 梁静茹, 韩红, 赵本山, 东方卫视]

广告公共

[环境事件, 世界上, 黄伟老师, 川宁, 穴位于, 客卖, 外来物种, 龙王拳, 易家湖, 低碳生活, 自优酷网, 飞音宝, 绿色风, 上濒, 一定要, 好礼, 年画宝, 个孩子, 邀您, 地球我, 优秀的人, 有机会获, 请关注, 广东电台, 平板音响, 务员, 小女巫, 小编, 宽阔的是, 川宁茶, 居泰隆, 绿家园, 就断不致, 也是一种, 最具, 染了, 不删档, 坚持到, 大成建筑, 乘用车, 报名参, 野生动物, 愿牵, 腾讯公益, 精英测试, 绿色圣诞, 年画宝宝, 笑抽了, 这一天, 欢乐迪, 千愿牵手, 千万, 五周岁, 动物保护, 二线城市, 力他, 宝宝宝, 如果你, 届中国, 到最后, 好的决, 已被, 准备了精, 好乐买, 益您, 央视广告, 入驻, 了美丽, 个印花, 天早上, 天下通, 光明云媒, 沙棘树, 正式开始, 欢迎大家, 你来拿, 桃源店三, 查并, 体验活动, 在这一天, 春天百货, 在江湖, 住了, 个老乡, 旱万人, 数量有限, 周年庆, 提供商, 拉式, 活动开始, 湘潭公, 然後, 狼隐契丹, 吧川宁, 报名参加, 盼您, 礼包, 禁止在, 护湖泊, 吗没有]

房产

[线城市, 首套, 笋盘, 三线城市, 首套房贷, 日笋盘, 廉租, 任志强, 限购政策, 二三, 仅需万, 新浪房产, 调控政策, 原文转发, 李嘉诚, 基准利率, 商品住, 比下降, 天府新区, 贷款利率, 资亿元, 天朗, 商品住宅, 墅质, 经济工作, 环比下降, 半岛阳光, 部分银行, 建筑面积, 买房送, 三盛, 多家银行, 将继续, 经济适用, 雅居, 降价潮, 全国个, 今日笋盘, 合理回, 住房保障, 新一轮, 销售金额, 重点城市, 优惠利率, 折优惠, 西安楼市, 米环比, 已回归, 宏观调控, 均价元, 普通商品, 斥资亿, 销售面积, 年同期, 调控目标, 补差价, 今年以来, 等多家, 利率普遍, 约万平, 老业主, 比涨幅, 江宁, 沪深, 李稻葵, 依诺维绅, 你猜, 明年经济, 住房建设, 陈晟, 销售业绩, 提前还, 报名参, 把房地产, 性需求, 户型方正, 银行首套, 配套完善, 郭树清, 豪装, 胡大维, 翡丽, 官方微博, 中原地产, 秦虹, 现不少, 看房团, 让你, 消息传出, 湖花园, 湾国际, 品牌中介, 小区环境, 王珏林, 最高优惠, 标杆房企, 你猜你, 中标价, 次活动, 访时]

教育

[首羡, 侧翻, 江苏丰县, 亡人数, 四六级, 丰县首羡, 首羡镇, 死亡人数, 侧翻事故, 发生侧, 发生重大, 日下午, 都市晨报, 翻入河, 英语四, 级考试, 徐州丰县, 为躲避, 征求意见, 发生一起, 交通安全, 江苏徐州, 核载人, 六级考试, 实载人, 午点, 自主招生, 教育盛典, 后屯, 造成名, 发生侧翻, 详情请, 最具, 老罗, 下午点, 意见稿, 官方微博, 当事司机, 负全责, 澳际, 公安部门, 死亡据, 许徐州, 关部门, 此次事, 张后屯村, 英孚, 万通汽修, 阳市, 县公安, 英语口语, 事故原因, 送小学生, 最具品牌, 有关部门, 环球雅思, 广播电, 工作人员, 正宁, 洪旭, 刑拘, 丰县公安, 第一财经, 少儿英语, 日凌晨, 省教育厅, 试成绩, 自主选拔, 术学院, 被撞, 事故遇难, 公交专用, 中公教育, 伤亡人数, 几十, 交通违法, 县公安局, 今天下午, 村教师, 食品安全, 违法行为, 七十, 紧急通, 全球最, 业资格, 报名参加, 被刑拘, 社会各界, 第四届, 几万, 一定要, 今天上午, 网上报名, 隆重举行, 赴美, 给大家, 安全知识, 年自考, 泄题, 跨考]

文学出版

[第期, 意林, ★★, 意林杂志, ★★★, 学出版社, 中国国家, 拓普志, ★★★★, 篇小说, 动漫脚本, 郭敬明, 价元, 火花网, 条微博, 漫友, 上架, 名车志, 史蒂, 位好友, 下午点, 谢大家, 沃杂志, 新书预, 乔布斯传, 请关注, 官方微博, 轻小说, 详情请, 还没有, 万字, 不见不散, 价比, 十二, 有机会获, 第四, 萨冈的短, 李宇春, 二十, 恩施晚报, 沈从文, 百万, 非你莫属, 图书大厦, 高尔泰, 传媒集团, 十七, 原价元, 尚舞, 盗墓笔记, 刘俊, 林出版社, 哪些好书, 时装男士, 新书预售, 敬请关注, 苹果公司, 上架预售, 不要错过, 二届, 第六, 伴随着, 目击了, 位朋友, 康永, 乌利希, 淘宝店, 临沂广, 科莫多, 宇宙大, 韶辉, 再联想, 仅元, 有木有, 全国首, 日上午, 且还, 扩为, 被誉为, 云中书城, 角川, 第二届, 第届, 去发现, 史上最, 您的支持, 恩道尔, 年度最佳, 希望大家, 看到这么, 尔夫, 小张对开, 出版发行, 皓宸, 杂志铺, 在香港, 内部刊物, 全球首, 期沃杂志, 榜单]

旅游

[原文转发, 原文评论, 有机会, 西岭雪山, 室外滑雪, 友们, 省旅游局, 国西部, 去哪, 官方微博, 李代山, 唯一一个, 海拔米, 价元, 请关注, 世界上最, 欢迎您, 明年月, 生活方式, 森林公园, 马蹄湾, 阿得莱德, 最适, 饿了, 只需要, 吗这里, 等什么, 约米, 彩云南, 中尼公路, 踩点中国, 大成网, 景区门票, 同程, 最美街景, 景区免票, 上野公园, 嗨顺风, 文化遗, 被誉为, 中国公民, 家级, 届中国, 免票活动, 快来参, 滇藏, 文化遗产, 桦榭, 七彩云南, 正式开, 响沙, 大溪地, 最适合, 日本九州, 族风情, 详情登, 想去哪, 能看到, 历史文化, 老码头, 被称, 第一座, 平遥古城, 有机会赢, 红叶节, 分享图片, 为主题, 前三位, 优家画报, 新疆篇, 宏村, 畲族风情, 如画, 一定要, 安徽黄山, 盐边, 不容错过, 球时尚, 中国十大, 大家介绍, 杜甫草堂, 杨幂, 冰雪世界, 圣寺, 李栓科, 构成了, 段时间, 竹海, 最接近, 两日自, 喀纳斯湖, 是否能, 同行客, 嗨套餐, 全攻略, 古镇位于, 原价元, 原始森林, 星酒店, 报名参加]

时尚

[原文转发, 原文评论, 芭莎, 秋冬, 麦包, 价元, 麦包包, 卡诗, 婚纱摄影, 沙宣, 东田造型, 高跟, 本周, 韶辉, 给力, 巴黎卡诗, 有机会, 模特大赛, 莉婕, 价值元, 施华, 原价元, 银泰, 梦芭莎, 嘉琦, 高级定制, 幸福王国, 传媒集团, 也可以, 么样, 级发型师, 世纪佳人, 张梓, 请点击, 详情请, 官方微博, 仔裤, 请关注, 第三, 可享受, 一定要, 仅售元, 有机会获, 梓琳, 广西卫视, 光美容, 给大家, 尽显, 美丽说, 米娜, 折优惠, 第六, 千万, 加迪, 夏系列, 排扣, 颁奖盛典, 银泰中心, 底液, 官方网, 即日起, 等你来, 创新奖, 第一次, 张梓琳, 说出你, 潮饰女王, 唐毅, 广州曙光, 暖又, 半年, 施华蔻, 苏红, 抗衰, 婚纱礼服, 别册, 不要错过, 等什么, 广场店, 鞋履, 欢迎关注, 路号, 谁说, 课程曾, 中国北部, 小清新, 美容医, 作品发布, 曙光美, 芭莎珠宝, 新的一年, 很简单, 打底毛衣, 普罗蜜思, 婷美, 秋冬新款, 大抽奖, 姚戈, 别错过, 苏芒]

校园

[原文转发, 原文评论, 将于, 高校环保, 绿色风, 载人, 网络营销, 技术学院, 就业指导, 环保社, 安全教育, 招生简章, 环球资源, 报名时间, 第六, 环保协会, 西亚斯, 创业咖啡, 个误区, 了一场, 误区是, 州校友会, 核载人, 消防安全, 枪击案, 网上报名, 不知道, 考试时间, 第十, 一步, 语演, 路号, 记忆大师, 车翻, 公开招聘, 在这里, 英语演讲, 考试成绩, 辽宁地区, 所乡村, 两所, 级考试, 优秀教师, 淡水豚, 世界记忆, 徐小平, 第一位, 区决, 双选, 个误区是, 专业方向, 造成人, 艺考之家, 吗你, 颂钵, 让孩子, 先生为, 技能展示, 连三, 之星, 吸烟率, 启动仪式, 吧收起, 吗你想, 舞蹈类, 这句, 老师说, 编导类, 绿色风将, 第三届, 修课, 第二届, 画等, 用人单位, 科技创新, 第五, 应试技巧, 环保公益, 已经开始, 工程技术, 十五, 杯全国, 环保组织, 就非常, 曹启泰, 有明星脸, 为目标, 本周日, 南邮, 将于明, 动启动, 宣传活, 们带来, 第一讲, 新疆文化, 术高考, 报名方式, 接送车, 决定于, 天下午]

汽车

[原文转发, 原文评论, 州车展, 年度车型, 广州车展, 百事达, 有机会, 国际车展, 混合动力, 自主品牌, 科迈罗, 北京现代, 名车志, 上海车展, 上海大众, 路虎, 第七, 东风风神, 价万元, 售价万, 请关注, 舒适性, 给力, 东风日产, 宝马系, 荣耀十年, 纯电动, 值元, 套件, 全新系, 广汽丰田, 十二, 一汽大众, 东风本田, 最后一, 召回部分, 长安福特, 涡轮增压, 颁奖典礼, 交通安全, 等什么, 千万, 即日起, 奥拉驾, 正式发布, 海国际, 价值元, 览会, 设计套装, 如果你, 要注意, 东京车展, 反倾销税, 销量增, 变形金刚, 量同比, 驾校学, 学车费, 新迈腾, 性能版, 有哪些, 速器, 届广州, 风挡玻璃, 福特野马, 力更强, 氧化碳, 本条微博, 万美元, 代索纳塔, 时尚座驾, 公司决定, 销量增速, 双涡, 销售网络, 长沙车展, 中心举, 还等什么, 即有机会, 膜施工, 就有机会, 组元, 细分市场, 座驾李, 上市售, 优惠元, 天下午, 直播间, 之星, 前脸, 看到这, 段时间, 派送, 国车坛, 管所, 极具, 欧朗, 为了保, 正式上市, 双涡轮]

游戏

[礼包, 英雄联盟, 最受, 魔兽世界, 最受欢迎, 穿越火线, 有机会, 不删档, 大冲锋, 官方微博, 给力, 分享视频, 电子竞技, 刚参与了, 网游公会, 最受期待, 七雄, 第九, 电竞, 梦幻海底, 御龙, 风暴战区, 火爆开, 请关注, 让我们, 请大家, 快来领, 宣传视频, 每天都, 就有机会, 开放测试, 东珈, 并获得, 海贼, 魏传, 奖励快, 正式开启, 毛晗宇, 精英测试, 已经没, 来和我, 三国塔防, 有木有, 之翼, 等什么, 御龙在天, 午点, 望大家, 转发此, 免费领, 将于今, 笑傲江湖, 经济系统, 来试试, 仙境幻想, 炫斗, 款大型, 问道外传, 破万, 传送门, 官方网站, 和我一起, 真·, 今日正式, 删档内测, 快来抢, 三国无双, 妙妙, 详情请, 大放送, 变形金刚, 上古世纪, 魔兽争霸, 圣境, 广大玩家, 伤不起, 盛世三国, 推荐给, 首款大型, 同时在线, 独孤九剑, 准备好了, 送币, 史上最, 好友就, 正式宣布, 二次, 百万, 战争策略, 完美世界, 第一次, 德州扑克, 第五, 雨血, 即将推出, 灾变, 千万, 年度最佳, 突破万, 明年月]

生活

[原文评论, 原文转发, 疯抢, 有机会, 原价元, 一定要, 午点, 风级, 金券, 官方微博, 天气预报, 给力, 即日起, 价值元, 北风级, 让我们, 千万, 就有机会, 电话订票, 预售期, 首羡, 最低气温, 最高气温, 市公安局, 下午点, 童鞋们, 全国包邮, 好乐买, 警方提, 年春运, 上午点, 腾讯微, 教你, 呷哺, 仅售元, 血液循环, 晒单, 第四, 正式开, 路号, 部分地区, 栖巢, 大肠菌群, 最低温, 网络售票, 温馨提示, 票预售期, 二十, 即有机会, 多喝水, 京东商城, 偏北风, 铁路部门, 派送, 位好友, 秋冬, 伊卡璐, 微卖场, 详情请, 件套, 绝味, 千万不要, 十二, 淘宝商城, 快来参, 生活服务, 市气象, 让孩子, 很不错, 之烧, 联系电话, 希望大家, 肉价格, 疯疯, 工作经验, 我们一起, 境证件, 今天下午, 晚上点, 被检, 半小时, 中国移动, 腾讯微博, 欢迎大家, 起来吧, 活动地址, 尊享, 婚年, 活动详情, 请收听, 即将开, 豪礼, 送小米, 请广大, 等你拿, 用温水, 公安机关, 元话费, 绿瘦, 局出入境]

美食

[价元, 原价元, 仅元, 香天下, 栖巢, 有机会, ··, 洗干净, 路号, 豪享来, 五花, 撒上, 呷哺, 沥干, 一定要, 价值元, 味多美, 拌均匀, 有机会获, 洗净切, 电饭, 比比客, 搅拌均匀, 仅售元, 给大家, 分钟即可, 盛大开业, 煮分钟, 小编, 想吃火锅, 官方微博, 折优惠, 派悦坊, 街号, 锅中倒, 匀即可, 不一样, 时时乐, 美食情报, 美食美客, 狮诚, 个小时, 位好友, 很简单, 秘制, 吉野家, 双人套餐, 云吞, 沙县小吃, 韩式, 长寿司, 吃货们, ···, 姜蒜, 茄酱, 大肠菌群, 教你, 三样菜, 微茶楼, 就有机会, 葱姜, 而不腻, 大街号, 有木有, 即日起, 馅料, 约分钟, 沥干水, 拌匀即可, 一人一锅, 粉勾芡, 鸡蛋打, 隆重开业, 吃遍赣州, 这道菜, 蹄膀, 破店, 板长寿司, 蒸分钟, 最适合, 呷哺呷哺, 味千拉面, 请关注, 大家推荐, 订餐电话, 锅魁, 狮诚记, 国瑞, 松本楼, 金券, 牛柳, 谢谢你, 铜盆, 嫩滑, 上岛咖啡, 即可出锅, 如果你, 你知道, 包旺, 洗净切]

育儿

[原文评论, 原文转发, 智灵通, 优优宝贝, 母乳喂养, 育儿贴士, 爸爸妈妈, 进口奶粉, 件事, 和睦家, 出生后, 崔玉涛, 看电视, 金宝贝, 在婴儿时, 绘本, 配方奶, 岁半, 至岁, 在床上, 易引, 类食物, 音乐胎教, 令营, 岁以下, 不要让小, 家庭教育, 版社, 加辅, 迪巧, 很容易, 件事情, 早教中心, 父母必, 金色湖畔, 智力发育, 点此, 注意事项, 添加辅, 孕婴童, 配方奶粉, 让宝宝更, 加辅食, 易引发, 年画宝贝, 稚慧坊, 父母必读, 们赶紧, 容易引, 系列册, 添加辅食, 几本, 亲子关系, 妈咪们, 三岁以, 去医院, 卫生习惯, 一份, 儿童心理, 千万不, 该怎, 种肉, 力发展, 三位, 他失去, 过程中, 对胎儿, 碎菜, 岁左右, 之星, 睡眠质量, 不宜多吃, 家长必须, 容易引发, 皮皮鲁, 生活经验, 他们的心, 一直没有, 两岁半, 室内光线, 在线答疑, 淘乐思, 朵拉, 来报名吧, 人认为, 同时关注, 各位妈妈, 易消化, 专家在线, 星级考, 冠军宝贝, 内保持, 和孩子共, 有抽奖, 爱上书本, 时间观念, 斗妈大, 易导致, 协调能力, 不要错过]

财经

[短线, 欧债, 早盘, 沪指, 货币政策, 恒指, 欧债危机, 均线, 黄金白银, 监会, 经济工作, 工作会议, 个交易日, 第三, 上证指数, 沪深, 债务危机, 逢低, 品价格, 下调存, 数据显示, 同比增, 金融机构, 欧洲央行, 股指期货, 欧美股市, 存准, 调存款, 郭树清, 创新低, 拉升, 逢高, 大宗商品, 重庆啤酒, 欧盟峰会, 低吸, 下调存款, 新华保险, 三季, 兑美元, 十二, 金融危机, 新浪财经, 四季度, 存准率, 主权债, 净流, 成交亿, 原文评论, 原文转发, 背景下, 开低走, 截至月, 财政政策, 预计今日, 上证综指, 年度人物, 十二五, 实体经济, 主权债务, 千万, 二级市场, 现货黄金, 伦铜, 偏弱, 基准利率, 今年以来, 幅居前, 宏观调控, 天通金, 深成指, 会主席, 沪铜, 连续第, 耐心等待, 金正日, 国际金价, 价值投资, 评级机构, 整数关, 触及跌停, 沪深两市, 惠誉, 外汇占款, 再创新低, 中小板, 小时图, 欧债问题, 财经年会, 在线解, 即期汇, 可可黄金, 年同期, 经济前景, 超跌反弹, 标准普尔, 原油期货, 冲高回落, 不排除, 承压]

结论

这种方法的确可以无监督地找出许多词语出来,但是在常用词上的表现较好,在新词上的表现则一般,会取出不少短语出来。如果要专门用于新词识别,还需要加入更多人工或规则的过滤。

如果我们连续跟踪一段时间的“新词”,加入性别、地域、行业、手机型号等维度,想必还能得出更有意思的结果。

Reference

https://github.com/Moonshile/ChineseWordSegmentation

互联网时代的社会语言学:基于SNS的文本数据挖掘

知识共享许可协议 知识共享署名-非商业性使用-相同方式共享码农场 » 基于信息熵和互信息的新词识别

评论 11

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #4

    博主你好,请问有java版本的代码吗,跪求

    3218年前 (2016-08-09)回复
  2. #3

    博主你好顺便能问一下。java代码在哪能看到么?我想做一下测试。

    李健博8年前 (2016-07-29)回复
  3. #2

    http://blog.csdn.net/gzdmcaoyc?viewmode=contents 我觉得和你的文章原理有几分相似。虽然方法不同。

    李健博8年前 (2016-07-29)回复
    • 先不评价该文章有无技术含量,该“耗时三年”研究出来的“算法”在《红楼梦》上的测试结果如下:
      【主词】 | 遗忘词频 | 累计词频 | 词权值 | 成熟度(%)
      =========== 共1455 个 =============
      【是一】 | 1.99 | 2 | 28.7946 | 0.1
      【来二】 | 2 | 2 | 28.7878 | 0.13
      【你道】 | 2 | 2 | 28.7803 | 0.16
      【开卷第一回】 | 1 | 1 | 15.1044 | 0
      【过一】 | 1 | 1 | 15.1044 | 0
      【番梦幻】 | 1 | 1 | 15.1044 | 0
      【事隐】 | 1 | 1 | 15.1044 | 0
      【撰此】 | 1 | 1 | 15.1044 | 0
      【但书】 | 1 | 1 | 15.1044 | 0
      【所记】 | 1 | 1 | 15.1044 | 0
      【何事何】 | 1 | 1 | 15.1044 | 0
      【今风尘】 | 1 | 1 | 15.1044 | 0
      【日所】 | 1 | 1 | 15.1044 | 0
      【有之】 | 1 | 1 | 15.1044 | 0
      前十个结果没有一个是词语。

      hankcs8年前 (2016-07-29)回复
  4. #1

    博主你好,想问一下 是不是只统计 Bi-Gram 就可以了,还有我记得之前看到一些新词发现的方法,就是内部凝固度(mi)、边界自由度(le re) 与词频分别设置三个阈值. 大于阈值就提取出来,另外想问一下这种方法是不是只能两个term成一个词语,三个就不行了吧?

    ooon8年前 (2016-07-26)回复
    • 不是;原理是一样的;词语长度可自定义。

      hankcs8年前 (2016-07-29)回复
      • 博主为啥我得到的那你跟的不一样,语料应该是一样的,是不是你把那些词都加进字典了。。
        生活.data
        [转发微博, 转发评论, 官方微博, 天气预报, 机会获得, 电话订票, 原文转发, 公安机关, 官方网站, 铁路部门, 工作人员, 淘宝商城, 气象台发布, 部分地区, 温馨提示, 京东商城, 联系电话, 中国移动, 字头列车, 旅客列车, 血液循环, 双子座流星雨, 食品安全, 交通安全, 全国包邮, 网络售票, 发生一起, 淘宝购物, 不要立即, 最高气温, 参与活动, 网上购票, 互联网售票, 全球时尚, 新浪厦门, 警方提示, 笔记本电脑, 抢购原价, 注意事项, 注意保暖, 大部地区, 正确使用, 手机用户, 夜间多云, 提醒市民, 车票预售, 猪肉价格, 交通广播, 取暖电器, 智能手机, 校车事故, 天津航空, 平板电脑, 爱心人士, 广州深圳, 即可获得, 有效沟通, 健康饮食, 新浪福建, 港澳通行证, 生活服务, 知名品牌, 最低气温, 淘宝旗舰店, 地区气温, 订票电话, 江苏丰县, 优惠活动, 活动转发, 报名参加, 时尚瘦身, 头条新闻, 扬帆计划, 免费领取, 相关部门, 新浪乐居, 读书频道, 贵重物品, 手机钱包, 馒头商城, 健康减肥, 地区天气, 人力资源, 身边朋友, 研究人员, 购物网站, 价格上涨, 已经成为, 生活妙招, 购物广场, 有效证件, 参加活动, 死亡人数, 不要孩子, 活动地址, 网络订票, 个人信息, 空气中的, 打四黑除四害, 微博活动, 互联网购票, 大肠菌群, 整形美容, 即可获赠, 限时抢购, 淘宝促销, 数据显示, 公安局出入境, 促销活动, 儿童摄影, 新浪湖北, 绿色环保, 垃圾分类, 降低胆固醇, 时尚杂志, 拨打电话, 商业模式, 轨道交通, 便民服务, 正在转让, 国际机场, 新闻频道, 选择适合, 网上银行, 部门提醒, 身体健康, 提供信息, 北京上海, 最低温度, 真实身份, 正在进行, 空气质量, 网络购票, 宣布老人, 不同程度, 工作经验, 大驾光临, 朋友注意, 享受免费, 冷空气影响, 中指无名指, 便衣警察, 小米手机, 气温下降, 万达江苏, 万达广场, 窗口代售, 发表博文, 欧莱雅清润, 家居吊顶]
        美食.data
        [转发评论, 转发微博, 原文转发, 沙县小吃, 官方微博, 怡保咖啡, 阳澄湖大闸蟹, 食品安全, 抢购原价, 餐厅开业, 制作方法, 机会获得, 免费试吃, 美食情报, 天下火锅, 松露巧克力, 中国味道, 餐厅位于, 厦门美食, 超值套餐, 搅拌均匀, 大肠菌群, 分享图片, 推荐团购, 酱油料酒, 福州美食, 消费即可, 包旺锅贴, 味道不错, 莲子百合, 北京美食, 洋葱餐厅, 北京天下, 感恩回馈, 含有丰富, 大众点评, 金针菇海蜇丝, 切成细丝, 焦糖布丁, 团购原价, 大丰收鱼庄, 新东方烹饪, 仓山万达, 朱全香天下, 新视角餐厅, 一道美味, 和谐广场, 武汉杂志, 拌匀即可, 一起放入, 重庆火锅, 陕西新东方, 时尚餐厅, 食尚北京, 拉面骨汤, 福建美食, 太平沙财记, 日本料理, 起士林大饭店, 安佳蛋挞, 中国饮食, 揾食珠三角, 隆重开业, 敬请期待, 广东厨神, 悦达广场, 酱油味精, 上海滩餐厅, 京东商城, 美味菜品, 做法原料, 不要错过, 做法新鲜, 更多惊喜, 餐饮行业, 浙江卫视, 中国石化, 美图秀秀, 木金肉丸, 联系方式, 猩猩小肥羊, 做法五花肉, 花椒茴香, 时时牛排, 寿司寿司, 美食推荐, 营养丰富, 淘宝旗舰店, 官方网站, 淀粉勾芡, 活动内容, 下午茶套餐, 开业全场, 获奖名单, 原价咖啡, 即可享受, 四海一家, 洗净去皮, 详情原文, 美食厨房, 鱼翅捞饭, 分享照片, 戚风蛋糕, 味精香油, 调料拌匀, 钱江晚报, 诚意谢谢, 酸酸甜甜, 玫瑰人生, 令人愉悦, 福州食尚, 特色小吃, 两岸咖啡, 放入烤箱, 传统小吃, 梦幻餐厅, 免费聚餐, 营养美味, 做饭简单, 成都美食, 牛排餐厅, 土豆去皮, 去皮切成, 美味人生, 公布中奖, 关注赣州, 贵阳新东方, 工作人员, 用户需求, 最高价值, 爱吃一道菜, 地沟油生产, 美食餐厅, 蛋白质脂肪, 卫生等级, 土豆焖饭, 美食订餐, 感谢光临, 雕刻时光, 海鲜海鲜, 享受原价, 牛排套餐, 牛肉做法, 多多支持, 详细做法, 脂肪含量, 美食福州, 棒约翰粉丝, 精美台历, 市场监督管理]
        育儿.data
        [母乳喂养, 伊顿幼儿园, 培养宝宝, 转发评论, 进口奶粉, 适合宝宝, 音乐胎教, 不要孩子, 爸爸妈妈, 孩子不要, 孩子成长, 早教中心, 转发微博, 原文转发, 帮助宝宝, 宝宝健康, 儿童医院, 宝宝说话, 宝宝出生, 布奇乐乐, 金色湖畔, 育儿贴士, 孩子生活, 配方奶粉, 注意事项, 培养孩子, 阅读兴趣, 官方微博, 影响孩子, 鼓励宝宝, 母乳配方, 妈妈宝宝, 护理专家, 儿童心理, 出生宝宝, 宝宝右脑, 添加辅食, 幼儿园园长, 婴幼儿奶粉, 方法宝宝, 英语学习, 孩子培养, 粉碎专家, 亲子关系, 引导孩子, 智力发育, 孩子想象力, 专家在线, 帮助孩子, 饮食注意, 孩子学习, 宝宝智力, 开发宝宝, 好大夫育儿, 年画宝贝, 茁壮成长, 新东方泡泡, 育儿交流, 宝贝频道, 辅食添加, 粗制食物, 宝宝安全, 发表博文, 老婆多多, 孩子电视, 孩子健康, 扬子晚报, 对孩子影响, 冠军宝贝, 读者校园, 宝宝成长, 宝宝探索, 不要错过, 宝宝认识, 宝宝学习, 孩子阅读, 儿童安全, 了解孩子, 宝宝感冒, 孩子一起, 不要对孩子, 宝宝良好, 在线答疑, 家庭教育, 新浪亲子, 卫生习惯, 孩子发展, 激发孩子, 孩子学会, 宝宝更聪明, 容易引发, 鼓励孩子, 和睦白洁, 儿童性教育, 时间布奇, 详细原文, 诚诚妈咪, 右脑潜能, 协调能力, 小儿推拿, 频道播出, 孕产期保健, 创新小天才, 自信口头禅, 光盘礼仪, 心智成长, 体重身长, 美国孩子, 抱抱早教, 儿童心智, 母乳适合, 育儿培养, 抱抱妈妈, 从小养成, 远景上海, 发育所需, 浙江微博, 新生宝宝, 小麦难题, 潜能开发, 上海新东方, 奶粉宝宝, 接种疫苗, 水果图案, 以内不要, 家长对孩子, 宝宝社交, 属于新生儿, 不利于儿童, 宝贝家长, 动画故事, 不要过分, 宝宝艺术, 动手能力, 不要抱着, 尽量避免, 孕妇旅客, 消化功能, 频道联合, 社交能力, 做出正确, 促进宝宝, 孩子远离, 尽量不要, 促进婴儿, 宝宝准备, 对孩子进行, 不宜孩子, 建议宝宝, 科学合理]
        财经.data
        [货币政策, 中国经济, 中国股市, 上证指数, 超跌反弹, 冲高回落, 欧盟峰会, 股指期货, 黄金白银, 欧美股市, 经济增长, 欧洲央行, 金融危机, 债务危机, 资本市场, 重庆啤酒, 人民币升值, 人民币汇率, 黄金价格, 实体经济, 全球经济, 新浪财经, 窄幅震荡, 美国经济, 宏观调控, 宏观经济, 转发评论, 美国股市, 避险情绪, 经济前景, 全球股市, 整数关口, 做空中国, 投资策略, 基金经理, 金融市场, 基准利率, 对冲基金, 大幅下跌, 经济数据, 外汇储备, 评级机构, 转发微博, 震荡整理, 经济复苏, 国际金价, 民间借贷, 经济增速, 大盘反弹, 存款准备金率, 经济形势, 外围市场, 新华保险, 反弹行情, 资金流入, 证券市场, 耐心等待, 股市大跌, 出现反弹, 欧洲股市, 财经年会, 维持震荡, 跳空缺口, 黄金期货, 地方政府, 主力合约, 投资机会, 控制仓位, 创出新低, 技术性反弹, 房贷利率, 连续交易日, 利好消息, 恒生指数, 市场人气, 现货黄金, 通胀压力, 大幅下挫, 国债收益率, 新股发行, 股票市场, 实战解盘, 商品市场, 利空消息, 可能出现, 期货市场, 资金流出, 理财产品, 下行风险, 证券投资基金, 利空因素, 宏观政策, 建议投资者, 下跌趋势, 经济下滑, 黄金投资, 量化宽松, 重点关注, 市场资金, 继续关注, 连续跌停, 上升趋势, 财经频道, 高峰论坛, 市场预期, 首席经济学家, 探底回升, 大幅反弹, 上方压力, 股市解盘, 债务问题, 震荡上行, 海通证券, 继续下跌, 流通市值, 可可黄金, 欧元区经济, 世界经济, 市场情绪, 国内经济, 郭树清建议, 板块出现, 两市股指, 市场信心, 国泰君安, 鲁丰股份, 权重板块, 内幕交易, 金融机构, 股指震荡, 继续震荡, 黄金市场, 操作策略, 欧洲银行, 中国企业, 原油期货, 市场继续, 大盘下跌, 数据显示, 社保基金, 连续下跌, 出现大幅, 国信证券, 黄金走势, 外围股市, 下方支撑, 市场表现, 前期低点, 股市暴跌, 基金仓位]

        ooon8年前 (2016-08-04)回复
        • 你用的是Moonshile的Python实现吗?参数是什么?

          hankcs8年前 (2016-08-05)回复
          • 不是 用的你的Hanlp啊。。

            ooon8年前 (2016-08-05)
          • 哦,HanLP里面是提取短语用的,这个是提取词语用的,不一样的

            hankcs8年前 (2016-08-05)
          • 基于您的Occurence代码扩展一下,还是能得到一个可以从分词结果里找未登录词的模块,但一定要有特定领域的大量文本,然后和CRF分词结果互相验证,提取新词。
            Occurence做三个以上的比较难,三个的话,熵可以取序列中的最小值。

            辰刚7年前 (2016-11-13)

我的作品

HanLP自然语言处理包《自然语言处理入门》