基于信息熵和互信息的新词识别

微博新词

上述“热词”只是根据词频排序的结果，事实上还是存在许多常用词。如果我们用HanLP中的通用词库进行过滤，就能得出每个话题的新词了：

IT

[新浪微博, 平板电脑, 移动互联, 原文转发, 原文评论, 雷军, 给力, 青年用, 中国联通, 中国电信, 数码公会, 腾讯科技, 条微博, 礼包, 即有机会, 位好友, ··, 官方微博, 李开复, 云技术, 本条微博, 请关注, 有机会赢, 开放购买, 能助手, 酷盘, 开发工, 下载地址, 市场份额, 念乔布斯, 即日起, 社交网络, 大众软件, 应用程序, 明年月, 唯冠, 新浪科技, 内人士, 新品发布, ···, 伴随着, 今年月, 详情请, 完美越狱, 索爱, 入网许可, 外媒, 正式发布, 电脑管家, 品发布会, 千元, 尤其是, 半年, 十二, 最新版本, 抽取名, 告诉我, 第四, 修的过来, 什么呢, 阿里巴巴, 随机抽取, 毒霸, 消息称, 每天都, 移动终端, 开放平台, 无线网络, 小时内, 解决方, 普通用户, 此条, 日下午, 分享照片, 国外媒体, 达亿, 三星电子, 价值元, 淘宝商城, 媒体报道, 用户来说, 大家一起, 什么时候, 知情人士, 京东商城, 单反相机, 苏宁, 人人都, 日凌晨, 真的很, 转播本, 数码影, 更方便, 午点, 美国市场, 移动设备, 条广播, 已经成为, 文艺青年, 第三方]

人文艺术

[术馆, 件事, 敢不敢, 在这里, 第三, 掌握在, 做了个, 日下午, 背景中, 过程中, 吕澎, 只动物, 三十三, 经典语录, 两种, 总会有, 国古代, 本周, 洪凌, 每个人都, 雕刻时光, 天下之, 王小, 街旁, 力能够, 画北京, 三届, 知道这些, 有好心态, 新絲路, 改变不了, 台灣, 承泰, 佛性, 宝钢员工, 子才可以, 份工作, 痛而不言, 汪峰, 奇异景象, 剧集, 设计大赛, 利用价值, 這張, 耐得, 给你一个, 代美术馆, 粗暴地, 表现出, 利和自, 者其心, 中央美, 都有一个, 路号, 真正富有, 付之成林, 琴演奏, 没有任何, 欢迎大家, 笑而不语, 暂停时间, 柯岩, 文化产业, 桑塔格, 于传统, 或负责, 换位思考, 下午点, 体会到, 当代摄影, 我们追, 小鲁, 就叫, 另一个, 会这么, 或组织, 小勺子, 周六下午, 幕此次, 定目标, 客拍, 原副, 中兴南路, 将于月, 张照片, 收租院, 第三届, 却得到, 千万, 十二, 力超越, 价值体系, 九不交, 副主, 件翡翠, 剧院舞蹈, 主题作品, 上面记, 到最后, 别人的友]

传媒

[新浪微博, 原文转发, 原文评论, 请关注, 敬请关注, 之声, 交通广播, 欢迎大家, 官方微博, 有机会, 江西卫视, 午点, 让我们, 电台在线, 西交通, 第三, 本周六, 在线收听, 敬请收看, 请期待, 直播间, 浙江卫视, 第一财经, 中国之声, 金牌调解, 城市之, 贵州卫视, 详情请, 期刊网, 中央人民, 天晚上, 正在直播, 上午点, 星光大道, 周一至周, 品聚, 湖南卫视, 海峡卫视, 湖北卫视, 点半, 安徽卫视, 城市之音, 周一到, 公益活动, 播出时间, 今天下午, 节目预告, 者调查, 第七, 特别节目, 广电总, 李湘, 每晚点, 位幸运, 中国电信, 电子竞技, 下午点, 今天晚上, 旅游卫视, 陪你, 名注册, 至周六, 主流媒体, 不夜城, 今日海峡, 黄金时, 优优宝贝, 天津卫视, 音悦, 晚上点, 还可以, 踊跃参与, 文艺广播, 周一到周, 读者调查, 调查显示, 非诚勿, 评选活动, 提高了, 只要你, 广大观众, 第三届, 百万, 希望大家, 即日起, 可直接, 开始啦, 就觉得, 卖难, 实名注册, 江苏综艺, 南国都市, 歌声传奇, 正式开, 本周六晚, 宁夏卫视, 工作经验, 欢迎收看, 汽车音乐, 东方卫视]

体育

[阿内尔卡, 姚明, 巴塞, 湖南经视, 第轮, 李娜, 五星体育, 意甲, 热刺, 奖候选, 国家德比, 尤文, 最佳教练, 足球之夜, 职业联赛, 场均, 今晚点, 斯托克城, 如果你, 第届, 官方微博, 能成为, 陕西人和, 锦标赛上, 广大球迷, 级联赛, 直播预告, 邓华德, 节目预告, 微博互动, 上海申花, 洲杯, 林丹, 邵佳一, 原文转发, 原文评论, 反赌, 第七, 刘翔, 尼奥, 苏格拉底, 中超联赛, 辽宁女篮, 第二届, 丁俊晖, 率队, 马布里, 以场均, 本周末, 净胜, 古蒂, 上官鹏飞, 北京国安, 多特蒙德, 在江西, 让我们, 五套, 蒂加纳, 高于中国, 主场迎, 史上最, 为您带来, 第七届, 孙杨, 那么多, 大家一起, 请关注, 易建联, 尔滨, 斯堡, 姚明同学, 指代表, 加盟申花, 皇马巴萨, 年度最佳, 场均分, 同时也, 童鞋们, 将为您, 您认为, 正式加盟, 你心目中, 阿尔滨, 职业生涯, 天晚上, 杯篮球赛, 竞赛频道, 州恒大, 特鲁, 冬季转会, 木有, 主场迎战, 反赌扫黑, 明天凌晨, 陈奕迅, 正式宣布, 揭幕战, 欧冠强, 勒布, 世纪大战]

健康

[转发微博, 抗衰, 一定要, 血液循环, 是一种, 一份, 让你, 秋冬, 请收听, 季养生, 营养价值, 致癌物质, 官方微博, 梨汁, 血管疾病, 营养成分, 含有丰富, 小窍门, 凌晨点, 预防感冒, 第二天, 消化不良, 研究人员, 排出体, 冬季养生, 请关注, 教你, 眼睛疲劳, 病毒感染, 筛查, 研究发现, 生姜红糖, 补充维, 戴隐形, 阴润, 牙齿敏感, 很容易, 霉素, 小智慧, 效果更, 救肺, 含丰富, 会加重, 爱康国宾, 着电脑, 生活方式, 用脑过度, 生姜大, 全麦, 咽喉疼, 勺蜂蜜, 表现为, 几次, 手拍, 肤干燥, 间盘突出, 滋阴润, 温馨提示, 喝一大杯, 膳食纤维, 市儿, 第四, 半小时, 不要立, 午点, 含量高, 长痘, 锅内, 富含维, 睡眠不足, 郁症, 致肥胖, 种疫苗, 心肌梗, 大量排出, 友们, 蔬菜水果, 肿瘤放, 不要太, 最佳时间, 容易疲, 登特口腔, 保护眼睛, 瘦身减肥, 注意保暖, 生活习惯, 丰富的维, 小百科, 黄颖博士, 养生保健, 回事, 工作效率, 喝咖啡, 一点对, 唇干, 第六, 引起腹, 千万, 人民医院, 化学物质]

动漫

[金龙奖, 陈维东, 将于, 期精彩, 第话, 第届, 十二, 轻小说, 猫老, 第册, 爱心龟, 错过了, 第二期, 「」, 第四届, 银都文化, 痛车, 爆笑王国, 们一起, 奖公示, 欢迎大家, 南派三叔, 阿狸, 请关注, 地球环保, 在线观看, 官方微博, 史上最, ··, 第二届, 麦圈, 我们一起, 角川, 冠军得, 希望能, 宫崎骏, 朱斌, 文化艺术, 敢达, 转发微博, 让我们, 英雄联盟, 分享照片, 张小盒, 给力, 夏达, 呆头, 买到, 侠传, 天闻角川, 九九, 发生了, 银魂, 即将开, 奖获奖, 衍生产品, 获奥斯卡, 且还, 第三届, 哆啦梦, 富坚义博, 穷神, 王者争霸, 索隆, ···, 倒鸭子, 佳连, 作人员, 午点, 卡通频道, 月新番, 金鹰, 力谢, 一起玩, 谢谢你, 两位, 「魔法少, 节暨, 开始连载, 继续努力, 网球王子, 布请, 希望大家, 萌地球, 「轻音」, 井上雄彦, 下午点, 「穷神」, 神秘人物, 上海美术, 福雷斯, 可可系列, 祝武汉, 番「, 电视系列, 秀大赛, 果揭, 樱木花道, 大家踊跃, 为主角]

女性

[原文评论, 原文转发, 座第, 第名, 转发微博, 羯座, 请收听, 秋冬, 十二, 教你, 整形美容, 座找, 敷面膜, 脸部保养, 第一名, 这款, 抗衰, 小窍门, 十二星座, 去黑, 准妈, 女性朋友, 价元, 去痘, 甜酒酿, 去黑头, 注射除皱, 仅售元, 很简单, 小技巧, 孕妈, 听→, 一定要, 血液循环, 到底要, 温馨提示, 神仙水, 名双子, 雅诗兰黛, 型师, 魔羯, 种妙, 孕妈妈, 原价元, 韩式, 收听→, 男人最, 蚕丝面膜, 膜法世家, 小编, 秋冬季节, 官方微博, 来参加, 减肥方法, 军双, 名水瓶, 让你从, 徐州美莱, 种妙方, 羯座第, 十分钟, 油性皮肤, 件事, 装新款, 排毒养颜, 清水洗, 座第十, 容器里, 植村秀, 婚纱摄影, 时尚新娘, 缩毛孔, 整形专家, 教你美容, 推荐给, 食物如, 油脂分泌, 伊博士, 用温水, 补充维, 草茶, 片敷, 很重要, 下蹲, 膜纸, 肉毒素, 画眼线, 怎么化, 赶紧收, 千万, 格纹, 精华液, 就有机会, 给大家, 更显, 并位, 星座第一, 整形医, 祛痘印, 收听瘦身]

娱乐

[★★, ★★★, 那些年, 龙门飞甲, 张艺谋, 我们一起, 原文转发, 原文评论, 跨年, 周杰伦, 亲密敌人, 有机会, 杨幂, ★★★★, 失恋天, 分享视频, 南卫视, 莱坞, 林俊杰, 官方微博, 陈奕迅, 就有机会, 江苏卫视, 吉思光, 五月天, 给力, 音乐广播, 音悦台, 卫视跨年, 徐静蕾, 湖南卫视, 郭德纲, 这首歌, 周笔畅, 冯小刚, 刘德华, 徐克, 请关注, 第一次, 步步惊心, 抢票, 霆锋, 达人秀, 裸婚时代, 斯卡, 陈坤, 谢娜, 位好友, 王力宏, 午点, 浙江卫视, 袭警抢枪, 第届, ··, 范冰冰, 谢霆锋, 组图, 张柏芝, 盛乡, 王菲, 周迅, 汪峰, 韩庚, 李宇春, 安徽卫视, 冯绍峰, 张学友, 一定要, 非诚勿扰, 林志, 希望大家, 吴奇隆, 倪妮, 刘若英, 行榜, 汤唯, 敬请关注, 下午点, 颁奖典礼, ···, 全球首, 时尚先生, 筷子兄弟, 本周六, 赵薇, 虾米音乐, 美人天下, 刘诗诗, 张惠妹, 独家首, 深海之战, 故事广播, 千万, 何炅, 李连杰, 哈哈哈哈, 梁静茹, 韩红, 赵本山, 东方卫视]

广告公共

[环境事件, 世界上, 黄伟老师, 川宁, 穴位于, 客卖, 外来物种, 龙王拳, 易家湖, 低碳生活, 自优酷网, 飞音宝, 绿色风, 上濒, 一定要, 好礼, 年画宝, 个孩子, 邀您, 地球我, 优秀的人, 有机会获, 请关注, 广东电台, 平板音响, 务员, 小女巫, 小编, 宽阔的是, 川宁茶, 居泰隆, 绿家园, 就断不致, 也是一种, 最具, 染了, 不删档, 坚持到, 大成建筑, 乘用车, 报名参, 野生动物, 愿牵, 腾讯公益, 精英测试, 绿色圣诞, 年画宝宝, 笑抽了, 这一天, 欢乐迪, 千愿牵手, 千万, 五周岁, 动物保护, 二线城市, 力他, 宝宝宝, 如果你, 届中国, 到最后, 好的决, 已被, 准备了精, 好乐买, 益您, 央视广告, 入驻, 了美丽, 个印花, 天早上, 天下通, 光明云媒, 沙棘树, 正式开始, 欢迎大家, 你来拿, 桃源店三, 查并, 体验活动, 在这一天, 春天百货, 在江湖, 住了, 个老乡, 旱万人, 数量有限, 周年庆, 提供商, 拉式, 活动开始, 湘潭公, 然後, 狼隐契丹, 吧川宁, 报名参加, 盼您, 礼包, 禁止在, 护湖泊, 吗没有]

房产

[线城市, 首套, 笋盘, 三线城市, 首套房贷, 日笋盘, 廉租, 任志强, 限购政策, 二三, 仅需万, 新浪房产, 调控政策, 原文转发, 李嘉诚, 基准利率, 商品住, 比下降, 天府新区, 贷款利率, 资亿元, 天朗, 商品住宅, 墅质, 经济工作, 环比下降, 半岛阳光, 部分银行, 建筑面积, 买房送, 三盛, 多家银行, 将继续, 经济适用, 雅居, 降价潮, 全国个, 今日笋盘, 合理回, 住房保障, 新一轮, 销售金额, 重点城市, 优惠利率, 折优惠, 西安楼市, 米环比, 已回归, 宏观调控, 均价元, 普通商品, 斥资亿, 销售面积, 年同期, 调控目标, 补差价, 今年以来, 等多家, 利率普遍, 约万平, 老业主, 比涨幅, 江宁, 沪深, 李稻葵, 依诺维绅, 你猜, 明年经济, 住房建设, 陈晟, 销售业绩, 提前还, 报名参, 把房地产, 性需求, 户型方正, 银行首套, 配套完善, 郭树清, 豪装, 胡大维, 翡丽, 官方微博, 中原地产, 秦虹, 现不少, 看房团, 让你, 消息传出, 湖花园, 湾国际, 品牌中介, 小区环境, 王珏林, 最高优惠, 标杆房企, 你猜你, 中标价, 次活动, 访时]

教育

[首羡, 侧翻, 江苏丰县, 亡人数, 四六级, 丰县首羡, 首羡镇, 死亡人数, 侧翻事故, 发生侧, 发生重大, 日下午, 都市晨报, 翻入河, 英语四, 级考试, 徐州丰县, 为躲避, 征求意见, 发生一起, 交通安全, 江苏徐州, 核载人, 六级考试, 实载人, 午点, 自主招生, 教育盛典, 后屯, 造成名, 发生侧翻, 详情请, 最具, 老罗, 下午点, 意见稿, 官方微博, 当事司机, 负全责, 澳际, 公安部门, 死亡据, 许徐州, 关部门, 此次事, 张后屯村, 英孚, 万通汽修, 阳市, 县公安, 英语口语, 事故原因, 送小学生, 最具品牌, 有关部门, 环球雅思, 广播电, 工作人员, 正宁, 洪旭, 刑拘, 丰县公安, 第一财经, 少儿英语, 日凌晨, 省教育厅, 试成绩, 自主选拔, 术学院, 被撞, 事故遇难, 公交专用, 中公教育, 伤亡人数, 几十, 交通违法, 县公安局, 今天下午, 村教师, 食品安全, 违法行为, 七十, 紧急通, 全球最, 业资格, 报名参加, 被刑拘, 社会各界, 第四届, 几万, 一定要, 今天上午, 网上报名, 隆重举行, 赴美, 给大家, 安全知识, 年自考, 泄题, 跨考]

文学出版

[第期, 意林, ★★, 意林杂志, ★★★, 学出版社, 中国国家, 拓普志, ★★★★, 篇小说, 动漫脚本, 郭敬明, 价元, 火花网, 条微博, 漫友, 上架, 名车志, 史蒂, 位好友, 下午点, 谢大家, 沃杂志, 新书预, 乔布斯传, 请关注, 官方微博, 轻小说, 详情请, 还没有, 万字, 不见不散, 价比, 十二, 有机会获, 第四, 萨冈的短, 李宇春, 二十, 恩施晚报, 沈从文, 百万, 非你莫属, 图书大厦, 高尔泰, 传媒集团, 十七, 原价元, 尚舞, 盗墓笔记, 刘俊, 林出版社, 哪些好书, 时装男士, 新书预售, 敬请关注, 苹果公司, 上架预售, 不要错过, 二届, 第六, 伴随着, 目击了, 位朋友, 康永, 乌利希, 淘宝店, 临沂广, 科莫多, 宇宙大, 韶辉, 再联想, 仅元, 有木有, 全国首, 日上午, 且还, 扩为, 被誉为, 云中书城, 角川, 第二届, 第届, 去发现, 史上最, 您的支持, 恩道尔, 年度最佳, 希望大家, 看到这么, 尔夫, 小张对开, 出版发行, 皓宸, 杂志铺, 在香港, 内部刊物, 全球首, 期沃杂志, 榜单]

旅游

[原文转发, 原文评论, 有机会, 西岭雪山, 室外滑雪, 友们, 省旅游局, 国西部, 去哪, 官方微博, 李代山, 唯一一个, 海拔米, 价元, 请关注, 世界上最, 欢迎您, 明年月, 生活方式, 森林公园, 马蹄湾, 阿得莱德, 最适, 饿了, 只需要, 吗这里, 等什么, 约米, 彩云南, 中尼公路, 踩点中国, 大成网, 景区门票, 同程, 最美街景, 景区免票, 上野公园, 嗨顺风, 文化遗, 被誉为, 中国公民, 家级, 届中国, 免票活动, 快来参, 滇藏, 文化遗产, 桦榭, 七彩云南, 正式开, 响沙, 大溪地, 最适合, 日本九州, 族风情, 详情登, 想去哪, 能看到, 历史文化, 老码头, 被称, 第一座, 平遥古城, 有机会赢, 红叶节, 分享图片, 为主题, 前三位, 优家画报, 新疆篇, 宏村, 畲族风情, 如画, 一定要, 安徽黄山, 盐边, 不容错过, 球时尚, 中国十大, 大家介绍, 杜甫草堂, 杨幂, 冰雪世界, 圣寺, 李栓科, 构成了, 段时间, 竹海, 最接近, 两日自, 喀纳斯湖, 是否能, 同行客, 嗨套餐, 全攻略, 古镇位于, 原价元, 原始森林, 星酒店, 报名参加]

时尚

[原文转发, 原文评论, 芭莎, 秋冬, 麦包, 价元, 麦包包, 卡诗, 婚纱摄影, 沙宣, 东田造型, 高跟, 本周, 韶辉, 给力, 巴黎卡诗, 有机会, 模特大赛, 莉婕, 价值元, 施华, 原价元, 银泰, 梦芭莎, 嘉琦, 高级定制, 幸福王国, 传媒集团, 也可以, 么样, 级发型师, 世纪佳人, 张梓, 请点击, 详情请, 官方微博, 仔裤, 请关注, 第三, 可享受, 一定要, 仅售元, 有机会获, 梓琳, 广西卫视, 光美容, 给大家, 尽显, 美丽说, 米娜, 折优惠, 第六, 千万, 加迪, 夏系列, 排扣, 颁奖盛典, 银泰中心, 底液, 官方网, 即日起, 等你来, 创新奖, 第一次, 张梓琳, 说出你, 潮饰女王, 唐毅, 广州曙光, 暖又, 半年, 施华蔻, 苏红, 抗衰, 婚纱礼服, 别册, 不要错过, 等什么, 广场店, 鞋履, 欢迎关注, 路号, 谁说, 课程曾, 中国北部, 小清新, 美容医, 作品发布, 曙光美, 芭莎珠宝, 新的一年, 很简单, 打底毛衣, 普罗蜜思, 婷美, 秋冬新款, 大抽奖, 姚戈, 别错过, 苏芒]

校园

[原文转发, 原文评论, 将于, 高校环保, 绿色风, 载人, 网络营销, 技术学院, 就业指导, 环保社, 安全教育, 招生简章, 环球资源, 报名时间, 第六, 环保协会, 西亚斯, 创业咖啡, 个误区, 了一场, 误区是, 州校友会, 核载人, 消防安全, 枪击案, 网上报名, 不知道, 考试时间, 第十, 一步, 语演, 路号, 记忆大师, 车翻, 公开招聘, 在这里, 英语演讲, 考试成绩, 辽宁地区, 所乡村, 两所, 级考试, 优秀教师, 淡水豚, 世界记忆, 徐小平, 第一位, 区决, 双选, 个误区是, 专业方向, 造成人, 艺考之家, 吗你, 颂钵, 让孩子, 先生为, 技能展示, 连三, 之星, 吸烟率, 启动仪式, 吧收起, 吗你想, 舞蹈类, 这句, 老师说, 编导类, 绿色风将, 第三届, 修课, 第二届, 画等, 用人单位, 科技创新, 第五, 应试技巧, 环保公益, 已经开始, 工程技术, 十五, 杯全国, 环保组织, 就非常, 曹启泰, 有明星脸, 为目标, 本周日, 南邮, 将于明, 动启动, 宣传活, 们带来, 第一讲, 新疆文化, 术高考, 报名方式, 接送车, 决定于, 天下午]

汽车

[原文转发, 原文评论, 州车展, 年度车型, 广州车展, 百事达, 有机会, 国际车展, 混合动力, 自主品牌, 科迈罗, 北京现代, 名车志, 上海车展, 上海大众, 路虎, 第七, 东风风神, 价万元, 售价万, 请关注, 舒适性, 给力, 东风日产, 宝马系, 荣耀十年, 纯电动, 值元, 套件, 全新系, 广汽丰田, 十二, 一汽大众, 东风本田, 最后一, 召回部分, 长安福特, 涡轮增压, 颁奖典礼, 交通安全, 等什么, 千万, 即日起, 奥拉驾, 正式发布, 海国际, 价值元, 览会, 设计套装, 如果你, 要注意, 东京车展, 反倾销税, 销量增, 变形金刚, 量同比, 驾校学, 学车费, 新迈腾, 性能版, 有哪些, 速器, 届广州, 风挡玻璃, 福特野马, 力更强, 氧化碳, 本条微博, 万美元, 代索纳塔, 时尚座驾, 公司决定, 销量增速, 双涡, 销售网络, 长沙车展, 中心举, 还等什么, 即有机会, 膜施工, 就有机会, 组元, 细分市场, 座驾李, 上市售, 优惠元, 天下午, 直播间, 之星, 前脸, 看到这, 段时间, 派送, 国车坛, 管所, 极具, 欧朗, 为了保, 正式上市, 双涡轮]

游戏

[礼包, 英雄联盟, 最受, 魔兽世界, 最受欢迎, 穿越火线, 有机会, 不删档, 大冲锋, 官方微博, 给力, 分享视频, 电子竞技, 刚参与了, 网游公会, 最受期待, 七雄, 第九, 电竞, 梦幻海底, 御龙, 风暴战区, 火爆开, 请关注, 让我们, 请大家, 快来领, 宣传视频, 每天都, 就有机会, 开放测试, 东珈, 并获得, 海贼, 魏传, 奖励快, 正式开启, 毛晗宇, 精英测试, 已经没, 来和我, 三国塔防, 有木有, 之翼, 等什么, 御龙在天, 午点, 望大家, 转发此, 免费领, 将于今, 笑傲江湖, 经济系统, 来试试, 仙境幻想, 炫斗, 款大型, 问道外传, 破万, 传送门, 官方网站, 和我一起, 真·, 今日正式, 删档内测, 快来抢, 三国无双, 妙妙, 详情请, 大放送, 变形金刚, 上古世纪, 魔兽争霸, 圣境, 广大玩家, 伤不起, 盛世三国, 推荐给, 首款大型, 同时在线, 独孤九剑, 准备好了, 送币, 史上最, 好友就, 正式宣布, 二次, 百万, 战争策略, 完美世界, 第一次, 德州扑克, 第五, 雨血, 即将推出, 灾变, 千万, 年度最佳, 突破万, 明年月]

生活

[原文评论, 原文转发, 疯抢, 有机会, 原价元, 一定要, 午点, 风级, 金券, 官方微博, 天气预报, 给力, 即日起, 价值元, 北风级, 让我们, 千万, 就有机会, 电话订票, 预售期, 首羡, 最低气温, 最高气温, 市公安局, 下午点, 童鞋们, 全国包邮, 好乐买, 警方提, 年春运, 上午点, 腾讯微, 教你, 呷哺, 仅售元, 血液循环, 晒单, 第四, 正式开, 路号, 部分地区, 栖巢, 大肠菌群, 最低温, 网络售票, 温馨提示, 票预售期, 二十, 即有机会, 多喝水, 京东商城, 偏北风, 铁路部门, 派送, 位好友, 秋冬, 伊卡璐, 微卖场, 详情请, 件套, 绝味, 千万不要, 十二, 淘宝商城, 快来参, 生活服务, 市气象, 让孩子, 很不错, 之烧, 联系电话, 希望大家, 肉价格, 疯疯, 工作经验, 我们一起, 境证件, 今天下午, 晚上点, 被检, 半小时, 中国移动, 腾讯微博, 欢迎大家, 起来吧, 活动地址, 尊享, 婚年, 活动详情, 请收听, 即将开, 豪礼, 送小米, 请广大, 等你拿, 用温水, 公安机关, 元话费, 绿瘦, 局出入境]

美食

[价元, 原价元, 仅元, 香天下, 栖巢, 有机会, ··, 洗干净, 路号, 豪享来, 五花, 撒上, 呷哺, 沥干, 一定要, 价值元, 味多美, 拌均匀, 有机会获, 洗净切, 电饭, 比比客, 搅拌均匀, 仅售元, 给大家, 分钟即可, 盛大开业, 煮分钟, 小编, 想吃火锅, 官方微博, 折优惠, 派悦坊, 街号, 锅中倒, 匀即可, 不一样, 时时乐, 美食情报, 美食美客, 狮诚, 个小时, 位好友, 很简单, 秘制, 吉野家, 双人套餐, 云吞, 沙县小吃, 韩式, 长寿司, 吃货们, ···, 姜蒜, 茄酱, 大肠菌群, 教你, 三样菜, 微茶楼, 就有机会, 葱姜, 而不腻, 大街号, 有木有, 即日起, 馅料, 约分钟, 沥干水, 拌匀即可, 一人一锅, 粉勾芡, 鸡蛋打, 隆重开业, 吃遍赣州, 这道菜, 蹄膀, 破店, 板长寿司, 蒸分钟, 最适合, 呷哺呷哺, 味千拉面, 请关注, 大家推荐, 订餐电话, 锅魁, 狮诚记, 国瑞, 松本楼, 金券, 牛柳, 谢谢你, 铜盆, 嫩滑, 上岛咖啡, 即可出锅, 如果你, 你知道, 包旺, 洗净切]

育儿

[原文评论, 原文转发, 智灵通, 优优宝贝, 母乳喂养, 育儿贴士, 爸爸妈妈, 进口奶粉, 件事, 和睦家, 出生后, 崔玉涛, 看电视, 金宝贝, 在婴儿时, 绘本, 配方奶, 岁半, 至岁, 在床上, 易引, 类食物, 音乐胎教, 令营, 岁以下, 不要让小, 家庭教育, 版社, 加辅, 迪巧, 很容易, 件事情, 早教中心, 父母必, 金色湖畔, 智力发育, 点此, 注意事项, 添加辅, 孕婴童, 配方奶粉, 让宝宝更, 加辅食, 易引发, 年画宝贝, 稚慧坊, 父母必读, 们赶紧, 容易引, 系列册, 添加辅食, 几本, 亲子关系, 妈咪们, 三岁以, 去医院, 卫生习惯, 一份, 儿童心理, 千万不, 该怎, 种肉, 力发展, 三位, 他失去, 过程中, 对胎儿, 碎菜, 岁左右, 之星, 睡眠质量, 不宜多吃, 家长必须, 容易引发, 皮皮鲁, 生活经验, 他们的心, 一直没有, 两岁半, 室内光线, 在线答疑, 淘乐思, 朵拉, 来报名吧, 人认为, 同时关注, 各位妈妈, 易消化, 专家在线, 星级考, 冠军宝贝, 内保持, 和孩子共, 有抽奖, 爱上书本, 时间观念, 斗妈大, 易导致, 协调能力, 不要错过]

财经

[短线, 欧债, 早盘, 沪指, 货币政策, 恒指, 欧债危机, 均线, 黄金白银, 监会, 经济工作, 工作会议, 个交易日, 第三, 上证指数, 沪深, 债务危机, 逢低, 品价格, 下调存, 数据显示, 同比增, 金融机构, 欧洲央行, 股指期货, 欧美股市, 存准, 调存款, 郭树清, 创新低, 拉升, 逢高, 大宗商品, 重庆啤酒, 欧盟峰会, 低吸, 下调存款, 新华保险, 三季, 兑美元, 十二, 金融危机, 新浪财经, 四季度, 存准率, 主权债, 净流, 成交亿, 原文评论, 原文转发, 背景下, 开低走, 截至月, 财政政策, 预计今日, 上证综指, 年度人物, 十二五, 实体经济, 主权债务, 千万, 二级市场, 现货黄金, 伦铜, 偏弱, 基准利率, 今年以来, 幅居前, 宏观调控, 天通金, 深成指, 会主席, 沪铜, 连续第, 耐心等待, 金正日, 国际金价, 价值投资, 评级机构, 整数关, 触及跌停, 沪深两市, 惠誉, 外汇占款, 再创新低, 中小板, 小时图, 欧债问题, 财经年会, 在线解, 即期汇, 可可黄金, 年同期, 经济前景, 超跌反弹, 标准普尔, 原油期货, 冲高回落, 不排除, 承压]

结论

这种方法的确可以无监督地找出许多词语出来，但是在常用词上的表现较好，在新词上的表现则一般，会取出不少短语出来。如果要专门用于新词识别，还需要加入更多人工或规则的过滤。

如果我们连续跟踪一段时间的“新词”，加入性别、地域、行业、手机型号等维度，想必还能得出更有意思的结果。

Reference

https://github.com/Moonshile/ChineseWordSegmentation

互联网时代的社会语言学：基于SNS的文本数据挖掘

 知识共享署名-非商业性使用-相同方式共享：码农场 » 基于信息熵和互信息的新词识别