python 小说数据挖掘_python 数据挖掘篇四小说数据挖掘实例_weixin_39701834的博客-程序员宅基地

python 数据挖掘篇四小说数据挖掘实例

Python 安装 python 学习一 python 语法,及变量类型 python 学习二爬一个图片网站上 python 学习二 02 爬一个图片网站,获得主链接网址,并保存 python 学习二 03 爬一个图片网站 - 获得所有分页网址 python 学习二 04 爬一个图片网站 - 解析文件,获得所有图片链接 python 学习二 05 爬一个图片网站 - 下载图片链接 python 学习二 06 爬一个图片网站 - 多线程方式下载 python 学习三 01 再爬一个网站,几行代码,搞定分类类别 python 学习三 02 再爬一个网站,获得所有分页 python 学习三 03 再爬一个网站,根据分页,下载图片 python 学习三 04 图片爬虫工程 - 组织框架 Python 爬虫上篇 Python 爬虫下篇 python 数据挖掘篇一结巴分词 python 数据挖掘篇二词云统计 python 数据挖掘篇三 gensim 使用 python 数据挖掘篇四小说数据挖掘实例第四章小说数据挖掘实例搜索引擎 --- 给定文字,搜索书中与之相近的文字

示例,做一个书本的搜索引擎,输入以句话,输出与这句话最相近的段落

分三个阶段

1, 预处理阶段

2, 加载预处理好的字典,语料,模型,索引阶段

3, 查询阶段

预处理阶段:

加载阶段

查询阶段

Word2Vec 模型

这个模型也很有意思,可以查找与某个词相近,相反,推理关系.

总结:

之所以研究 gensim,是想做一个古典小说搜索引擎,和小说数据分析工具.打算将网站 www.gudianxiaoshuo.com 打造成古典小说搜索,知识挖掘的网站.

使用红楼梦做为分析对象,实现了搜索分析功能,但是也发现将预处理的信息保存到本地后,占用空间还是很大的,尤其是 lsi 语料竟然 100M,不知道还有没有更好的方法.

项目地址:

https://github.com/gudianxiaoshuo

来源: http://www.jianshu.com/p/32477930b006

本文链接：https://blog.csdn.net/weixin_39701834/article/details/114913907

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

accp8.0转换教材第2章初识Mysql_weixin_30439131的博客-程序员宅基地

首先安装MySQL：一.单词部分：①networking网络②option选择③port端口④firewall防火墙⑤engine引擎⑥standard标准⑦character字符⑧collation校对⑨stirage存储create 创建 drop 删除 comment 评论 variables变量二.预习部分1.请写出创建和删除数据库的sql语句CR...

Arcgis：坐标系统极其转换_weixin_30610755的博客-程序员宅基地

1. ArcGIS中的坐标系统　　ArcGIS中预定义了两套坐标系统，地理坐标系(Geographic coordinate system)和投影坐标系(Projectedcoordinate system)。　　1.1 地理坐标系　　地理坐标系 (GCS) 使用三维球面来定义地球上的位置。GCS中的重要参数包括角度测量单位、本初子午线和基准面(基于旋转椭球体)。地理坐标系统...

强化学习_weixin_30735745的博客-程序员宅基地

强化学习笔记(一)1 强化学习概述随着Alpha Go 的成功，强化学习（Reinforcement Learning，RL）成为了当下机器学习中最热门的研究领域之一。与常见的监督学习和非监督学习不同，强化学习强调智能体（agent）与环境（environment）的交互，交互过程中智能体需要根据自身所处的状态（state）选择接下来采取的动作（action），执...

winform小程序---猜拳小游戏_weixin_30621711的博客-程序员宅基地

因为学的时间不长，所以借鉴了一些资料做了这个小程序，大家共同学习，共同进步。感觉很有自信，世上无难事，只怕有心人。 1 using System; 2 using System.Collections.Generic; 3 using System.ComponentModel; 4 using System.Data; 5 using System.Drawin...

common.js_weixin_30852419的博客-程序员宅基地

/** 变量*/var G = { baseUrl: "", debug: "debug", //调试logger组件 browser: {}, //浏览器 platform: {}, //操作系统 errors: { //错误提醒 "-...

XPM转换与查看工具_weixin_30293135的博客-程序员宅基地

X PixMap （XPM）是一种基于ASCII编码的图像格式，在X Window系统中的应用十分广泛。她最初由位于法国Sophia Antipolis的Bull研究中心的Daniel Dardailler和Colas Nahaboo发明，后来Arnaud Le Hors对其进行了改进。XPM文件经常用于创建图标位图文件，支持“transparent color”功能。特点是文件格式简单，可以被任...