项目简介
本项目从贵州省人民政府市县动态和贵州省投资促进局地方动态网站爬取数据,将其保存到MySQL数据库。用户能借助Tkinter构建的简易交互界面自主选择时间段,程序会从数据库检索相应记录,进而生成词频统计与词云图。
项目的主要特性和功能
- 数据爬取:可从贵州省人民政府和投资促进局网站爬取地方动态数据,支持自定义URL和XPath规则,能灵活适应不同网站结构。
- 数据存储:把爬取的数据存于MySQL数据库,支持自定义数据库配置,便于部署和迁移。
- 数据查询与统计:用户通过Tkinter界面选时间段,程序从数据库检索数据,用jieba分词统计市州区县出现频次,生成词云图和词频Excel表格。
- 交互界面:用Tkinter构建简易图形用户界面,方便用户操作,支持查询结果的表格展示和滚动查看。
安装使用步骤
- 环境准备:确保已安装Python 3.x,安装必要的Python库:
pip install requests lxml pymysql jieba wordcloud openpyxl
。 - 数据库配置:在MySQL中创建数据库和表结构,参考
database/mysql.py
中的SQL语句;修改database/mysql.py
中的数据库连接配置,确保能连接到自己的MySQL数据库。 - 运行程序:运行
interface/GUI.py
文件,启动Tkinter交互界面;在界面中选择时间段,点击查询按钮,程序将显示查询结果并生成词云图和词频Excel表格。 - 查看结果:查询结果显示在Tkinter界面的表格中,生成的词云图和词频Excel表格保存在项目根目录下。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】