%20(2).svg)
项目简介
本项目是运用Python的Scrapy框架开发的爬虫程序，主要用于爬取智联招聘网站上的招聘信息。用户借助该爬虫，可便捷地获取并保存大量招聘信息，为求职或招聘提供参考依据。
项目的主要特性和功能
- 多城市支持：可爬取不同城市的招聘信息，例如Java职位。
- 数据存储：支持将爬取的数据存储到MySQL数据库。
- 自动化处理：实现自动化登录验证和请求处理，减少手动操作。
- 数据解析：能解析职位详情，提取关键信息。
- 易用性：提供详细的安装与使用指南，便于用户快速上手。
安装使用步骤
1. 环境准备
- 安装Python 3.7及以上版本。
- 安装Scrapy框架：
pip install scrapy。 - 安装MySQL数据库和MySQL Connector for Python模块：
pip install mysql-connector-python。
2. 配置数据库连接信息
修改souZhaopin\souZhaopin\pipelines.py中的数据库连接信息，包含数据库地址、用户名、密码等。
3. 运行数据库脚本
运行souZhaopin\readme\data.sql中的SQL脚本，创建用于存储爬取数据的数据库表。
4. 启动爬虫程序
在终端或命令行工具中进入项目目录，执行以下命令启动爬虫程序：
bash
scrapy crawl ZhaopinSpider -a city_id=XXX
将XXX替换为实际的城市ID，例如北京为658。若要爬取多个城市的数据，可多次执行该命令并更换城市ID。
5. 查看爬取结果
爬取的数据将存储在MySQL数据库中，可通过数据库管理工具查看。
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】