【源码】基于Scrapy、Elasticsearch、Django和Vue的搜索引擎

项目简介

本项目是一个基于Scrapy、Elasticsearch、Django和Vue的搜索引擎，主要用于爬取和搜索电影信息。借助Scrapy爬虫从豆瓣电影和猫眼电影网站获取电影数据，将其存储于Elasticsearch数据库，通过Django构建Web应用，最终利用Vue前端展示搜索结果。

项目的主要特性和功能

1. 爬虫部分：运用Scrapy框架从豆瓣电影和猫眼电影网站爬取电影信息，支持自定义分析器，可实现中文搜索和拼音搜索功能。
2. 搜索部分：利用Elasticsearch数据库存储和搜索电影信息，提供基本搜索、热门搜索、搜索提示和拼音搜索功能。
3. Web应用部分：采用Django框架构建Web应用，通过Vue前端展示搜索结果。

安装使用步骤

1. 安装环境

• 安装Python 3.7.1及以上版本。
• 安装Redis数据库。
• 从node.js下载地址下载并安装Node.js环境。

2. 安装依赖

• 后端：在虚拟环境打开状态下，进入项目目录，执行pip install -r requirements.txt，可能需手动安装部分Scrapy相关包，可参考此文章。
• 前端：打开终端，执行cd appfront进入前端目录，再执行npm install安装前端所需依赖。

3. 运行

• 启动Elasticsearch和Redis服务。
• 运行爬虫脚本爬取电影数据（可参考spider项目创建以及运行）。
• 前端构建：执行npm run build进行打包，打包后生成的目录为appfront/dist。
• 后端运行：在终端执行python manage.py runserver 127.0.0.1:8000启动Django Web应用。
• 前端运行：执行npm run dev，可在localhost:8080访问。

4. 测试

• 测试爬虫是否能正确爬取电影数据。
• 测试搜索功能是否正常工作。
• 测试Web应用和前端展示。

5. 部署

将爬虫脚本、Django应用、Vue前端等部署到生产环境。

注意：具体细节和具体环境配置可能需要根据实际情况进行调整。

下载地址

点击下载 【提取码: 4003】【解压密码: www.makuang.net】