百度搜索引擎优化指南20 下载(一个在线小说搜索引擎框架实现功能如下:安装接下来的安装步骤)
优采云 发布时间: 2021-11-01 20:23百度搜索引擎优化指南20 下载(一个在线小说搜索引擎框架实现功能如下:安装接下来的安装步骤)
owllook是一个在线小说搜索引擎,它的宗旨是让阅读更轻松、更优雅,让每一位读者拥有舒适的阅读体验
Owlook 是我大学写的一个 Python 开源项目。它已经维护了近两年。owllook上介绍的原文章已经年久失修,部分github用户不知道怎么安装和使用,所以我将文章重新编辑,作为指导使用
介绍
owllook是一个基于其他搜索引擎的垂直小说搜索引擎。提供搜索、阅读、采集、追逐、推荐等功能。
Owlook 不保存数据。所有信息均使用基于第三方网站搜索的爬虫技术找到,然后通过在线分析展示给用户。对用户的好处是:
owllook基于python3.6,后端使用Sanic(对这个web框架感兴趣的朋友可以在公众号后端回复sanic,看我写的Sanic教程),前端使用bootstrap和mdui,数据库是MongoDB,用于存储用户使用过程中产生的基本信息,如注册信息、搜索小说信息、采集小说数据等。对于一些必要的缓存,使用Redis进行缓存,如小说缓存和会话缓存。注意,对于受限数据:所有将在 24 小时内删除
对于不同网站的小说,页面规则是不同的。希望代码解析后统一展示,方便美观,而不是直接跳转到对应的网站就搞定了,清爽简洁的阅读体验最重要
目前直接在搜索引擎上检索结果。我试着写一些规则来完成分析。具体参见项目中的规则定义。遇到喜欢的小说网站,也可以自己加分析。owllook分析了200+网站,追网站分析了50+
有一些地方需要用到爬虫,比如排名,一些书籍信息等,我不想用重量级的爬虫框架来写,所以我在owllook中写了一个非常轻量级的爬虫框架来做这个,见ruia异步爬虫框架
目前的实现功能如下:
安装
接下来的安装步骤默认基于Centos7,默认在root用户下操作。先是Python版本,最好是Python3.6,然后项目数据库需要MongoDBRedis
请先安装:
<p>yum -y install bzip2 wget vim git复制代码</p>
环境设置
owllook的安装很简单,但是对于一些Python不熟悉或者新手来说确实有点难度。下面详细介绍安装过程
数据库
Owlook 要求您在服务器上安装 MongoDB 和 Redis。您不必管理数据库的创建。使用这个的好处是可以自动生成。
安装 MongoDB:
<p>vim /etc/yum.repos.d/mongodb-org-3.6.repo复制代码</p>
进入:
<p>[mongodb-org-3.6]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/amazon/2013.03/mongodb-org/3.6/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.6.asc复制代码</p>
可以看到 repolist 已经存在:
<p># 安装
sudo yum install mongodb-org
# 启动
sudo systemctl start mongod
# 查看 MongoDB 后台进程
ps -aux |grep mongod
# 或者
sudo systemctl status mongod复制代码</p>
可以看到 MongoDB 在后台运行:
进入MongoDB:
安装Redis:
<p>yum install epel-release yum-utils
yum install http://rpms.remirepo.net/enterprise/remi-release-7.rpm
yum-config-manager --enable remi
yum install redis
vim /etc/redis.conf
# 使 redis 能在后台运行
daemonize yes复制代码</p>
启动redis服务
<p># 启动
systemctl restart redis
# 查看状态
systemctl status redis
# 查看端口
ss -an | grep 6379复制代码</p>
启动redis客户端
<p>redis-cli
# ctrl + d 退出客户端复制代码</p>
下载代码
请先安装git,然后克隆代码
<p>cd ~
# 下载代码
git clone https://github.com/howie6879/owllook复制代码</p>
搭建Python3.6环境:
<p># 下载anaconda管理 Python 环境
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.0-Linux-x86_64.sh
# 安装
chmod -R a+x Anaconda3-5.3.0-Linux-x86_64.sh
./Anaconda3-5.3.0-Linux-x86_64.sh
# 刷新终端
# 创建 Python3.6 环境
conda create -n python36 python=3.6复制代码</p>
配置项:
<p>cd ~/owllook
# 安装 pipenv
pip install pipenv
# --python 后面的路径是上面conda创建的路径地址
pipenv install --python ~/anaconda3/envs/python36/bin/python3.6
# 如果出错 继续往下执行
pipenv run pip install pip==18.0
pipenv install复制代码</p>
出现以下说明安装成功:
运行猫头鹰:
<p>cd owllook
python run.py复制代码</p>
成功如下图:
项目截图