百度搜索引擎优化指南20 下载(一个在线小说搜索引擎框架实现功能如下:安装接下来的安装步骤)

优采云 发布时间: 2021-11-01 20:23

  百度搜索引擎优化指南20 下载(一个在线小说搜索引擎框架实现功能如下:安装接下来的安装步骤)

  owllook是一个在线小说搜索引擎,它的宗旨是让阅读更轻松、更优雅,让每一位读者拥有舒适的阅读体验

  

  Owlook 是我大学写的一个 Python 开源项目。它已经维护了近两年。owllook上介绍的原文章已经年久失修,部分github用户不知道怎么安装和使用,所以我将文章重新编辑,作为指导使用

  介绍

  owllook是一个基于其他搜索引擎的垂直小说搜索引擎。提供搜索、阅读、采集、追逐、推荐等功能。

  Owlook 不保存数据。所有信息均使用基于第三方网站搜索的爬虫技术找到,然后通过在线分析展示给用户。对用户的好处是:

  owllook基于python3.6,后端使用Sanic(对这个web框架感兴趣的朋友可以在公众号后端回复sanic,看我写的Sanic教程),前端使用bootstrap和mdui,数据库是MongoDB,用于存储用户使用过程中产生的基本信息,如注册信息、搜索小说信息、采集小说数据等。对于一些必要的缓存,使用Redis进行缓存,如小说缓存和会话缓存。注意,对于受限数据:所有将在 24 小时内删除

  对于不同网站的小说,页面规则是不同的。希望代码解析后统一展示,方便美观,而不是直接跳转到对应的网站就搞定了,清爽简洁的阅读体验最重要

  目前直接在搜索引擎上检索结果。我试着写一些规则来完成分析。具体参见项目中的规则定义。遇到喜欢的小说网站,也可以自己加分析。owllook分析了200+网站,追网站分析了50+

  有一些地方需要用到爬虫,比如排名,一些书籍信息等,我不想用重量级的爬虫框架来写,所以我在owllook中写了一个非常轻量级的爬虫框架来做这个,见ruia异步爬虫框架

  目前的实现功能如下:

  安装

  接下来的安装步骤默认基于Centos7,默认在root用户下操作。先是Python版本,最好是Python3.6,然后项目数据库需要MongoDBRedis

  请先安装:

  <p>yum -y install bzip2 wget vim git复制代码</p>

  环境设置

  owllook的安装很简单,但是对于一些Python不熟悉或者新手来说确实有点难度。下面详细介绍安装过程

  数据库

  Owlook 要求您在服务器上安装 MongoDB 和 Redis。您不必管理数据库的创建。使用这个的好处是可以自动生成。

  安装 MongoDB:

  <p>vim /etc/yum.repos.d/mongodb-org-3.6.repo复制代码</p>

  进入:

  <p>[mongodb-org-3.6]

  name=MongoDB Repository

  baseurl=https://repo.mongodb.org/yum/amazon/2013.03/mongodb-org/3.6/x86_64/

  gpgcheck=1

  enabled=1

  gpgkey=https://www.mongodb.org/static/pgp/server-3.6.asc复制代码</p>

  可以看到 repolist 已经存在:

  

  <p># 安装

  sudo yum install mongodb-org

  # 启动

  sudo systemctl start mongod

  # 查看 MongoDB 后台进程

  ps -aux |grep mongod

  # 或者

  sudo systemctl status mongod复制代码</p>

  可以看到 MongoDB 在后台运行:

  

  进入MongoDB:

  

  安装Redis:

  <p>yum install epel-release yum-utils

  yum install http://rpms.remirepo.net/enterprise/remi-release-7.rpm

  yum-config-manager --enable remi

  yum install redis

  vim /etc/redis.conf

  # 使 redis 能在后台运行

  daemonize yes复制代码</p>

  启动redis服务

  <p># 启动

  systemctl restart redis

  # 查看状态

  systemctl status redis

  # 查看端口

  ss -an | grep 6379复制代码</p>

  

  启动redis客户端

  <p>redis-cli

  # ctrl + d 退出客户端复制代码</p>

  下载代码

  请先安装git,然后克隆代码

  <p>cd ~

  # 下载代码

  git clone https://github.com/howie6879/owllook复制代码</p>

  搭建Python3.6环境:

  <p># 下载anaconda管理 Python 环境

  wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.0-Linux-x86_64.sh

  # 安装

  chmod -R a+x Anaconda3-5.3.0-Linux-x86_64.sh

  ./Anaconda3-5.3.0-Linux-x86_64.sh

  # 刷新终端

  # 创建 Python3.6 环境

  conda create -n python36 python=3.6复制代码</p>

  配置项:

  <p>cd ~/owllook

  # 安装 pipenv

  pip install pipenv

  # --python 后面的路径是上面conda创建的路径地址

  pipenv install --python  ~/anaconda3/envs/python36/bin/python3.6

  # 如果出错 继续往下执行

  pipenv run pip install pip==18.0

  pipenv install复制代码</p>

  出现以下说明安装成功:

  

  运行猫头鹰:

  <p>cd owllook

  python run.py复制代码</p>

  成功如下图:

  

  项目截图

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线