最新版本:杰奇1.7+关关采集器+基于Linux小说网站+Win端Samba远程采集思路

优采云 发布时间: 2020-08-30 12:05

  杰奇1.7+关关采集器+基于Linux小说网站+Win端Samba远程采集思路

  文章目录[隐藏]

  这篇文章,收录了个人小说站构建的全部详尽过程,避免了目前大多数的弯路,不需要把握编程,小白也可以使用,如果有兴趣构建一个个人小说站,可以参照这个教程来完整,因为所有相关的源码,规则,程序,都收录在此,不需要去其他地方再找,另外博主的那些源码也是采集而至,不保证绝对的安全性,但保证可以正常使用,请注意甄别。

  注意黑色打码部份是你要填入参数的部份

  准备工作:服务器选择的一些建议:

  因为须要用到多台服务器,所以最便宜方案可能就是选择美国服务器,网站最好选择美东的服务器,一方面是因为价钱,另一方面是美东有大量类似小说站,如果以她们为采集对象,可以保证更快的速率,至于推荐店家,我后期会补上,因为大硬碟 VPS 很容易脱销。

  至于采集服务器,个人建议使用 Vutlr,因为走约请注册,可以获得额外的 25 美元奖励,可以拿来开多台机器,进行同时采集,保证速率同时,又能降低开支,正常情况下,4 台机器一起远程采集 5 个可用规则,一天可以采集 1500-3000 本书,内容的大小大约是 12-20G。

  还有很重要的一点,采集服务器一定要离网站服务器逾,ping 值最好能在 2ms 以下。

  一些店家推荐:

  小说站及采集端的优价服务器组合推荐

  网站服务器搭建:

  1.Linux 服务器安装 Lamp 运行环境

  这里要注意下,php 选 5.2,apache 选 2.2,其他的选默认推荐的即可

  2.在 Liunx 服务器上添加 PC 端和移动端域名,并解析域名

  分两次添加,先 PC 域名,记得构建数据库,然后再添加联通域名,一般都是m.你的域名.com这样的格式

  然后在域名供应商那儿设置域名的解析

  3.网站源码上传至服务器,并配置目录的权限

  使用 Winscp 分别把 PC 和 WAP 源码的与压缩包上传到相应根目录并解压,然后更改目录权限

  注意:PC.zip 解压到你的域名.com目录下,WAP.zip 解压到m.你的域名.com下

  相关命令示例:

  解压 unzip PC.zip

  修改权限 chmod -R 777 /home/wwwroot

  修改所有者 chown -R www /home/wwwroot

  4.配置好站目录下的关键文件

  然后按源码中的说明配置好网站的配置文件,以下是配置文件休要更改的地方,已用绿色打码标明,如果看不懂数据意思,结合注释修或则在本文章留言咨询

  关于杰奇的授权码,可以到这儿生成(填入你的域名,注意格式):

  PC 网站目录下的/configs/define.php:

  

  

  WAP 目录下的(乱码的话注意改下编码):

  

  

  5.进入网站后台销项相关配置

  解析生效后,直接输入你的网址,就能访问网站了,这里我们直接在网址后输入/admin,然后步入后台(用户名 admin,密码 admin2017)。

  修改的内容只要是之前设置过的一些参数,以及网站相关的信息,这里用截图简单标示一下:

  

  

  

  

  

  

  然后执行命令清空自带的小说数据:

  TRUNCATE TABLE `jieqi_article_article`;

  TRUNCATE TABLE `jieqi_article_chapter`;

  

  

  

  

  6.安装 Samba,并建立配置

  执行命令,安装 Samba:

  apt-get install samba samba-common-bin

  然后使用 WinScp,找到目录/etc/samba/smb.conf,编辑这个配置文件并保存:

  位于Share Definitions下的部份

  [jieqi]

  comment = jieqi(尽量用这个名子,便于上面参考教程)

  path = /home/wwwroot/(这里填你要共享的目录,共享整个 PC 网站目录)

  valid users = root

  public = no

  writable = yes

  printable = no

  dos charset = GB2312

  unix charset = GB2312

  directory mask = 0777

  force directory mode = 0777

  directory security mask = 0777

  force directory security mode = 0777

  create mask = 0777

  force create mode = 0777

  security mask = 0777

  force security mode = 0777

  然后重启 Samba 服务:

  /etc/init.d/samba restart

  然后添加 Samba 用户:

  smbpasswd -a root

  之后按提示输入密码。

  7.开放 IPtable 的相关端口

  先查看端口情况,如果 3306 端口被 DROP 掉,需要放开这个端口,序号部份替换成要删掉的序号

  首先查看端口规则情况

  iptables -L -n --line-numbers

  比如要删掉 INPUT 里序号为 6 的 DROP 规则(如果有带 DROP 的规则,没有则跳过),执行:

  iptables -D INPUT 6

  然后添加下述规则:

  iptables -A INPUT -p tcp --dport 3306 -j ACCEPT

  iptables -A INPUT -p tcp --dport 139 -j ACCEPT

  iptables -A INPUT -p tcp --dport 445 -j ACCEPT

  iptables -A INPUT -p udp --dport 137 -j ACCEPT

  iptables -A INPUT -p udp --dport 138 -j ACCEPT

  8.给予 MySQL 的 root 用户远程权限

  首先登陆 mysql 账户(会提示输 root 用户密码):

  mysql -u root -p

  然后给 root 用户开启远程权限(密码替换成 root 用户的密码):

  usemysql;

  GRANTALLON*.*TOroot@'%'IDENTIFIEDBY'password'WITHGRANTOPTION;

  flushprivileges;

  然后 Ctrl+C 退出即可

  9.优化部份 MySQL 的设置

  使用 Winscp,找到/etc/f,参考右图更改:

  

  

  然后重启 lnmp 服务:

  lnmp restart

  10.开放 Apache 跨目录权限

  使用 Winscp,找到/usr/local/apache/conf/vhost 目录,分别将目下两个域名相关的文件中这一行代码注释掉(前面加#):

  php_admin_value open_basedir "/home/wwwroot/:/tmp/:/var/tmp/:/proc/"

  然后重启 lnmp 服务:

  lnmp restart

  采集服务器搭建:

  1.将服务器安装 win 系统并远程联接

  如果不会,可参照这个文章

  在 KVM 的 VPS 上一键安装 32 位 Win7 系统

  2.将关关采集器和加速工具上传至服务器

  直接复制,然后在服务器上粘贴即可,然后解压,再运行 ServerSpeeder 文件下的 serverSpeeder.bat,来优化网路的稳定性

  3.联接 samba 服务器,并映射成硬碟

  在服务器上打开开始–所有程序–附件–运行,输入地址之后回车

  \网站服务器的 IP

  这里会弹出登陆窗口,填你之前设置的 Samba 的用户名(root)和密码

  然后能看到名为 jieqi 的文件夹,确认能正常打开这个文件夹,然后右键将 jieqi 文件夹映射网络驱动器为 E 盘。

  注意:若仍然未能联接,可能是服务商仅用了 Samba 端口的使用权,可以通过发工单开通

  4.配置关关的系统系统设置

  然后打开 GuanGuan5.6 文件夹下的 NovelSpider.exe,打开设置–系统设置,修改指定部份:

  

  

  Data Source 是你的网站服务器 IP,Database 是网站数据库名,User ID 填 root,Password 是对应用户的密码

  修改完后,一定要点确定,再完全关掉采集程序,然后再度打开程序,打开采集–标准采集,选择好采集规则和采集方式,然后开始采集:

  

  

  这就是正常采集的界面

  

  

  可以选择同时开启多个采集窗口采集,但是同一台采集服务器对同一个规则的采集窗口最好不要超过两个。

  建议使用按目标站序号进行采集,可以更好的给各台服务器划定采集范围,比如 A 服务器采集 0-2000,B 服务器采集 2001-4000,以此类推,也易于报错时侯核实。

  其他的采集服务器也根据以上配置即可。

  开始采集:

  我提供的采集器上面,附带了五个规则,虽然都能用,但是质量有好有坏,个人使用出来,笔趣阁和新笔趣阁以及八一英文的速率最快,最稳定,但是八一英文的广告较多,新笔趣阁的源站不稳定,容易出现采集空章节情况,具体情况请自行体验。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线