网站程序自带的采集器采集文章(打造一个个人小说站源码上传的商家推荐:网站服务器)
优采云 发布时间: 2022-01-27 04:09网站程序自带的采集器采集文章(打造一个个人小说站源码上传的商家推荐:网站服务器)
这个文章收录了建立个人小说站的所有详细流程,避免了目前大部分的弯路,无需精通编程,小白也能用。如果你有兴趣搭建个人小说站,可以参考这篇教程完整,因为这里收录了所有相关的源码、规则、程序,你不需要去其他地方找. 另外,这些博主的源代码也被采集,不保证绝对安全,但保证正常使用。,请注意筛选。
注意红色编码部分是你要填写参数的部分
准备好工作了:
网站 大硬盘linux系统服务器(推荐debian8)
N个系统为win的采集服务器(可以是一个)
网站 的域名
服务器选择的一些建议:
因为需要使用多台服务器,所以最实惠的解决方案可能是选择国外服务器。网站最好选择西部的服务器。一方面是因为价格。将它们作为采集 的对象可以保证更快的速度。至于推荐的商家,我后面会补上,因为大硬盘VPS容易断货。
至于采集服务器,我个人推荐使用Vutlr,因为通过邀请注册可以额外获得$25的奖励,可用于开启多台机器同时执行采集,既保证速度又减少高架。,一般情况下,4台机器可以远程采集5条可用规则,一天可以采集1500-3000本书,内容大小在12-20G左右。
还有一点很重要,采集服务器必须靠近网站服务器,ping值最好小于2ms。
部分商家推荐:
网站服务器设置:
1.Linux服务器安装Lamp运行环境
这里需要注意的是php选择5.2,apache选择2.4,其他可以默认推荐。
2.在Liunx服务器上添加PC和手机域名,解析域名
分两步添加,先PC域名,记得建个数据库,再添加手机域名,一般格式为
然后在域名提供者上设置域名解析
3.网站将源码上传到服务器并配置目录的权限
使用Winscp将PC和WAP源代码和压缩包上传到对应的根目录并解压,然后修改目录权限
注意:将PC.zip解压到你的域名.com目录,WAP.zip解压到m.你的域名.com
相关命令示例:
解压解压PC.zip
修改权限 chmod -R 777 /home/wwwroot
修改所有者 chown -R www /home/wwwroot
4.配置站目录下的key文件
然后根据源码中的说明配置网站的配置文件。下面是需要修改配置文件的地方。它已用红色代码标记。@>留言
PC网站 目录下的 /configs/define.php:
WAP目录下(若乱码请改码):
5.进入网站后台输入相关配置
解析生效后,直接输入你的url访问网站,这里我们直接在url后面输入/admin,然后进入后台(用户名admin,密码admin2017).
只要修改的内容是之前设置的一些参数,以及网站相关的信息,这里用截图做个简单的识别:
然后执行命令清除自带的小说数据:
截断表
1`
jieqi_article_article
1`
;
截断表
1`
jieqi_article_chapter
1`
;
6.安装Samba并完成配置
执行命令安装 Samba:
apt-get install samba samba-common-bin
然后使用WinScp,找到目录/etc/samba/smb.conf,编辑这个配置文件并保存:
共享定义下的部分
[杰奇]
comment = jieqi (尽量用这个名字,方便以后参考教程)
path = /home/wwwroot/(这里填写你要分享的目录,分享整个PC网站目录)
有效用户 = 根
公开=不
可写=是
可打印=否
dos 字符集 = GB2312
unix 字符集 = GB2312
目录掩码 = 0777
强制目录模式 = 0777
目录安全掩码 = 0777
强制目录安全模式 = 0777
创建掩码 = 0777
强制创建模式 = 0777
安全*敏*感*词* = 0777
强制安全模式 = 0777
然后重启 Samba 服务:
/etc/init.d/samba 重启
然后添加 Samba 用户:
smbpasswd -a 根
然后根据提示输入密码。
7.打开IPtable相关端口
先检查港口情况。如果 3306 端口被 DROP 丢弃,则需要释放该端口,并将序列号替换为要删除的序列号。
先检查端口规则
iptables -L -n --line-numbers
例如,要删除INPUT中序号为6的DROP规则(如果有DROP规则,如果没有则跳过),执行:
iptables -D 输入 6
然后添加以下规则:
iptables -A INPUT -p tcp --dport 3306 -j ACCEPT
iptables -A INPUT -p tcp --dport 139 -j ACCEPT
iptables -A INPUT -p tcp --dport 445 -j ACCEPT
iptables -A 输入 -p udp --dport 137 -j 接受
iptables -A 输入 -p udp --dport 138 -j 接受
8.赋予 MySQL root 用户远程权限
首先登录mysql账号(会提示输入root用户密码):
mysql -u 根目录 -p
然后为root用户启用远程权限(将密码替换为root用户的密码):
使用mysql;
GRANTALLON*.*TOroot@'%'IDENTIFIEDBY'password'WITHGRANTOPTION;
刷新特权;
然后Ctrl+C退出
9.优化一些MySQL设置
使用Winscp,找到/etc/f,参考下图修改:
然后重启lnmp服务:
lnmp 重启
10.开启Apache跨目录权限
使用Winscp,找到/usr/local/apache/conf/vhost目录,将与域名相关的两个文件中的代码行注释掉(前面加#):
php_admin_value open_basedir "/home/wwwroot/:/tmp/:/var/tmp/:/proc/"
然后重启lnmp服务:
lnmp 重启
采集服务器设置:
1.在服务器上安装win系统并远程连接
如果没有,可以参考这个文章
2.上传网关采集器和加速工具到服务器
直接复制,然后粘贴到服务器上,然后解压,然后运行ServerSpeeder文件下的serverSpeeder.bat,优化网络稳定性
3.连接samba服务器并映射到硬盘
打开开始-所有程序-附件-在服务器上运行,输入地址回车
\网站服务器IP
这里会弹出一个登录窗口,填写你之前设置的Samba用户名(root)和密码
然后可以看到一个名为jieqi的文件夹,确认这个文件夹可以正常打开,然后右键将jieqi文件夹映射到网络盘为E盘。
注意:如果一直连接不上,可能是服务商只使用了Samba端口的使用权,下发工单即可开通
4.配置系统的系统设置
然后打开GuanGuan5.6文件夹下的NovelSpider.exe,打开设置-系统设置,修改指定部分:
Data Source是你的网站服务器IP,Database是网站数据库名,User ID是root,Password是对应用户的密码
修改后一定要确认关键点,然后彻底关闭采集程序,然后再次打开程序,打开采集--standard采集,选择采集@ > 规则和采集 方式,然后启动采集:
这是正常的 采集 界面
您可以选择同时打开多个 采集windows采集,但同一个 采集server 对于同一规则不应有超过两个 采集windows。
建议根据目标站序号使用采集,这样可以更好的为每个服务器划定采集的范围,比如服务器A采集0-2000,服务器B< @采集2001 -4000 等等,报错时也很容易验证。
其他采集服务器也可以按照上述配置。
开始 采集:
在我提供的 采集器 中,附有五个规则。虽然都可以用,但是质量有好有坏。个人使用后,笔趣阁、新笔趣阁和八一中文是最快最好的。稳定,但八一中文广告多,新笔趣格源站不稳定,容易出现采集空章。具体情况请自行体验。
问题总结:
这里总结一下我在过程中遇到的一些问题,供参考