网页小说抓取 ios(爬虫脚本项目设置本地脚本创建app，部署开发环境)

　　网页小说抓取 ios(爬虫脚本项目设置本地脚本创建app，部署开发环境)

　　爬虫脚本

　　项目地址：

　　需要：python 2.7

原理：利用urllib2下载页面，然后正则匹配内容，将抓取的内容生成index.html

#novel_spider.py

　　设置github网页

　　蜘蛛项目设置github页面，小说网页托管在github上

　　服务器定时生成页面

　　需要：服务器 or 一台一直开着的机器

将git上的代码迁出到服务器

#crontab设置

crontab -e

#每小时的第30分钟拉取一次页面数据

10 * * * * ./home/jinxiu/code/spider/gen.sh >> /home/jinxiu/log/spider.log

#设置crontab开机启动

systemctl status crond.service #查看crontab服务状态

systemctl enable crond.service #开机自启动

#gen.sh

pwd=`dirname $0`

cd $pwd

git pull origin master

./novel_spider.py

git commit -a -m "gen index html"

git push origin

　　创建应用

　　这里使用apicloud创建app，主要是为了方便，没有部署android开发环境。

　　项目地址：

　　apicloud页面选择创建本地项目，生成的代码地址用svn工具签出

#修改config.html, 设置app自动更新

#修改index.html

apiready = function(){

//输出Log，Log将显示在APICloud Studio控制台

console.log("Hello APICloud");

api.openFrame({

name: 'main',

url: 'https://specialtiger.github.io/spider/',

// url: 'https://www.baidu.com',

bounces: true,

rect: {

x: 0,

y: 0,

w: 'auto',

h: 'auto'

}

});

};

　　由于没有下载Android Studio（虽然后来下载了，上墙用这个有点痛苦），看了好多种app生成方式，最终决定使用apicloud云编译。该平台无需在本地设置环境即可创建应用程序！ （本来想用python做android的，结果发现这个产品又坑了。）

　　最重要的是apicloud有一套在线编译发布系统，可以生成apk下载链接，自动更新已安装的应用。可以用他的sdk用wifi模拟器调试，从头到尾调试不需要usb连接，也不需要手机。

　　前提是学习一点html编程的基础知识。 app原理由本地web框架生成。所以看小说就够了。如果您需要快速创建网络应用，可以考虑。