文章自动采集和发布(extract_text(max_height)：文章自动采集和发布(一))

　　文章自动采集和发布(extract_text(max_height)：文章自动采集和发布(一))

　　文章自动采集和发布

　　1）首先需要一个免费的采集器，

　　2）下载已经下载好的pageworker.load_from_script.js文件

　　3）在浏览器里访问即可采集文章，

　　4）如果没有request也可以自己构造，

　　5）编辑添加代码其中image.type是采集的源图片类型，可以根据自己的情况修改即可。extract_text(max_height)是超出文章大小之后所显示的图片名称url("")是文章url，包含小图片text_base.text的url。

　　windows下文章采集应该注意以下几点：

　　1、把多余的文字删掉。

　　2、标题单独命名，同时添加一个属性保存为post或formal。否则给后续文章抓取带来麻烦。

　　3、先定义抓取指令，然后在定义post或者formal，使用c++自带函数document指令比java自带函数system(position)更方便和简洁。此外，后续g+ua，版本控制，https等更复杂的功能要建立google账号。linux下是文章抓取的问题都比windows好一些，所以即使windows出了mvc框架（vscode之类的），linux依然是主流。

　　更多关于windows抓取的知识建议参见windows自动化和机器学习实践教程系列

　　二)自动化文章采集

　　4、抓取到的文章数据最好使用markdown排版，这样seo会带来巨大好处。

　　5、使用postmessage插件处理非同一服务器ip抓取文章。

　　6、文章抓取大小不要超过400kb，可以同一网址抓取下来放到excel多个文件放。

　　7、抓取内容尽量不要直接放到网站content/url，这样有时会被认为是广告或其他低质文章，建议以githubpage文件夹的形式存放。不要把抓取的文章聚合到已有仓库中（既然有数量限制，这个也是很伤的）。想抓取更多文章或者试用抓取工具，可以看我个人博客：applyd8432/awesome-api-finder·github。