网页抓取解密(Python自动生成Markdown文件解决方案解决方案文件)

　　网页抓取解密(Python自动生成Markdown文件解决方案解决方案文件)

　　写这个系列文章和相关的Python脚本，起源是我注意到网上有很多页面共享免费ss账号，但是这些账号的有效期只有几个小时或者几天。高效。

　　我的需求可以分解为几个自动化需求：

　　1.自动从多个网页抓取账户信息（每天大约80-110个）；

　　2.自动测试以找到访问 google/twitter 延迟小于 5 秒的有效帐户，

　　3.自动更新有效账户信息到特定网页，

　　4.用户只需要运行update_config.pyc自动刷新本地gui-config.json文件并重启ss可执行文件，新配置生效。

　　所以，1-4 作为一个整体是一个自动化的解决方案。借助 Ss/SsR、Proxy 切换插件和 Pac 等组件，您可以观看 youtube。得益于这样的解决方案，我可以通过 YouTube 全程跟踪柯洁对 AlphaGo 的直播。

　　用于解决上述四个要求的技术：

　　1. 主要使用requests和lxml这两个模块来抓取账户信息，调用AutoSs。 AutoSs 依赖于许多模块。在树莓派上的Ubuntu操作系统上导入zbar会导致segmentation fault，所以我把AutoSs中的def get_ss_shad0ws0cks8(r)函数注释掉了，少抓了一个网站的账号信息，效果不大。

　　2.参考Shad0wS0cks免费账号和测试工具共享的SSAccount.py源码，修改、加固、记录测试结果，保存为txt文件和json文件

　　3. 我写了一个 Python 脚本来自动生成一个 Markdown 文件。这个Markdown文件是一个Blog，包括账号信息、github等。网站支持jekyll模式静态网站，关键是Free，上传更新网站其实就是git同步这个Blog( Markdown 文件）到 github网站.

　　4. 用户运行的update_config.pyc使用requests和lxml模块获取Blog网页的账号信息，使用json模块读取gui-config.json的内容，修改内容gui-config.json，然后使用python的os.system()调用OS命令重启Shad0ws0cks客户端。

　　如果你只是自己使用它，它不需要那么复杂。 1-4 实际上形成了一个共享免费帐户的计划。

　　真正牛B的开源项目是这个，jlund/streisand

　　" xxxxxx 设置运行 L2TP/IPsec、OpenConnect、OpenSSH、OpenVPN、Shad0ws0cks、......和 ​​WireGuard 的新服务器。它还为所有这些服务生成自定义指令。在运行结束时您将获得一个 HTML 文件，其中收录可以与朋友、家人和其他活动家共享的说明。"

　　待续

　　免费账号信息ssr url解码

　　入门：使用 Python 在 Web 上抓取免费帐户（一） - 知乎专栏

　　AutoSs开源项目介绍

　　入门：使用 Python 在 Web 上抓取免费帐户（二） - 知乎专栏

　　ssa.py程序运行效果

　　入门：使用 Python 抓取网络上的免费帐户（三） - 知乎column

　　ssa.py自动测试免费账号程序的由来

　　入门：使用 Python 在 Web 上抓取免费帐户（四） - 知乎专栏

　　update_config.py 使用示例

　　入门：使用 Python 在 Web 上抓取免费帐户（五） - 知乎专栏

　　用于读写 gui-config.json 和重启 Shad0ws0cks 客户端的示例代码

　　入门：使用 Python 在 Web 上抓取免费帐户（六） - 知乎专栏

　　获取免费账户、测试免费账户、分发免费账户的完整解决方案

　　入门：使用 Python 抓取网络上的免费帐户（七） - 知乎column

　　update_config.py自动更新免费账号脚本介绍

　　入门：使用 Python 抓取网络上的免费帐户（八） - 知乎column

　　Mac OS X 上的客户端 Shad0ws0cksX._NG 使用 plist 格式的配置文件，而不是 json 格式的配置文件。可以使用脚本自动更新账户信息吗？

　　入门：使用 Python 在 Web 上抓取免费帐户（九） - 知乎专栏

　　如何快速将收录免费账号的json文件合并到当前ss客户端的gui-config.json配置文件中

　　入门：使用 Python 抓取网络上的免费帐户（十） - 知乎column

　　使用update_config.pyc脚本需要满足的条件和软件安装指南

　　入门：使用 Python 在网页上抓取免费帐户（一） - 知乎专栏

　　Mac OS X Shad0ws0cks客户端plist配置文件转换成的json文件长这样

　　入门：使用 Python 在网页上抓取免费帐户（B） - 知乎专栏

　　Update_config.pyc整体方案介绍

　　入门：使用 Python (C) 在网页上抓取免费帐户 - 知乎专栏