如何利用C#Winform和Python一起来解决网站采集敏感信息
优采云 发布时间: 2021-05-30 04:28如何利用C#Winform和Python一起来解决网站采集敏感信息
前言
我过去没有对爬虫做过太多研究。最近需要获取一些网站采集敏感信息。经过一番考虑,我决定使用C#Winform和Python来解决这个事件。
整个方案并不复杂:C#写WinForm表单,进行数据分析和采集,Python本来不想用的,但是没找到C#下Woff字体转Xml的解决方案,但是网上有很多 Python 程序。所以我添加了一个 Python 项目,虽然只有 1 个脚本。
一、几个步骤:
首先,您必须模拟登录。登录后,输入简历【k15】,然后模拟下载。下载后可以看到求职者的电话。
此电话号码使用动态生成的Base64字体,无法直接提取文字。
1、先将Base64转Woff字体,这个可以用C#来做(iso-8859-1编码是坑,一般用Default会带来惊喜):
SetMainStatus("正在生成WOFF...");
byte[] fontBytes = Convert.FromBase64String(CurFont);
string fontStr = Encoding.GetEncoding("iso-8859-1").GetString(fontBytes).TrimEnd('\0');
StreamWriter sw2 = new StreamWriter(@"R58.woff", false, Encoding.GetEncoding("iso-8859-1"));
sw2.Write(fontStr);
sw2.Close();
2、 然后将生成的Woff转换成XML(WoffDec.exe是我用Python打包的Exe,不过有点小题大做。为了这个转换,我写了一个包,有时间的话还是需要的整个 C# OK)
//调用python exe 生成xml文件
ProcessStartInfo info = new ProcessStartInfo
{
FileName = "WoffDec.exe",
WindowStyle = ProcessWindowStyle.Hidden
};
Process.Start(info).WaitForExit(2000);//在2秒内等待返回
整个WoffDec.py代码为3行:
from fontTools.ttLib import TTFont
font = TTFont('R12.woff')
font.saveXML('R12.xml')
这个包装有点意思。我首先尝试了py2exe,但没有成功。我改为 pyinstaller 并且它起作用了。连EXE都有11M,不算大。
下载或本地下载,或者在VS2017 Python环境中搜索PyInstaller直接安装。
右键单击并使用“在此处打开命令提示符”;输入pyinstaller /path/to/yourscript.py 打包成exe文件。调用 Winform 应用程序时,应将整个文件夹复制过来。
3、XML文件可用后,准备根据上面的Woff文件存储为数据字典(这个地方有点绕,先找个网站把Woff显示为文本和代码,然后根据Find its font anchor point in XML中的代码,我取X和Y形成唯一值(X,Y代表一个词),当然可以取更多;
internal static readonly Dictionary DicChar = new Dictionary()
{
{"91,744","0" },
{"570,0","1"},
{"853,1143","2" },
{"143,259","3" },
。。。。。。
};
4、 上述步骤需要一些时间。基准字典可用后,您可以根据每次生成的 XML 文件匹配实际文本。
5、检索真实文本很容易。直接采集到数据库,然后连接短信发送服务,就可以自动分组发送了。
二、 使用场景
下班后开启采集服务就不用担心了。系统会定时自动下载简历,自动推送面试邀请短信。只要有新人发布相应的求职信息,系统就会立即向他发出邀请,真是抢人的利器。
顺便说一句:用于网络模拟操作的 CEFSharp 将开启新的篇章。
总结
以上是本文文章的全部内容。希望本文的内容对大家的学习或工作有一定的参考价值。感谢您对 Script Home 的支持。