网页抓取手机号(利用Python实现上市公司重大事项监控的业务逻辑（上）)

　　网页抓取手机号(利用Python实现上市公司重大事项监控的业务逻辑（上）)

　　Point and Finance，股票期货的专业投机者。

　　

　　前言

　　在之前的文章中，基本都是写攻略。今天，笔者将使用Python抓取东方财富的信息，并在当天公布上市中的重大事件内容。

　　上市公司的公告对我们的交易也具有一定的意义。

　　

　　部分上市公司公告会在会议期间公布，我可以实时监控重大事件动态，有助于协助交易。

　　因此，笔者将东方财富的上市公司公告通过钉钉提供的机器人接口发送至手机。

　　

　　实现监控上市公司重大事件的业务逻辑。

　　如果要动态获取上市公司的公告，程序必须时刻刷新。比较刷新前的数据和刷新后的数据。如果最新数据比上一时刻的数据长，则有新的公告。至此，我们正在进行后续操作。

　　如下所示：

　　

　　结果如下图：

　　

　　以上就是实现监控上市公司最新公告的整个逻辑。由于我们抓取的是动态加载的数据，所以需要找到存储上市公司公告的数据文件的url才能抓取。

　　笔者会为大家详细介绍整个功能是如何实现的！

　　使用 Python 监控上市公司的最新公告。

　　在开始之前，请确保您已经下载了PC版钉钉，并注册了账号并登录。笔者将分6步完成整个功能的实现，让我们开始吧。

　　1.第一步，导入对应的包和随机请求头。

　　笔者会使用xpath，获取网页信息，xpath是一个非常简单实用的工具，推荐使用它来爬取数据。

　　如下所示：

　　

　　2.第二步，获取00:00到现在的所有公告数据。

　　在我们的程序开始之前，我们需要知道发布了哪些公告，这些数据不会被推送。

　　1) 获取发布的公告网址。通过xpath获取各个页面的公告，通过常规提取各个股票公告详情页面的链接。

　　以便我们以后可以找到对应的PDF文件链接。

　　

　　代码如下所示：

　　

　　上图中的url，我们需要到js文件中才能找到。

　　如下所示：

　　

　　网址在标题中。

　　

　　2) 获取今天发布公告的链接。

　　这里笔者将截取公告中的时间，通过截取字符串的方式与本地电脑时间进行比较。如果它们相同，则为同一天公告。

　　否则，将在昨天宣布。

　　链接如下所示：

　　

　　代码：

　　

　　3.第三步，获取最新公告的PDF链接和标题。

　　这一步比较复杂。我们首先通过Whlie循环连续运行上述函数。

　　1）获取到数据后，与上次比较。如果有新数据产生，则存储在待推送公告列表中。

　　代码如下所示：

　　

　　跑：

　　

　　2) 上图中的info和PDF是当天发布的最新公告。我们将使用以下函数来获取与公告对应的 PDF 文件的链接。

　　并且，格式化公告标题。具体格式为（股票代码）：公告标题。

　　代码如下所示：

　　

　　

　　跑：

　　（002719)：*ST麦趣关于公司2019年年报问询函有关问题的专项说明……

　　4.第四步，缩短最新公告的链接，向钉钉发送post请求。

　　由于 PDF 的链接太长，作者通过 URL 缩短 API 将其缩短。

　　这样当钉钉接收数据时，页面看起来更简洁。

　　1) 通过 API 缩短 URL。

　　代码如下所示：

　　

　　跑：

　　

　　2) 向钉钉发送post请求。

　　①准备工作。

　　首先，我们需要点击钉钉群右上角的第一个按钮，进入智能群助手，添加机器人。

　　如下所示：

　　

　　二、复制下面的链接，接下来我们会向这个链接发送一个post request，里面有最新的上市公司公告数据。

　　

　　② 通过 sent_msg() 方法将最新的上市公司公告数据推送到钉钉。

　　代码如下所示：

　　

　　跑：

　　

　　概括。

　　以上，实现了对上市公司公告的实时监控功能，通过钉钉接收消息。文章分享了一个比较初级的版本。

　　读者可以根据自己的需要进行修改，比如一次发送多条数据等。

　　最后

　　其实最主要的就是这样一个接收信息的平台。没有它，我们捕获的数据将无法以良好和及时的方式传送到我们的手机或 PC。

　　当然，我们也可以通过钉钉接口，将自己的量化交易策略交易回报发送到手机，达到监控策略持仓的目的。

　　文章且代码仅供交流学习，不得用于非法用途。