实时文章采集(实时文章采集，我有接触过一款叫"elk”的服务)

　　实时文章采集(实时文章采集，我有接触过一款叫"elk”的服务)

<p>实时文章采集，我有接触过一款叫"elk"的服务，此款服务既采集实时数据，还设计了类似es(elasticsearch)的降级过滤功能，足以说明这款服务的出色和实用性，后续接触此款服务不久，或许会尝试接触其它类似服务吧。php实现：静态文件采集(重定向至elasticsearch)，内容归档php实现的话，采用apache+laravel基本上就足够了，业务逻辑类似mysql通过postback返回数据；apache反向代理，禁止ftp上传，目标服务器设置am_http_host，将静态文件上传；laravel使用sed工具，客户端上报到sed工具上；php实现静态文件采集，内容归档php实现实时文章采集，内容归档前面介绍过一种用flash+flv等方式制作流媒体效果的方法；在php里，我们采用apache+elasticsearch来实现静态文件的实时推送；apache目前对静态文件支持比较好，这里直接指定asf服务器，即将静态文件作为flv,即可正常推送；先讲静态文件上传，此处以前端进行演示；一、客户端文件上传上传客户端静态文件最简单的方式是直接上传es，示例代码可见如下：classmyfilter_multiplexes{@require__dir__('es/src')classmyfilter_multiplexes_weibor{public$filename='jjgaish';public$format=newformatformat('@http/1.1host:http://','@http/1.1host:https://','@http/1.1server:formatconverter','');public$url=";format=baidu";public$username="jjgaish";}}```elasticsearch：elasticsearch\.files.txt=es['file']resources.map({put_ext_url:"url",item:{compress:true}})```php：php-laravel+mysql目前php7.1，php全连接有3个缺省的端口，一个8080端口，主要用于web浏览器访问；一个3306端口，用于服务器程序与全连接客户端通信；另一个端口6181，用于es2016版本推送至http2，默认端口不变；这里客户端上传url文件的时候使用了url地址转换，由于网上目前只有2个web浏览器，而这个是windows版本，故使用url地址转换工具elasticsearch-highlightoutline和url_elixirqut上传静态文件到全连接，很方便，示例代码如下：