解决方案:算法自动采集列表是一种高效的大数据处理方式
　　算法自动采集列表是一种高效的大数据处理方式，在互联网时代发挥了重要作用。算法自动采集列表的功能是收集大量的网络数据，并根据用户的需要进行处理和存储。通过使用算法自动采集列表，可以快速、准确地从海量的信息中抽取有价值的数据，大大降低了人工采集信息所需要花费的时间和成本。
　　
　　随着互联网应用的不断发展，电子商务、信息服务、物流外包、供应链创新、运营优化、IT服务业等各个行业都需要使用到算法自动采集列表。这就需要一套实用而又安全可靠的方案来实现大数据采集。优采云采集器是一个专门为企业客户开发的大数据采集平台，常用于市场营销、竞争对手情报分析、供应商评估、价格监测以及新闻舆情监测等各个应用场合。
　　优采云采集器具有安全性强、易于使用、成本低廉以及优异性能几大特征。它能够快速有效地对各行各业的海量信息进行处理并提取出有价值的数据，进而带来前所未有的市场竞争优势。此外，优采云采集器也能够通过语义分析来进一步实时监测舆情，从而带来快速准确的舆情风向标。
　　
　　此外，优采云采集器还具有易部署、易扩充性强以及易上手几大特征：不需要对原始代理进行单独部署就能够实时直观地看到代理IP是否正常工作；不需要对原始代理进行单独部署就能够方便地对代理IP进行扩充或者减少；不需要再去学习新语法就能够快速上手使用优采云端已有API库中的内容。
　　总之，作为一套高效耐用并且具有强大实时直观性功能的大数据处理方式，优采云采集器无疑是当前市场上使用者必不可少的选择之一。 查看全部

　　解决方案:03 增量爬虫技术
　　01 专注爬虫技术
　　聚焦爬虫也是主题爬虫。 专注爬虫技术增加了链接评估和内容评估模块，其爬虫策略的重点是评估页面内容和链接的重要性。
　　基于链接评估的爬虫策略主要将网页作为半结构化文档，其中收录大量的结构信息，可以用来评估链接的重要性。 另一种方法是利用Web结构来评估链接的价值，即HITS法，通过计算每个被访问页面的Authority权重和Hub权重来确定链接访问的顺序。
　　基于内容评价的爬虫策略主要是应用类似于文本的计算方法，提出Fish-Search算法，以用户输入的查询词为主题。 随着算法的进一步改进，Shark-Search算法可以使用空间向量模型来计算页面和主题的相关性大小。
　　面向主题的爬虫、面向需求的爬虫：它会针对特定的内容爬取信息，并会尽可能保证信息和需求的相关性。 下面显示了一个如何使用聚焦爬虫的简单示例。
　　import urllib.request     # 爬虫专用的包urllib，不同版本的Python需要下载不同的爬虫专用包 import re     # 正则用来规律爬取 keyname=""     # 想要爬取的内容 key=urllib.request.quote(keyname)     # 需要将你输入的keyname解码，从而让计算机读懂 for i in range(0,5):   # (0,5)数字可以自己设置，是淘宝某产品的页数     url="https://s.taobao.com/search%3F ... 2Bstr(i*44) # url后面加上你想爬取的网站名，然后你需要多开几个类似的网站以找到其规则 # data是你爬取到的网站所有的内容要解码要读取内容     pat='"pic_url":"//(.*?)"' # pat使用正则表达式从网页爬取图片 # 将你爬取到的内容放在一个列表里面     print(picturelist)     # 可以不打印，也可以打印下来看看     for j in range(0,len(picturelist)):         picture=picturelist[j]         pictureurl="http://"+picture         # 将列表里的内容遍历出来，并加上http://转到高清图片         file="E:/pycharm/vscode文件/图片/"+str(i)+str(j)+".jpg"         # 再把图片逐张编号，不然重复的名字将会被覆盖掉         urllib.request.urlretrieve(pictureurl,filename=file)         # 最后保存到文件夹 
　　02 通用爬虫技术
　　通用网络爬虫是整个网络爬虫。 其实现过程如下。
　　
　　第五，当满足爬虫系统设置的停止条件时，停止爬虫。 在写爬虫的时候，一般都会设置相应的停止条件。 如果不设置停止条件，爬虫会继续爬取，直到获取不到新的URL地址。 如果设置了停止条件，爬虫会在满足停止条件时停止爬行。 详见图2-5右下子图。
　　通用爬虫技术的应用有不同的爬取策略，其中广度优先策略和深度优先策略更为关键。 例如，深度优先策略的实现是按照深度从低到高的顺序访问下一级网页链接。
　　下面是一个如何使用普通爬虫的例子。
　　''' 爬取京东商品信息：     请求url：https://www.jd.com/     提取商品信息：         1.商品详情页         2.商品名称         3.商品价格         4.评价人数         5.商品商家 ''' from selenium import webdriver    # 引入selenium中的webdriver from selenium.webdriver.common.keys import Keys import time  def get_good(driver):     try:          # 通过JS控制滚轮滑动获取所有商品信息         js_code = '''             window.scrollTo(0,5000);         '''         driver.execute_script(js_code)  # 执行js代码          # 等待数据加载         time.sleep(2)          # 查找所有商品div         # good_div = driver.find_element_by_id('J_goodsList')         good_list = driver.find_elements_by_class_name('gl-item')         n = 1         for good in good_list:             # 根据属性选择器查找             # 商品链接             good_url = good.find_element_by_css_selector(                 '.p-img a').get_attribute('href')              # 商品名称             good_name = good.find_element_by_css_selector(                 '.p-name em').text.replace("\n", "--")              # 商品价格             good_price = good.find_element_by_class_name(                 'p-price').text.replace("\n", ":")              # 评价人数             good_commit = good.find_element_by_class_name(                 'p-commit').text.replace("\n", " ")              good_content = f'''                         商品链接: {good_url}                         商品名称: {good_name}                         商品价格: {good_price}                         评价人数: {good_commit}                         \n                         '''             print(good_content)             with open('jd.txt', 'a', encoding='utf-8') as f:                 f.write(good_content)          next_tag = driver.find_element_by_class_name('pn-next')         next_tag.click()          time.sleep(2)          # 递归调用函数         get_good(driver)          time.sleep(10)      finally:         driver.close()   if __name__ == '__main__':      good_name = input('请输入爬取商品信息:').strip()      driver = webdriver.Chrome()     driver.implicitly_wait(10)     # 往京东主页发送请求     driver.get('https://www.jd.com/')      # 输入商品名称，并回车搜索     input_tag = driver.find_element_by_id('key')     input_tag.send_keys(good_name)     input_tag.send_keys(Keys.ENTER)     time.sleep(2)      get_good(driver) 
　　03 增量爬虫技术
　　有些网站会在原有网页数据的基础上定期更新一批数据。 比如电影网站会实时更新一批近期的热门电影，小说网站会根据作者的创作进度实时更新最新的章节数据。 遇到类似的场景，我们可以使用增量爬虫。
　　增量爬虫技术（incremental Web crawler）是通过爬虫程序监测某个网站的数据更新情况，从而爬取网站更新后的新数据。
　　关于如何进行增量爬取工作，下面给出三种检测重复数据的思路：
　　发送请求前先判断该URL是否已经被抓取； 解析内容后判断内容是否被爬取； 在写入存储介质时判断该内容是否已经存在于介质中。
　　不难发现，增量爬取的核心是去重。 目前有两种去重方法。
　　
　　下面显示了如何使用增量爬虫的示例。
　　import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from redis import Redis from incrementPro.items import IncrementproItem class MovieSpider(CrawlSpider):     name = 'movie'     # allowed_domains = ['www.xxx.com']     start_urls = ['http://www.4567tv.tv/frim/index7-11.html']     rules = (         Rule(LinkExtractor(allow=r'/frim/index7-\d+\.html'), callback='parse_item', follow=True),     )     # 创建Redis链接对象     conn = Redis(host='127.0.0.1', port=6379)     def parse_item(self, response):         li_list = response.xpath('//li[@class="p1 m1"]')         for li in li_list:             # 获取详情页的url             detail_url = 'http://www.4567tv.tv' + li.xpath('./a/@href').extract_first()             # 将详情页的url存入Redis的set中             ex = self.conn.sadd('urls', detail_url)             if ex == 1:                 print('该url没有被爬取过，可以进行数据的爬取')                 yield scrapy.Request(url=detail_url, callback=self.parst_detail)             else:                 print('数据还没有更新，暂无新数据可爬取！')      # 解析详情页中的电影名称和类型，进行持久化存储     def parst_detail(self, response):         item = IncrementproItem()         item['name'] = response.xpath('//dt[@class="name"]/text()').extract_first()         item['kind'] = response.xpath('//div[@class="ct-c"]/dl/dt[4]//text()').extract()         item['kind'] = ''.join(item['kind'])         yield it 
　　管道文件：
　　from redis import Redis class IncrementproPipeline(object):     conn = None     def open_spider(self,spider):         self.conn = Redis(host='127.0.0.1',port=6379)     def process_item(self, item, spider):         dic = {             'name':item['name'],             'kind':item['kind']             }         print(dic)         self.conn.push('movieData',dic)             # 如果push不进去，那么dic变成str(dic)或者改变redis版本            pip install -U redis==2.10.6         return item 
　　04 深网爬虫技术
　　在互联网中，网页按存在方式可分为表层网页和深层网页。
　　所谓表层网页是指无需提交表单，使用静态链接即可到达的静态页面； 而深层网页则隐藏在表单后面，无法通过静态链接直接获取，需要提交一定的关键词才能访问。 得到的页面中最重要的部分是表单填写部分。
　　在互联网中，深层网页的数量往往远大于表层网页的数量。 因此，我们需要想办法爬取深层网页。
　　深网爬虫的基本组成：URL列表、LVS列表（LVS是指标签/值集合，即填写表单的数据源）、爬取控制器、解析器、LVS控制器、表单分析器、表单处理器、响应分析仪。
　　深网爬虫的填表方式有两种：
　　技术和经验:利用cms建站有什么优势
　　使用cms建站的优势如下
　　1.网站线速度快
　　
　　使用cms建站的用户只需在网站模板中选择自己喜欢的模板并部署上线，上线后即可添加网站内容。
　　2.安全稳定
　　cms系统由于其开源的特点拥有大量的用户，用户在使用过程中发现的问题和当前国网安全联盟的白帽技术爱好者挖出的漏洞都在cms的不断修复和升级中厂商，所以只要及时将网站的管理升级到最新版本的cms ，就可以保证网站的安全稳定。
　　3、有利于网站推广
　　
　　一个成熟的cms系统对于SEO有着完整的设计理念和配置机制。 网站后，只要选择合适的关键词，并在后台设置SEO参数，网站的关键词排名比其他建站方式更容易，排名也更高。
　　4.方便的网站管理
　　cms功能齐全，支持可视化编辑。 网站上线后，您可以在后台修改网站所有的文字、图片、栏目等内容，还可以修改网站的颜色等样式。 查看全部

　　解决方案:k-近邻算法实现手写数字识别系统——《机器学习实战》
　　一、实验介绍
　　1.1 实验内容
　　本实验将从电影主题分类的例子入手，详细描述k近邻算法的原理。 之后，我们将使用该算法实现一个手写数字识别系统。
　　完整教程及在线练习地址：K近邻算法实现手写数字识别系统1.2实验源码
　　本实验来源于图灵教育授权实验室大楼发布的《机器学习实战》一书第2章。 如需系统学习本书，请购买《机器学习实战》。
　　为了保证本次实验能够在实验室环境下完成，我们增加了实验截图、代码注释等一系列实验指导，帮助大家更好的实践。
　　1.3 实验知识点 1.4 实验环境 1.5 适合人群
　　本课程难度中等，适合具有基本Python知识的用户。 如果您了解 numpy，则可以更好地入门本课程。
　　1.6 代码获取
　　您可以在实验楼获取该项目的代码，作为参考对比学习。
　　2、实验原理
　　众所周知，电影可以按照题材来分类，但是题材本身是如何定义的呢？ 谁来决定一部电影属于哪个主题？ 也就是说，同一题材的电影有哪些共同特征？ 这些都是电影分类时必须要考虑的问题。 没有一个电影人会说他拍的电影和以前的电影很相似，但我们知道，每一部电影确实可能在风格上与同类型的电影相似。 那么动作片有哪些共同特点，使得动作片非常相似，却又与爱情片有着明显的区别呢？ 动作片中也有吻戏，爱情片中也有打斗场面。 我们不能简单地以有没有打架或有吻戏来判断一部电影的类型。 但爱情片中吻戏较多，动作片中打斗场面较多。 根据此类场景在电影中出现的次数，可以用来对电影进行分类。 本章第一节根据电影中出现的亲吻和打斗的次数，使用k近邻算法构建了一个自动对电影类型进行分类的程序。 我们首先用电影分类来解释k近邻算法的基本概念，然后学习如何在其他系统上使用k近邻算法。
　　本章介绍第一个机器学习算法：k-近邻算法，非常有效且易于掌握。 首先，我们将探讨 k 最近邻算法的基本理论以及如何使用距离测量对项目进行分类； 然后，我们将使用 Python 从文本文件中导入和解析数据； 然后，本书讨论了当数据源较多时，如何避免计算距离时可能遇到的一些常见错误； 最后用实例说明如何使用k近邻算法完成手写数字识别系统。
　　2.1k-最近邻算法概述
　　简单的说，k近邻算法就是利用衡量不同特征值之间距离的方法进行分类。
　　k-最近邻算法
　　本书介绍的第一个机器学习算法是 k 最近邻算法 (kNN)。 它的工作原理是：有一个样本数据集，也叫训练样本集，样本集中的每一个数据都有一个标签，即我们知道样本集中每一个数据与其所属类别的对应关系。 输入没有标签的新数据后，将新数据的每个特征与样本集中数据的相应特征进行比较，然后算法提取样本集中最相似数据（最近邻）的分类标签。 一般来说，我们只选取样本数据集中前k个最相似的数据，这就是k近邻算法中k的来源，通常k是不大于20的整数。最后选择最相似的分类k 个最相似数据中出现的次数作为新数据的分类。
　　现在让我们回到前面电影分类的例子，使用k近邻算法对爱情片和动作片进行分类。 曾经有人统计过很多电影的打斗场面和吻戏。 图 2-1 显示了 6 部电影中打斗和接吻的场面数量。 如果有一部电影没看过，如何判断它是爱情片还是动作片？ 我们可以使用 kNN 来解决这个问题。
　　首先，我们要知道这部名不见经传的电影到底有多少打斗场面和吻戏。 图 2-1 中问号的位置是这部未知电影中镜头数量的图形显示。 具体编号见表2-1。
　　即使不知道未知电影属于哪种类型，我们也可以通过某种方式弄清楚。 首先计算未知电影与样本集中其他电影的距离，如表2-2所示。 不用担心这里如何计算这些距离值。 在使用Python实现电影分类应用时，会给出具体的计算方法。
　　现在我们已经得到了样本集中所有电影和未知电影的距离，按照距离递增排序，我们可以找到k个最接近的电影。 假设 k=3，最接近的三部电影是 He's Not Really into Dudes、Beautiful Woman 和 California Man。 k近邻算法根据距离最近的三部电影的类型来判断未知电影的类型，而这三部电影都是言情片，所以我们判断未知电影是言情片。
　　本章主要讲解如何在实际环境中应用k近邻算法，同时也涉及到如何使用Python工具和相关的机器学习术语。 按照1.5节开发机器学习应用程序的一般步骤，我们使用Python语言开发一个k近邻算法的简单应用程序来验证算法的正确性。
　　k近邻算法的一般流程
　　
　　数据采集：可以使用任何方法。 数据准备：距离计算所需的数值，最好是结构化的数据格式。 分析数据：可以使用任何方法。 Training Algorithm：这一步不适用于k-Nearest Neighbors算法。 测试算法：计算错误率。 算法使用：首先需要输入样本数据和结构化输出结果，然后运行k近邻算法判断输入数据属于哪个类别，最后对计算出的类别进行后续处理。 2.2 准备工作：使用Python导入数据
　　首先，创建一个名为 kNN.py 的 Python 模块。 本章用到的所有代码都在这个文件中。 读者可以根据自己的习惯学习代码，可以根据本书的学习进度，将代码写在自己创建的Python文件中，也可以直接从本书的源代码中复制kNN.py文件。 我建议读者从头开始创建模块，边学边写代码。
　　我们打开Xfce终端，创建实验文件夹KNN
　　cd Code
mkdir KNN
cd KNN
touch kNN.py
　　那我们先安装NumPy模块。
　　sudo pip install numpy
　　然后我们可以使用 vim 或 sublime 来编辑我们的 kNN.py 文件。 将以下代码添加到 kNN.py 文件中：
　　 from numpy import *
import operator
def createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group, labels
　　在上面的代码中，我们导入了两个模块：第一个是科学计算包NumPy； 第二个是operator模块，k近邻算法在进行排序操作的时候会用到这个模块提供的函数，后面会详细介绍。
　　然后保存kNN.py文件，确保我们在kNN.py文件的路径下（/home/shiyanlou/Code/KNN），在Xfce终端输入ipython，进入Python交互开发环境。
　　进入Python开发环境后，输入以下命令导入上面编辑的程序模块：
　　 >>> import kNN
　　上面的命令导入了 kNN 模块。 为了保证输入相同的数据集，在kNN模块中定义了函数createDataSet，在Python命令提示符下输入如下命令：
　　 >>> group,labels = kNN.createDataSet()
<p>
</p>
　　上面的命令创建了变量组和标签，在Python命令提示符下输入以下命令，并输入变量名来验证变量是否定义正确：
　　 >>> group
array([[ 1. , 1.1],
[ 1. , 1. ],
[ 0. , 0. ],
[ 0. , 0.1]])
>>> labels
[&#39;A&#39;, &#39;A&#39;, &#39;B&#39;, &#39;B&#39;]
　　这里有4组数据，每组数据有两个已知的属性或特征值。 上述组矩阵的每一行收录不同的数据，我们可以将其视为日志文件中的不同测量点或条目。 由于人脑的局限性，我们通常只能将三维以下的事物形象化。 所以对于简单的数据可视化，我们通常只对每个数据点使用两个特征。
　　向量标签收录每个数据点的标签信息，标签收录的元素个数等于组矩阵的行数。 这里我们定义数据点(1, 1.1)为A类，数据点(0, 0.1)为B类。为了说明方便，例子中的值是任意取的，没有给出坐标轴标签. 图 2-2 显示了带有类别标签信息的四个数据点。
　　现在我们知道了 Python 如何解析数据，如何加载数据，以及 kNN 算法的工作原理，我们将使用这些方法来完成分类任务。
　　2.3 如何测试分类器
　　上面我们提到使用kNN算法可以判断一部电影是动作片还是爱情片，也就是说我们可以使用kNN算法实现一个分类器。 我们需要检查分类器给出的答案是否符合我们的预期。 读者可能会问：“分类器什么时候会出错？” 或者“答案总是正确的吗？” 答案是否定的，分类器不会得到100%正确的结果，我们可以使用各种方法检查分类器的准确率。 此外，分类器的性能也会受到各种因素的影响，例如分类器设置和数据集。 不同的算法在不同的数据集上的表现可能完全不同，这也是这部分的 6 章讨论分类算法的原因。
　　为了测试分类器的效果，我们可以使用已知答案的数据。 当然，答案不能告诉分类器，要检查分类器给出的结果是否符合预期结果。 通过大量的测试数据，我们可以得到分类器的错误率——分类器给出错误结果的次数除以测试执行的总数。 错误率是一种常用的评价方法，主要用于评价分类器在一定数据集上的性能。 完美分类器的错误率为 0，最差分类器的错误率为 1.0，在这种情况下，分类器根本无法找到一个正确的答案。 读者可以在后面的章节中看到实际的数据示例。
　　上一节中介绍的示例是有效的，但实际用处不大。 接下来，本书将使用手写识别系统的测试程序来测试k近邻算法的效果。
　　三、实验步骤
　　本项目详细步骤可在实验楼查看并在线完成：K近邻算法实现手写数字识别系统
　　主要实现步骤：
　　1.准备数据：将图像转换为测试向量
　　2. 分析数据
　　3.测试算法：使用k近邻算法识别手写数字
　　四、实验总结
　　k近邻算法是最简单有效的数据分类算法。 k最近邻算法是基于实例的学习。 在使用算法时，我们必须要有接近实际数据的训练样本数据。 k近邻算法必须保存所有数据集。 如果训练数据集很大，则必须使用大量的存储空间。 此外，实际使用起来可能非常耗时，因为必须为数据集中的每个数据点计算距离值。 有没有一种算法可以减少存储空间和计算时间的开销？ k决策树是k近邻算法的优化版本，可以节省大量的计算开销。
　　解决方案:自建Kubernetes logtail日志采集客户端安装方式
　　【kubernetes常见日志采集问题及解决方案分析】更多相关文章
　　kubernetes常见日志采集问题分析及解决方案
　　与传统日志和kubernetes日志相比，传统服务目录是固定的，重启后不会丢失。 不要关注标准和错误日志输出。 容器服务节点不固定。 重启服务会漂移。 您需要注意标准和错误日志输出。 日志文件重新启动后将丢失。 日志目录不固定。 k8s中的日志处理常见的日志采集方案： 1、远程日志将容器中的日志直接写到远程kafka.es等，然后通过logstash等进行处理，缺点是需要修改服务和传输到远程存储。 2.sidecar模式，每个pod运行一个filebeat，logstash等pod共享一个valum...
　　自建Kubernetes logtail日志采集客户端安装方法
　　自建Kubernetes安装前提是Kubernetes集群1.8及以上版本。 Helm命令已安装，版本2.6.4及以上。 安装步骤在日志服务控制台创建项目，项目名称以k8s-log-custom-开头。 将上述命令中的参数替换，并执行该命令。 尝试 wget ...
　　Kubernetes Ingress 日志分析和监控最佳实践
　　摘要：Ingress主要提供HTTP层（第7层）路由功能，是目前K8s中HTTP/HTTPS服务的主流暴露方式。 为了简化用户分析和监控Ingress日志的门槛，阿里云容器服务和日志服务将Ingress日志开放，只需要申请一个yaml资源即可完成日志采集等一整套Ingress日志解决方案的部署、分析和可视化。 越来越多的企业开始在K8s集群上搭建服务。 在K8s中，组件通过Service暴露服务，往往...
　　Kubernetes Ingress 日志分析入门
　　本文主要介绍如何搭建一个基于日志服务的Kubernetes Ingress日志分析平台，并提供一些简单的上手实验，帮助大家快速了解日志服务的相关功能。 部署Ingress日志方案，登录容器服务管理控制台。 将上述 CRD 配置保存为编排模板。 有关编排模板文档，请参阅创建编排模板。 基于此模板创建应用程序，并选择集群的默认命名空间。 apiVersion: /v1alpha1 kind: AliyunLogConfig metadata: # 你的配置...
　　SpringCloud微服务实战——搭建企业级开发框架（三十八）：搭建ELK日志采集分析系统
　　一个好的日志分析系统可以详细记录系统的运行情况，方便我们定位分析系统性能瓶颈，定位系统问题。 上一篇文章讲解了日志的各种业务场景以及日志记录的实现，所以日志记录，相关人员需要对日志数据进行处理和分析。 基于E（ElasticSearch）L（Logstash）K（Kibana）组合的日志分析系统可以说是所有企业的首选方案。 Elasticsearch：分布式。 RESTful 风格的搜索和数据分析引擎，可以快速存储、搜索和分析海量数据。 用于存放ELK中的所有日志数据。 日志…
　　使用日志服务采集Kubernetes 日志
　　阿里云容器服务 Kubernetes 集群集成日志服务（SLS）。 您可以在创建集群时开启日志服务，快速采集Kubernetes集群的容器日志，包括容器的标准输出和容器内的文本文件。 如果您还没有创建一个新的Kubernetes 集群创建任何Kubernetes 集群，您可以按照本节中的步骤进行操作： 登录容器服务管理控制台。 单击左侧导航栏中的集群，单击右上角的创建 Kubernetes 集群。 进入创建页面后，参见创建Kubernetes集群进行配置。 拖到页面底部，勾选日志服务配置项，也就是说在新建的...
　　Kubernetes 日志采集
　　
　　Kubernetes日志打印方式标准输出docker标准输出日志stdout和stderr，使用docker logs或者kubectl logs查看最新日志（tail）。 如果想看更多的日志，可以到宿主机目录/var/lib/docker/containers中找到所有对应的日志。 标准输出是k8s社区推荐的日志输出方式。 下面将从路径和挂载介绍日志文件。 log4j在默认路径打印日志的使用方法： 如果打印的业务日志没有使用任何挂载方式，那么业务日志默认打在容器内部的目录下。 根据不同...
　　日志采集技术分析 inode Inotify
　　日志采集技术浅析【阿里】-新手学习导向-红客联盟-Powered by HUC …
　　《视频课堂》ELK与Kafka如何搭配，成为文字版的日志采集方案
　　视频地址：ELK和Kafka是如何一起玩，成为日志采集方案的 视频文字版 今天带来了一个视频，主要讲一下ELK和Kafka的通信关系。 通过一张通信图，以及一些操作命令，让我们更深入的了解ELK在日志采集过程中和Kafka在消息队列分发过程中，它们是如何配置和使用的，以及它们之间的通信机制希望它对你的学习会有帮助帮助，谢谢！ 我们的目标是一个主机host上的服务会产生日志，比如在/var/log目录下会不断产生各种日志记录。 我们称这个采集范围为日志采集源。 这时候我们调用ELK文件采集器...
　　Kubernetes 通用日志采集方案
　　Kubernetes 常用日志采集方案 学习了 Kubernetes 集群中监控系统的搭建。 除了集群的监控告警，还有一个运维工作非常重要，那就是日志的采集。 应用程序和系统日志的引入可以帮助我们了解集群的内部运行情况，日志对于我们调试问题和监控集群状况也非常有用。 而且大部分应用都会有日志记录，传统的应用大部分都会写入本地的日志文件。 对于容器标准化的应用来说就更简单了，只需要将日志信息写入stdout和stderr，容器默认会将这些日志输出到宿主机上的一个服务器上。
　　热点话题
　　React Hooks子组件通过props调用父组件的方法
　　win7激活客户端停止运行
　　观察以下网络界面，尽可能列出测试
　　绘制DAG图并找到优化的4元代码
　　Winform制作键盘
　　根目录使用率为 100%
　　
　　Mac根据域名查IP
　　系带使用
　　升级openssh9.1
　　快速启动找不到系统路径
　　放置网页鼠标后显示
　　python3 -m compilea 反编译
　　如何将确认按钮添加到 ios 数字键盘
　　DMS中如何修改数据库用户名
　　webapi上传头像
　　unittest 什么以test开头
　　serilog如何记录空白日志，没有日期，只记录关键内容
　　UID卡B5FF67CBA951
　　jupyternotebook侧边栏无法调整
　　为什么eta设置为5 查看全部

　　免费获取:1314SEO标签自动获取 批量生成标签 3.3
　　dz插件网自用分词算法排序参考：
　　本插件可以自动获取帖子标签，支持旧帖和采集帖子设置标签，标签可以聚合帖子，提高帖子曝光度，帮助SEO收录
　　
　　支持多种分词模式，每个界面独立设置是否开启，以及界面执行的顺序，并自动判断选择合适的结果
　　支持自定义标签功能，可以预设常用的标签，当对应的标签出现在帖子中时优先使用
　　支持设置只按标题获取标签
　　支持设置大量字符优先返回标签
　　
　　支持过滤数字和字母的相关设置
　　目前支持的分词接口：百度相关搜索词接口、百度关键词接口、百度词排接口、Pullword api、阿里云关键词抽取、阿里云新闻元素抽取
　　备注：自定义标签功能依赖于PHP的mb_strpos函数，大部分PHP环境默认支持。如果您的环境不支持，则无法使用自定义标签功能。需要配置PHP环境支持mb_strpos函数
　　解决方案:美团大众点评商家电话采集软件，提取美团大众点评商家号码的工具
　　1.从城市列表中选择要采集的城市，或者直接在城市框中输入城市名称，如杭州
　　2.关键词：输入要采集的行业分类关键词，多个词之间用空格分隔，如：美甲
　　3. 检查其他必填选项
　　
　　4. 开始采集
　　美团点评商务电话采集软件，提取美团点评商务号码的工具
　　1、关键词：可输入多个相关行业关键词采集 数据更完整
　　
　　2.因为是实时抓拍，坏网络也会导致数据没有全部返回，差的网络可以采集再点击开始采集
　　3、排除关键词：排除采集结果中店铺名称收录单词的数据，可在采集开始前和采集完成后排除（采集完成后，输入需要排除的关键词并筛选）。
　　4.如果采集后不清除数据，则更改关键词或城市继续启动采集，使数据叠加在之前的数据上并进行重复数据删除
　　5、可同时检查多个平台，采集数据软件自动解重合 查看全部

　　解决方案:20-垃圾回收相关算法
　　1.标记阶段 1.垃圾标记阶段 2.标记阶段算法-引用计数算法（Reference Counting）Java GC测试
　　public class RefCountGC {
// 5MB
private byte[] bigSize = new byte[5 * 1024 * 1024];
Object reference = null;
public static void main(String[] args) {
RefCountGC obj1 = new RefCountGC();
RefCountGC obj2 = new RefCountGC();
obj1.reference = obj2;
obj2.reference = obj1;
obj1 = null;
obj2 = null;
}
}
　　Heap
PSYoungGen total 38400K, used 13615K [0x0000000795580000, 0x0000000798000000, 0x00000007c0000000)
eden space 33280K, 40% used [0x0000000795580000,0x00000007962cbc00,0x0000000797600000)
from space 5120K, 0% used [0x0000000797b00000,0x0000000797b00000,0x0000000798000000)
to space 5120K, 0% used [0x0000000797600000,0x0000000797600000,0x0000000797b00000)
ParOldGen total 87552K, used 0K [0x0000000740000000, 0x0000000745580000, 0x0000000795580000)
object space 87552K, 0% used [0x0000000740000000,0x0000000740000000,0x0000000745580000)
Metaspace used 2941K, capacity 4556K, committed 4864K, reserved 1056768K
class space used 313K, capacity 392K, committed 512K, reserved 1048576K
　　public class RefCountGC {
// 5MB
<p>
private byte[] bigSize = new byte[5 * 1024 * 1024];
Object reference = null;
public static void main(String[] args) {
RefCountGC obj1 = new RefCountGC();
RefCountGC obj2 = new RefCountGC();
obj1.reference = obj2;
obj2.reference = obj1;
obj1 = null;
obj2 = null;
// 显示垃圾回收
System.gc();
}
}
</p>
　　[GC (System.gc()) [PSYoungGen: 12949K->535K(38400K)] 12949K->543K(125952K), 0.0011575 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
[Full GC (System.gc()) [PSYoungGen: 535K->0K(38400K)] [ParOldGen: 8K->442K(87552K)] 543K->442K(125952K), [Metaspace: 2937K->2937K(1056768K)], 0.0249102 secs] [Times: user=0.01 sys=0.00, real=0.03 secs]
Heap
PSYoungGen total 38400K, used 998K [0x0000000795580000, 0x0000000798000000, 0x00000007c0000000)
eden space 33280K, 3% used [0x0000000795580000,0x0000000795679b20,0x0000000797600000)
from space 5120K, 0% used [0x0000000797600000,0x0000000797600000,0x0000000797b00000)
to space 5120K, 0% used [0x0000000797b00000,0x0000000797b00000,0x0000000798000000)
ParOldGen total 87552K, used 442K [0x0000000740000000, 0x0000000745580000, 0x0000000795580000)
object space 87552K, 0% used [0x0000000740000000,0x000000074006eaf8,0x0000000745580000)
Metaspace used 2943K, capacity 4556K, committed 4864K, reserved 1056768K
class space used 313K, capacity 392K, committed 512K, reserved 1048576K
Disconnected from the target VM, address: '127.0.0.1:61156', transport: 'socket'
　　
　　总结 3. 标记阶段算法-可达性分析算法（Root Search Algorithm, Tracing Garbage 采集） 1. GC Roots
　　所谓“GC Roots”根集是一组必须处于活动状态的引用
　　2. GC Root收录元素
　　2. 本地方法栈中JNI引用的对象（通常称为本地方法）
　　3.方法区中类静态属性引用的对象
　　4.方法区常量引用的对象
　　5.同步锁持有的所有对象synchronized
　　6、反映Java虚拟机内部情况的JMXBean，注册在JVMTI中的回调，本地代码缓存等。
　　7、除了这些固定的GC Roots集合外，根据用户选择的垃圾采集器和当前回收的内存区域，还可以“临时”加入其他对象，组成一个完整的GC Roots集合。例如：分代采集和部分回收（Partial GC）
　　概括：
　　4、finalization机制从功能上看，finalize()方法类似于C++中的析构函数，但Java采用了基于垃圾采集器的自动内存管理机制，所以finalize()方法与C++中的finalize()方法有本质区别C++由于finalize()方法的存在，虚拟机中的对象一般有三种可能的状态。如果不能从所有根节点访问一个对象，则意味着该对象不再被使用。一般来说，这个对象是需要回收的。但其实并不是“必须死”，此时他们暂时处于“缓刑”阶段。不可触及的物体在一定条件下可能会“复活”。如果是这样，它的回收是不合理的。为此原因，定义了对象在虚拟机中的三种可能状态： 在上述三种状态中，由于finalize()方法的存在。对象只有不可触及才能被回收 判断一个对象objA是否可回收？标记可达性分析执行流程
　　标记-可达性分析执行流程.png
　　5.清关阶段
　　在成功区分内存中的活对象和死对象后，GC接下来的任务就是进行垃圾回收，释放无用对象占用的内存空间，以便有足够的可用内存空间为新对象分配内存。目前JVM中常见的三种垃圾回收算法分别是标记-清除算法（Mark-Sweep）、复制算法（Copying）、标记-压缩算法（Mark-Compact）
　　1.标记-扫描算法（Mark-Sweep）
　　标记清除算法（Mark-Sweep）是一种非常基础和常见的垃圾采集算法，由J.McCarthy等人提出。1960年应用于Lisp语言
　　注：什么是Clear 2，Mark-Copy算法
　　为了解决mark-sweep算法在垃圾回收效率方面的不足，MLMinsky在1963年发表了一篇著名论文《CA LISP Garbage Collector Algorithm Using Serial Secondary Storage》。MLMinsky 在这篇论文中描述的算法被称为 Copying 算法，它被 MLMinsky 自己成功地引入到 Lisp 语言的一个实现版本中。
　　优缺点 适用场景 3. Mark-compression（整理）算法
　　mark-compression算法的最终效果相当于执行完mark-sweep算法后进行一次内存碎片整理。因此，它也可以称为“标记-清除-紧凑型（Mark-Sweep-Compact）算法”。两者的本质区别在于mark-sweep算法是一种“非移动的回收算法”，而mark-compression是“移动的”。回收后是否移动幸存的物体是一个有利也有弊的冒险决定。可以看到，被标记的存活对象会根据内存地址进行排序和排列，而未标记的内存会被清理掉。这样，当我们需要为一个新对象分配内存时，JVM只需要保存一块内存的起始地址，
　　指针碰撞（Bump the Pointer）：如果内存空间是有规律有序的分配，即已使用和未使用的内存各占一边，并维护一个记录下一次分配起点的标记指针彼此之间，当为新对象分配内存时，只需要通过修改指针的偏移量，在第一个空闲内存位置分配新对象。这种分配方式称为指针冲突。
　　优缺点总结
　　摘要.png
　　6.生成手机算法
　　在上述所有算法中，没有一种算法可以完全替代其他算法，它们都有自己独特的优缺点。一代手机算法应运而生。
　　在HotSpot中，基于代的概念，GC使用的内存回收算法必须结合新生代和老年代的特点。新生代（Young Gen）和老年代（Tenured Gen）分代采集算法的应用 7.增量采集算法、分区算法
　　通过上述算法，应用软件在垃圾回收过程中将处于Stop The World状态。在Stop The World状态下，应用的所有线程都会被挂起，暂停所有正常工作，等待垃圾回收完成。垃圾回收时间过长会导致应用长时间挂起，严重影响用户体验或系统稳定性。为了解决这个问题，对实时垃圾采集算法的研究直接导致了增量采集（Incremental Collecting）算法的诞生
　　增量采集算法的基本思想
　　解决方案:香港多IP服务器搭建采集程序的好处有哪些
　　香港多IP服务器设置采集方案的好处： 1.香港服务器性能强大，均为主流配置，兼容国内常见的主流采集软件市场化，配置也可以根据用户的需要进行配置调整和升级，使用方便。2.香港多IP服务器无需注册和搭建即可使用，充分简化了网站的搭建过程，减少了时间成本。3、香港多IP服务器，CN2直连网络，线路稳定，可快速抓取目标网站内容，为浏览者提供用户体验。4.由于香港的多IP服务器都是独立的真实IP，
　　具体内容如下：
　　
　　1、性能强大
　　虽然采集网站采集程序的内容可以实现采集，发布全自动运行，本身需要的硬件资源也不大，但是如果采集规则比较复杂而且采集的数据量比较大的话，对服务器的压力还是不小的，所以一般如果要制作内容采集，至少需要4- E3以上核心CPU，保证相对较低的故障率，香港服务器 配置均为主流配置，不仅兼容市面上常见的主流采集软件，还可以根据用户的需求，使用起来非常方便
　　2. 无需备案即可使用
　　一般采集网站都是以站群的形式搭建为主，所以在选择服务器的时候，主要是选择海外的服务器进行备案，否则备案时间很长，上百个域名一起管理。比较麻烦，但是香港服务器数据海外服务器可以在服务器交付后立即构建网站，充分简化了构建网站的过程。
　　
　　3.线路稳定采集流畅
　　现在采集网站主要以大陆内容为主，香港服务器搭建采集网站优势明显。香港服务器有CN2直连网络，所以在采集过程中可以快速抓取目标网站的内容，发布也可以快速响应，浏览用户的体验也比较不错。
　　4、丰富的IP资源
　　经常制作采集站点的用户都知道，所谓采集就是通过HTTP请求获取内容。虽然市面上有很多支持IP伪装的采集工具，但还是有一些可能会拒绝访问，而且由于香港的多IP服务器都是独立的真实IP，被访问的概率拦截率相对较低。 查看全部

　　全新产品:速卖通产品采集应用
　　应用介绍：
　　通过这款应用，商家可以快速采集速卖通国际站上的任何商品。只需输入您想要的采集商品id，系统会在几分钟内自动将其上架至店铺SHOPYY后台，二次编辑后即可上架。
　　借助该应用，大大减少了商户的人工操作流程，提升了头部产品的效率。有效避免业务准备周期长的问题，可在短时间内实现网站上线运营。
　　脚步：
　　第一步：在后台点击从应用商店安装后，在我的应用列表中找到对应的插件，点击“访问”，跳转到设置页面。
　　第二步：点击“速卖通商品管理”进入列表页面，列表中会显示所有采集进口商品。
　　
　　第三步：点击右上角“添加速卖通商品”，进入信息录入页面。
　　【速卖通商品ID】从速卖通网站复制需要采集的商品ID，获取商品ID的方法如下图所示：
　　注意：如果有多个产品 采集 在一起，每个产品 ID 应该用逗号或换行符分隔。
　　【商品发布语言】下拉选择发布语言。
　　【商品发布市场】根据选择的发布语言选择对应的国家。
　　
　　第四步：以上信息设置完成后，点击“保存信息”，商品将进入列表等待同步。
　　(1) 同步成功后，列表中会显示同步状态。
　　（2）同步成功的商品自动显示在SHOPYY后台商品下架列表中，方便上架前二次编辑。
　　注意：同步到SHOPYY后台时，由于图片采集需要时间，这里的商品图片要过几分钟才会显示。
　　完成以上步骤后，速卖通产品采集就制作完成了。
　　解决方案:带你了解数据采集器的存储功能
　　数据采集器内存什么时候会满？
　　满了会停止存储吗？
　　数据采集器的应用是固定的，每天测量的数据大小也是固定的。为了防止数据在采集前被覆盖，我们将使用这个文章来详细说明金宝数据采集器的存储功能。
　　数据采集器已满是什么意思？
　　数据采集器由很多存储单元组成，内存大小是固定的。
　　如果数据未满，数据 采集器 不会停止存储新数据。程序中有存储指令。当数据已满时，旧数据将被新数据覆盖。这个时间是数据采集器的最大存储时间。为了避免数据被覆盖，此时必须保存之前采集的数据。
　　满仓与哪些因素有关
　　
　　1) 数据可用内存大小采集器
　　2）分配给数据表的记录数
　　3）每次记录数据写入表的数据大小
　　4）数组的数据类型
　　5) 数据存储频率
　　如何计算data采集器的内存何时满
　　对于新数据采集器，可以使用loader让数据采集器计算存储时间，根据提示找到这些信息。
　　1）金宝数据采集器系统从OS28版本开始。在DataTableInfo表中，程序中的每个数据表都分配了一个名为DataFillDays的表，可以找到存储的信息。或单击 Campbell Data采集器 支持软件（LoggerNet、PC400 或 PC200W）中的站点状态按钮以查看表格 FillTimes 选项卡。{注意：CR200(X)系列数据采集器不能使用此方法计算填表时间}
　　
　　2) 其他条件下存储的数据
　　对于存储数据的数据表，除了时间数据，数据的默认扫描频率采集器是数据写入数据表的条件。结果，DataFillDays 表会在几分钟或几小时内被填满，这显然不是我们需要的数据存储时间。针对这种情况，需要通过条件来设置数据表的表大小（即存储多少条），而不是让数据采集器自动分配数据表大小，只保留数据 采集器 用于时间存储自动分配的权限。
　　如何计算存储在数组中的旧数据采集器的存储时间
　　存储数组：由大量的存储单元组成，每个存储单元可以存储1位二进制数据(0,1)。通常存储单元排列成N行×M列的矩阵形式。
　　如果有较旧的基于数组的数据 采集器，我们可以通过每天将 62,000 内存除以数组存储来估算存储时间。以数组 106, 239, 1400, 22.47, 22.81, 73, 10.61 为例，它收录 7 个数据点，如果每小时存储此数据，则将存储 168 个数据点（24 小时 * 7 个数据点）。因此，每天 62000 个数据点/168 个数据点 ≈ 369 天。您还可以存储多个时间间隔的数据，要计算总数据点，请将数据采集器总内存除以总数据点。
　　应该多久采集一次数据
　　采集和检查数据是验证系统是否正常运行的最直接的方法。如果系统出现故障，可以通过采集数据及时发现故障并处理，不会造成重大损失。不要等到新数据即将覆盖旧数据时才开始采集。多久采集一次数据取决于实际情况。总之，要经常采集数据，保证时间间隔不要太长。毕竟每一个测量数据都是非常宝贵的。 查看全部

　　技巧:经验分享：如何才能让EXCEL计算速度更快？跑起来嗖嗖的
　　笔记：
　　这篇文章是我给知乎的回答，分享给大家。
　　原问答地址：
　　－－－－－－－－－－－－
　　本来打算关了电脑睡觉，结果打开知乎又看了一遍，就睡着了，少睡了两个小时。为了回答这个问题，我将利用Excel的概念和方法，结合采集到的资料，对我新出版的《“懒”科技：打造财务Excel专家》第一章的内容进行补充完善，修正成本尽量回答。系统化、学术化，符合知乎的专业性。希望对你有帮助。
　　当表的计算效率较低时，可以考虑以下几个方面进行优化：
　　1、首先要合理设计数据的布局，这是保证计算效率的前提
　　由于 Excel 以不同的速度引用此工作表、不同工作簿或工作表中的访问数据，因此计算对其他工作表的引用通常比计算工作表内的引用慢。当数据计算量较大时，必须考虑数据的整体布局：数据是保存在单独的工作簿中，还是保存在单独的工作表中，还是保存在同一个工作表中。
　　基于完整性的原则，如果是列表类型的数据表，如果可能，尽量将数据整合到同一个工作表中，至少尽量在同一个工作簿中。如果不能将它们合并到同一个工作簿中，则宁可使用少量大工作簿，也不要使用大量小工作簿。尽可能避免工作簿之间的链接。链接外部工作簿不仅会影响表格的打开速度，而且在移动或删除工作簿时会造成链接断开，不易查找和修复。
　　2. 不可避免要参考其他作业本时的提速技巧
　　尝试对已关闭的工作簿使用简单的直接单元格引用。这样做可以避免在重新计算任何工作簿时重新计算所有链接的工作簿。
　　如果不能避免使用链接工作簿，最好全部打开而不是关闭，而且打开工作表的顺序也有讲究，先打开要链接的工作簿，再打开收录链接的工作簿。通常，从打开的工作簿中读取链接比从关闭的工作簿中读取链接更快。
　　进一步提速的“离家出走”方法：
　　Break：对于数据量较大的表格，将已经计算出结果且不会更新的单元格的公式计算结果，通过专用粘贴转换为数值，减少计算量；
　　处置：尽量不要在大范围内使用需要大量计算的函数或公式。例如：条件格式和数据有效性函数虽然很强大，数组公式运算功能也很强大，但是大量使用会明显降低计算速度，除非你愿意忍受蜗牛般的运算速度，否则，不要大规模使用数据Validation、条件格式、数组公式；
　　关闭：如果工作表需要大量计算，而其他工作表很少引用它，请考虑将其从本工作簿中移出。以免每次重新计算时影响工作簿的整体计算速度。
　　3、原创数据要标准化
　　原创数据必须标准化，否则会用函数公式清洗不规范的数据，增加中间环节，影响计算速度。比如数据的来源不是手动输入的，而是从其他系统导出的。导出的数据可能未标准化。比如数字是文本格式，数字后面有空格，还有不可见字符。这些数据不能直接参与计算。如果不手动去组织标准化的数据，就不得不使用函数公式来避免，这大大影响了计算速度。
　　4、注意公式函数的计算效率，尽量使用效率高的函数，或者改用其他函数。
　　
　　1.除非必要，否则不要使用变量函数（volatile functions）。
　　Excel的变量函数有：RAND、NOW、TODAY、OFFSET、CELL、INDIRECT和INFO。变量函数有一个特点，当值发生变化时，每次都要重新计算，会影响表的计算性能。
　　例如，我们经常使用下面的公式来定义动态区域：
　　=OFFSET(Sheet1!$A$1,0,0,COUNTA(Sheet1!$A:$A),1)
　　优点是会自动扩充收录新条目，但是会降低表的计算性能，因为OFFSET是volatile函数，而且OFFSET中的COUNTA函数要查很多行，计算效率较低.
　　一般情况下，我们可以使用Excel的表格函数来代替动态范围（Excel 2003中称为list）。
　　2. 使用其他行和列计算并存储一次中间结果，以便在其他公式中重复使用。并且，如前所述，尽可能多地参考其他cell已有的计算结果，可以提高计算效率。
　　在单元格 C2 中输入公式：
　　=SUM($A$2:$A2)
　　然后将公式填写到 C2000。如上所示。B列的公式是前面累加的结果加上这一行的数字。B列的公式是指上一行单元格的计算结果。B列公式与C列公式相比，引用单元格总数减少了500倍，计算量大大减少。
　　3. 减少每个公式中的引用数量，最大限度地减少函数中引用的单元格范围。
　　虽然数组公式可以在 Excel 2007 之后的版本中处理整列引用，但这会强制计算列中的所有单元格，包括空单元格。这会使表计算非常慢。
　　4、尽量使用最有效的函数（一般自定义函数比Excel内置函数慢），准备合适的公式，尽量减少公式的计算次数
　　=IF(ISERROR(VLOOKUP("龙一凡",$A$2:$C$1000,3,0)),"没有这个人",VLOOKUP("龙一凡",$A$2:$C$1000, 3 ,0))
　　如果表格A2:A1000中有“龙一帆”，使用上面的公式，Excel会计算两次VLOOKUP函数。在Excel 2007之后的版本中，可以使用IFERROR来减少操作次数：
　　=IFERROR(VLOOKUP("龙一凡",$A$2:$C$1000,3,0),"没有找到这个人")
　　5.非必要不要使用会触发重新计算的操作
　　以下操作会触发重新计算：
　　
　　1. 在自动模式下单击：单击行或列分隔符。
　　2. 在工作表中插入或删除行、列或单元格。
　　3. 添加、更改或删除定义的名称。
　　4. 重命名工作表或在自动模式下更改工作表位置。
　　5. 使用过滤器，隐藏或取消隐藏表中的行。
　　6. 以自动模式打开工作簿。如果工作簿上次由不同版本的 Excel 计算，则打开工作簿通常会导致完整计算。
　　7. 以手动模式保存工作簿，并选中“保存前自动重新计算”选项。
　　6. 如果可能，在使用查找引用之前对数据进行排序。尽可能避免对未排序的数据执行查找，因为它们很慢。
　　1. 如果使用精确匹配选项，则函数的计算时间与找到匹配之前扫描的单元格数成正比。对于大面积执行的查找，这个时间可能会很长。使用 VLOOKUP、HLOOKUP 和 MATCH 的近似匹配选项对已排序数据的查找时间很短，并且不会显着增加，具体取决于要查找的区域的长度。
　　2. 由于精确匹配查找可能很慢，您应该考虑使用以下可以提高性能的方法：
　　Ø 使用工作表。使同一工作表中的查找和数据运行得更快。
　　Ø 如果可以，先对数据进行排序，使用近似匹配。
　　Ø如果必须使用精确匹配搜索，请将扫描的单元格范围限制在最小范围内。使用动态范围名称或表（列表）函数，而不是引用大量的行或列。
　　7、前面四点都实现后，如果表格的计算速度还是很慢，将Excel的计算方式改为手动计算，需要的时候再重新计算。
　　在手动计算模式下，按[F9]可以触发智能重新计算。使用 [Shift+F9] 仅重新计算选定的工作表，按 [Ctrl+Alt+F9] 强制完全计算所有公式，或按 [Ctrl+Shift+Alt+F9] 强制完全重建依赖关系和执行完成计算。
　　F9 计算所有打开的工作簿中的所有工作表。
　　按 Shift+F9 计算活动工作表。
　　按 Ctrl+Alt+F9 可计算所有打开的工作簿中的所有工作表，而不管它们自上次计算以来是否发生了变化。
　　如果按 Ctrl+Alt+Shift+F9，将重新检查相关公式，然后计算所有打开的工作簿中的所有单元格，包括未标记为计算的单元格。
　　解决方案:利用人人站CMS插件让网站快速收录以及关键词排名
　　应该如何使用人人网cms插件让网站快速收录和关键词排名。多年来，为了营造良好的搜索生态环境，百度煞费苦心。推出各种算法整治网站，在互联网行业引起不小风波。像青峰算法、Beacon算法、Drizzle算法等，每一次算法改动都会震动大量的网站，尤其是那些用户体验极差、通过作弊手段优化的网站受到影响。用力打。所以由此，我们应该认识到，网站优化必须坚持白帽技术，以用户体验为中心。和作者一样，所有的优化都是基于用户体验。高质量的内容和清晰的 网站 结构可以大大增加用户的喜爱度，打下坚实的基础。自然不会怕百度算法影响排名。
　　网站被黑影响排名：网站被黑也让很多站长束手无策，防不胜防。网站不言而喻，每个人都知道被黑客攻击的严重性。网站被黑客攻击的影响不仅仅是流量异常那么简单。网站被黑，首先网站的名誉会大大降低。严重的话，好不容易积累起来的良好信用也会被一口气毁掉，面临网站被黑的风险。而如果网站被标记为危险网站，那么百度搜索引擎对网站的好感度也会急剧下降，他们不会光顾你的网站，更不会期待它也给你排名。因此，我们在做网站优化的时候，
　　网站结构影响排名：网站 结构对排名优化也有一定的影响，主要体现在两个方面：用户体验和搜索引擎蜘蛛抓取的方便性。网站结构优化是树状结构还是扁平结构，层次会更清晰，用户体验会更好，方便用户获取网站信息，也能让用户注意到其他精彩内容展示。因此感兴趣。同时也可以引导百度蜘蛛有序的沿着结构，逐层爬取索引。
　　竞争对手网站优化影响排名：就像我们在比赛中所做的，这次你获得了第一页，但如果你在后期不继续努力保持分数，那么你将面临有在接下来的比赛中被排挤出名次的危险。所以在关键词优化中，为了从竞争对手中脱颖而出，我们在优化网站的时候，需要分析关键词，选择关键词来优化竞争小，但是搜索量高的词，其次，不断提高优化技巧，注重优化的细节，在内容上坚持优质内容。
　　高质量、有需求的 原创 内容：高质量 文章 内容是一个常见的话题，这恰恰说明了它的重要性。也就是说，如果你的网站内容质量低，用户自然不会喜欢它，而对于百度搜索引擎来说，如果有很多用户喜欢网站，它也会认为它是有价值的网站，通常捐赠 收录 也会增加。但是如果你的网站糟糕到用户一刻都不想停留，你怎么能让搜索引擎蜘蛛喜欢你的网站呢？搜索引擎蜘蛛不会抓取内容，那么排名呢？我们可以使用人人网cms插件快速制作网站收录和关键词排名。
　　1.根据关键词采集文章，通过人人站cms插件采集填写内容。（人人网cms插件还自带关键词采集功能）
　　2.自动过滤其他网站推广信息/支持其他网站信息替换
　　3. 支持多采集来源采集（涵盖所有行业新闻来源[新闻来源权威可读]，海量内容库，采集内容新鲜）
　　4.支持图片本地化或存储到其他平台
　　5.全自动批量挂机采集，无缝对接各大cms发布商，采集伪原创自动发布并推送至搜索引擎
　　
　　这个人人站cms插件工具还搭载了很多SEO功能，不仅可以通过人人站cms插件实现采集伪原创发布，还有很多搜索引擎优化功能。可以增加关键词密度，增加页面原创度，增加用户体验，实现优质内容。
　　1.设置标题的前缀和后缀（标题的区分度更好收录）
　　2.内容关键词插入（合理增加关键词密度）
　　3.随机图片插入（文章没有图片可以随机插入相关图片）
　　4、搜索引擎推送（文章发布成功后，主动将文章推送给搜索引擎，保证新链接能及时被搜索引擎收录获取）
　　5.随机点赞-随机阅读-随机作者（增加页面原创度）
　　6.内容与标题一致（使内容与标题一致）
　　7、自动内链（在执行发布任务时，在文章内容中自动生成内链，有助于引导页面蜘蛛爬行，增加页面权重）
　　8、定时发布（定时发布网站内容可以让搜索引擎养成定时抓取网页的习惯，从而提高网站的收录）
　　可以统一管理数十万个不同的cms网站。一个人维护数百个网站文章更新不是问题。
　　1. 批量监控不同的cms网站数据（无论你的网站是帝国、易游、ZBLOG、织梦、WP、小旋风、站群、PB、苹果、搜外等各大cms，可以同时管理和批量发布的工具）
　　
　　2.设置批量发布次数（可设置发布间隔/每天发布总数）
　　3.可以设置不同的关键词文章发布不同的栏目
　　4、伪原创保留字（在文章原创中设置核心字不要为伪原创）
　　5、软件直接监控已发布、待发布、是否伪原创、发布状态、URL、程序、发布时间等。
　　6、通过软件可以直接查看蜘蛛、收录、网站的每日体重
　　我们需要注意的一件事是，SEO优化排名有时会发生变化是正常的。例如，外部链接中死链接的出现会引起排名的变化。如果是老站，权重高，异常链接也会影响排名。但是像那些大的网站，它的权重比较高，一点点外链对他影响不大。如果你的是新站，结果会不一样。
　　其次，每个网站的SEO优化一定要提前分析好，这样以后的排名结果才会在你的预期之内，才不会像无头鸡一样迷失方向。你要提前看好关键词，只有确定了关键词才去做。这样会降低难度，否则没有结果你就去优化。
　　新站优化一般三个月内没有排名，即使有排名也只是伪排名。或者说，可以说是可有可无。也许今天有排名，明天就没有了。一周后有排名，但还是会下降。为什么是这样？这是因为百度处理数据的时候，有些人网站倒下了，你的就上来了，然后百度给你处理数据的时候，你的排名就没有了。也就是说，三个月之内，你的网站将没有排名的能力，因为百度有一个检验期（沙盒期）。
　　网站关键词的选择，一些新站长在不知不觉中选择了难的关键词。这样的后果可想而知，简直是打中打。不要目标太高，这样做会打击你的信心。如果选择关键词，也是优化的重要一步。关键词选的好，不仅会有流量，而且优化难度也不高。这是关于分析。
　　优化网站关键词当然要分析，不然怎么优化。有的站长会说，你发原创，发高质量的外链，坚持下去，一定能让关键词上去。那就大错特错了，seo高手是不会这么做的，即使有，偶尔也会这么做。高手是分析，分析百度的数据，做好自己的网站，排名就会慢慢上升。
　　具体是怎么分析的？每个行业，每个关键词都有不同的数据，很难统一。例如：网站从事婚纱摄影。想要拍出“三亚婚纱摄影”这个词，接下来我们就要研究一下，想拍三亚婚纱摄影的用户到底想看什么？第二个是什么？，也就是三亚婚纱摄影的图片，不信可以搜索“三亚婚纱摄影”，百度图片第一。也就是说，百度需要的是三亚的婚纱摄影图片。如果你的 网站 有高质量的图片，百度就会给你排名。如果这还不够排名，让我们看看下一步是什么？想拍婚纱照的都想知道价格是多少。也就是说，如果我们 网站 有高质量的图片，价格也注明了。这样才能更好的满足用户的需求。还是那句话，想拍婚纱照的人一定是想拍出漂亮的布景，所以才会挑三拣四，不知如何取舍。这时候我们在网站上加一个“关注”“热度”“点赞”的功能，这样会不会增加用户点击和用户互动？但是，它可以改善用户体验并获得 网站 交互性。百度怎么能不给我们排名呢？百度和360都有站长平台。注册后提交网站 主页可能会更新 对于文章链接，您可以每天或一段时间手动提交链接摘要。想拍婚纱照的人，肯定是想拍出漂亮的布景，所以才会挑三拣四，不知如何取舍。这时候我们在网站上加一个“关注”“热度”“点赞”的功能，这样会不会增加用户点击和用户互动？但是，它可以改善用户体验并获得 网站 交互性。百度怎么能不给我们排名呢？百度和360都有站长平台。注册后提交网站 主页可能会更新 对于文章链接，您可以每天或一段时间手动提交链接摘要。想拍婚纱照的人，肯定是想拍出漂亮的布景，所以才会挑三拣四，不知如何取舍。这时候我们在网站上加一个“关注”“热度”“点赞”的功能，这样会不会增加用户点击和用户互动？但是，它可以改善用户体验并获得 网站 交互性。百度怎么能不给我们排名呢？百度和360都有站长平台。注册后提交网站 主页可能会更新 对于文章链接，您可以每天或一段时间手动提交链接摘要。
　　看完这篇文章，如果您觉得还不错，不妨采集或转发给需要的朋友和同事。每天跟随博主带你了解各种SEO经验，打通你的二脉！ 查看全部

　　解决方案:小功能有大作为丨亚马逊评论采集应用
　　应用介绍
　　当一个全新的产品在没有其他买家评论的情况下被放置在页面上时，会引起客户一定程度的关注。大家都不愿意做第一个吃螃蟹的人，那么这些吸引过来的流量可能就白白流失了，这时候就凸显了评论的重要性。
　　通过亚马逊评论采集应用，商家可以将亚马逊产品评论和图片采集到SHOPYY系统中，让买家在浏览网站时增加用户体验，提高转化率。
　　脚步：
　　第一步：在后台应用商店点击安装后，在我的应用列表中找到对应的应用，点击“访问应用”
　　第二步：首先设置“采集规则”，根据页面提示和具体需求进行设置
　　
　　第三步：设置好采集
规则后，点击“采集
设置”选项卡，在右上角添加项目选择商品
　　第四步：在商品采集设置页面，点击下拉框，根据需要选择亚马逊对应国家的URL进行采集评论。一个产品可以同时采集
多个亚马逊产品的评论，或者同时采集
多个不同国家站点的亚马逊产品评论
　　打开亚马逊网站，进入商品详情页，复制商品链接中的amazon_asin，如上图“Bxxxxxx”
　　第五步：设置提交后，可以在采集
设置列表中查看新增的商品，点击右侧操作栏“手动采集
”，页面会提示采集
结果，并在采集
列表中显示相应数据，如图所示：
　　
　　第六步：采集
成功的评论显示在“亚马逊评论”列表中。对于不符合采集
规则的评论，黑名单栏会显示红色“是”，发布状态关闭。如需开启，可直接手动开启
　　第七步：可以在系统后台的商品评论列表中查看同步评论
　　第八步：可以将采集成功的评论通过条件过滤导出到表格中，表格中的评论内容可以自定义修改后再导入系统。
　　直观:常用的大数据采集工具有哪些
　　有哪些大数据采集
工具？让我们带你了解一下：
　　常用的大数据采集工具Apache Flume，Fluentd，Logstash，Chukwa，Splunk Forwarder，优采云
等。
　　1. Flume是Apache旗下开源、高可靠、高度可扩展、易于管理、客户扩展的数据采集系统。
　　
　　2）Fluentd是另一个开源数据采集
框架。Fluentd 是使用 C/Ruby 开发的，使用 JSON 文件来统一日志数据。
　　3.Logstash 是著名的开源数据堆栈 ELK（ElasticSearch、Logstash、Kibana）中的 L。
　　4、Logstash 是在 JRuby 中开发的，所有运行时都依赖于 JVM。
　　阿帕奇·楚夸，
　　
　　Apache拥有的另一个开源数据采集
平台远不如其他平台那么出名，Chukwa建立在Hadoop的HDFS和Map Reduce上（显然，它是用Java实现的），提供了可扩展性和可靠性。
　　6、在商用大数据平台产品中，Splunk提供完整的数据挖掘、数据存储、数据分析处理、数据显示能力。
　　7. 优采云
是一款免费、可视化、免编程的网页采集软件，可以快速提取不同网站的归一化数据。 查看全部

　　解决方案:算法自动采集模块.5+程序编写的方法
　　
　　算法自动采集列表，采集出来的数据可以用python编写脚本，或者使用python框架编写，采用的python方法主要分两种：第一种：向后端返回指定的txt格式文本，这种方法非常的简单，不用再返回多余的文本，这种方法也可以在windows上或者linux系统下使用，其后端主要分成两部分，一部分是数据采集模块，采集txt格式的数据，第二部分就是爬虫程序，可以根据内容定位内容，然后采集想要内容到浏览器保存到本地。
　　
　　第二种：爬虫程序编写，这种方法对于爬虫人员来说，简单好操作，可以让程序自动获取网页中的内容，无需人工劳动。下面分别介绍两种方法：数据采集模块：gitclone-framework/pythonitemslib/csstexts.python爬虫程序编写：使用python3.5+来编写这两种方法都是采用selenium模块，关于这个模块的安装，官方有很多示例，其中我最常用的有3种：官方的webdriver的3.5.1，这个配置其实也就是在浏览器中提交代码，在安装目录找到.selenium-all.py文件，把这部分内容加入其他内容即可。
　　官方的selenium-python3.5.2，这个配置需要重启服务器以及重启浏览器，解决方法的话可以使用pip3安装pip3installselenium-python-3.5.2这两种方法的不同在于selenium模块的安装，然后需要重启浏览器，重启浏览器的话，浏览器会弹出提示，重启服务器，如果服务器放在本地可以用上面那个方法，如果服务器不在本地，可以借助于notepad++这类编辑器，找到这个文件，然后使用记事本打开编辑即可。 查看全部

　　解决方案:2 - JVM垃圾回收
　　JVM内存分配与回收介绍 判断对象是否死亡 垃圾回收算法 Garbage collector
　　主要逻辑流程：
　　内存是如何分配和回收的？--&gt; 什么垃圾需要回收？--&gt; 什么时候回收？--&gt; 如何回收？
　　一、JVM内存分配与回收简介
　　Java的自动内存管理主要是对象内存的回收和对象内存的分配。同时，Java自动内存管理的核心功能是堆内存中对象的分配和回收。
　　Java堆是垃圾采集
器管理的主要区域，因此也称为GC堆（Garbage Collected Heap）。从垃圾回收的角度来看，由于目前的回收器基本采用分代垃圾回收算法，所以Java堆还可以细分为：新生代和老年代：更细化：Eden空间，From Survivor，To Survivor空间等.进一步划分的目的是为了更好的回收内存，或者更快的分配内存。
　　Java堆空间的基本结构
　　上图中的Eden区、From Survivor0（“From”）区、To Survivor1（“To”）区都属于新生代，Old Memory区属于老年代。
　　大多数情况下，对象会先分配到伊甸区。新生代垃圾回收后，如果对象还活着，则进入s0或s1，对象年龄加1（Eden区-&gt;Survivor区）。初始age变成1)，当它的age增长到一定程度（默认15岁），就会被提升到老年代。可以通过参数-XX:MaxTenuringThreshold 设置将对象提升到Old Age 的年龄阈值。
　　新生代一次垃圾回收后，Hotspot遍历所有对象时，按照年龄从小到大的顺序累加它们占用的大小。当累计年龄超过幸存者区域的一半时，将这个年龄和MaxTenuringThreshold中的更新值取一个小值，作为下一次垃圾回收的提升年龄阈值。
　　动态年龄计算代码：
　　uint ageTable::compute_tenuring_threshold(size_t survivor_capacity) {
//survivor_capacity是survivor空间的大小
size_t desired_survivor_size = (size_t)((((double) survivor_capacity)*TargetSurvivorRatio)/100);
size_t total = 0;
uint age = 1;
while (age < table_size) {
total += sizes[age];//sizes数组是每个年龄段对象大小
if (total > desired_survivor_size) break;
age++;
}
uint result = age < MaxTenuringThreshold ? age : MaxTenuringThreshold;
...
}
　　一开始，两个幸存者区和伊甸园区都是空的。慢慢的eden区就满了，那就是第一次操作。gc之后，eden区会被清理，活着的对象会被复制到“From”survivor区。因为是从eden区复制过来的，所以使用的是连续空间，没有碎片。然后eden继续添加新的对象，直到eden再次满为止。此时eden区和“From”区都有数据，不为空。然后gc之后，eden区有幸存者，“From”区也净化后，也有幸存者。此时“To”区域为空，然后将“From”和eden区域的幸存者Copy到“To”区域。复制时，“收件人”中的空格 area也是挨着分配的，没有碎片。然后，清空eden区和“From”区，这说明：“总有一个幸存者空间是空的，另一个非空的幸存者空间没有碎片。
　　这时候“From”和“To”就会互换角色，即新的“To”就是上次GC之前的“From”，新的“From”就是上次GC之前的“To”。在任何情况下，名为 To 的 Survivor 区域都保证为空。Minor GC会重复这个过程，直到“To”区域被填满，“To”区域被填满后，所有对象都会被移动到老年代。
　　1.1 对象先分配在eden区
　　目前主流的垃圾采集
器都是采用分代采集
算法，所以需要将堆内存划分为新生代和老年代，这样我们就可以根据各个年代的特点选择合适的垃圾采集
算法。
　　大多数情况下，对象都分配在年轻代的eden区。当eden区没有足够的空间分配时，虚拟机会发起一次Minor GC。
　　Minor GC 和 Full GC 有什么区别？
　　下面测试一下Minor GC的流程：
　　package jvm.gc;
public class GCTest {
public static void main(String[] args) {
byte[] allocation1, allocation2,allocation3,allocation4,allocation5;
allocation1 = new byte[60000*1024];
//allocation2 = new byte[2000*1024];
//allocation3 = new byte[1000*1024];
//allocation4 = new byte[1000*1024];
//allocation5 = new byte[1000*1024];
}
}
　　打印的内存占用是：
　　内存使用信息.png
　　从图中可以看出，eden区基本分配完毕。如果此时为allocation2分配空间，运行结果为：
　　分配保障机制的实施
　　出现这种情况的原因：
　　因为在allocation2分配内存的时候eden区的内存已经分配的差不多了，刚才我们说了当Eden区没有足够的空间可以分配的时候，虚拟机就会发起一次Minor GC。在GC的时候，虚拟机发现allocation1不能存放到Survivor空间，所以需要通过分配保证机制将新生代中的对象提前转移到老年代。old generation中的空间足够存放allocation1，所以不会发生Full GC。Minor GC执行后，如果后面分配的对象可以存在于eden区，内存仍会分配在eden区。
　　1.2 大对象直接进入老年代
　　大对象是需要大量连续内存空间的对象（例如字符串、数组）。
　　为了避免在为大对象分配内存时由于分配保证机制带来的复制而降低效率。
　　1.3 长寿对象会进入老年代
　　由于虚拟机采用了分代采集
的思想来管理内存，因此在内存回收时必须能够识别出哪些对象应该放在新生代，哪些对象应该放在老年代。为了做到这一点，虚拟机给每个对象一个对象年龄（Age）计数器。
　　如果对象出生在Eden，在第一次Minor GC后存活下来，并且可以被Survivor容纳，则将其移动到Survivor空间，并将对象的年龄设置为1。每一次对象存活一次MinorGC在Survivor中，年龄增加1年，当它的年龄增加到一定程度（默认15岁），就会晋升到老年代。可以通过参数-XX:MaxTenuringThreshold 设置将对象提升到Old Age 的年龄阈值。
　　2.判断对象是否死亡
　　几乎所有的对象实例都放在堆中，在堆上进行垃圾回收之前的第一步是确定那些对象已经死了（即无论如何都不能再使用的对象）。
　　判断对象是否死亡
　　2.1 引用计数
　　向对象添加一个引用计数器。每当有对它的引用时，计数器就会加 1；
　　这种方法实现简单，效率高，但是目前主流的虚拟机并没有选择这种算法来管理内存。主要原因是很难解决对象之间的循环引用问题。所谓对象之间的相互引用问题如下代码所示：除了对象objA和objB相互引用外，这两个对象之间没有任何引用。但是因为它们相互引用，它们的引用计数器不为0，所以引用计数算法无法通知GC采集
器回收它们。
　　package jvm.gc;
public class ReferenceCountingGc {
private Object instance;
public static void main(String[] args) {
ReferenceCountingGc t1 = new ReferenceCountingGc();
ReferenceCountingGc t2 = new ReferenceCountingGc();
t1.instance = t2;
t2.instance = t1;
t1 = null;
t2 = null;
}
}
　　2.2 可达性分析算法
　　这个算法的基本思想是以一系列称为“GC Roots”的对象为起点，从这些节点开始向下搜索。节点经过的路径称为引用链。当一个对象没有任何引用链到 GC Roots 连接时，证明该对象不可用。
　　可达性分析
　　可以作为 GC Root 的对象包括：
　　2.3 参考资料
　　无论是通过引用计数的方法判断对象的引用次数，还是通过可达性分析的方法判断对象的引用链是否可达，判断对象的存活与“引用”有关。
　　在JDK1.2之前，Java中对引用的定义很传统：如果数据的引用类型中存储的值代表了另一块内存的起始地址，就说这块内存代表了一个引用。
　　JDK1.2之后，Java扩展了引用的概念，将引用分为四种：强引用、软引用、弱引用、虚引用（引用强度逐渐减弱）
　　引用之间的继承关系
　　1.强引用（StrongReference）
　　以前用的大部分引用其实都是强引用，也就是最常用的引用。如果一个对象有强引用，它就类似于生活必需品，垃圾采集
器永远不会回收它。当内存空间不足时，Java虚拟机宁愿抛出OutOfMemoryError错误导致程序异常终止，也不会通过任意回收强引用对象来解决内存不足问题。
　　例子：
　　package jvm.gc.reference;
<p>
public class StrongReferenceDemo {
/**
* 输出结果:
* java.lang.Object@135fbaa4
* 能打印出来说明obj2没有被回收
*
* @param args
*/
public static void main(String[] args) {
Object obj1 = new Object();//这样定义就是强引用
Object obj2 = obj1;
obj1 = null;//置空
System.gc();
System.out.println(obj2); //能打印出来说明没有被回收
}
}
</p>
　　2. 软引用（SoftReference）
　　如果一个对象只有软引用，那么它类似于可有可无的家居用品。如果有足够的内存空间，垃圾采集
器将不会回收它。如果内存空间不够，这些对象的内存就会被回收。只要垃圾采集
器不采集
它，该对象就可以被程序使用。软引用可用于实现对内存敏感的缓存。
　　软引用可以与引用队列（ReferenceQueue）结合使用。如果软引用引用的对象被垃圾回收，JAVA虚拟机会将软引用添加到与其关联的引用队列中。
　　软引用可以加快JVM对垃圾内存的回收，维护系统的安全，防止内存溢出（OutOfMemory）等问题。
　　适用场景
　　假设一个应用需要读取大量的本地图片：
　　使用软引用解决了这个问题。
　　设计思路：
　　使用HashMap保存图片的路径与对应图片对象关联的软引用的映射关系。当内存不足时，JVM会自动回收这些缓存的图片对象占用的空间，避免OOM问题。
　　Map imageCache = new HashMap();
　　3.弱引用（WeakReference）
　　如果一个对象只有弱引用，它类似于可有可无的家居用品。弱引用和软引用的区别在于只有弱引用的对象生命周期更短。在垃圾回收线程扫描其管辖内存区域的过程中，一旦发现只有弱引用的对象，无论当前内存空间是否足够，都会回收其内存。然而，由于垃圾采集
器是一个非常低优先级的线程，只有弱引用的对象可能无法快速找到。
　　弱引用可以与引用队列（ReferenceQueue）结合使用。如果弱引用引用的对象被垃圾回收，Java虚拟机会将弱引用添加到与其关联的引用队列中。
　　例子：
　　package jvm.gc.reference;
import java.lang.ref.WeakReference;
public class WeakReferenceDemo {
/**
* 输出结果为:
* java.lang.Object@135fbaa4
* java.lang.Object@135fbaa4
* =========================
* null
* null
*
* 这就体现了:
* 在垃圾回收器线程扫描它所管辖的内存区域的过程中，
* 一旦发现了只具有弱引用的对象，不管当前内存空间足够与否，都会回收它的内存。
* @param args
*/
public static void main(String[] args) {
Object o1 = new Object();
WeakReference weakReference = new WeakReference(o1);
System.out.println(o1);
System.out.println(weakReference.get());
o1 = null;
System.gc();
System.out.println("=========================");
System.out.println(o1);
System.out.println(weakReference.get());
}
}
　　适用场景
　　WeakHashmap的应用：
　　代码：
　　package jvm.gc.reference;
import java.util.HashMap;
import java.util.WeakHashMap;
public class WeakHashmapDemo {
public static void main(String[] args) {
myHashmap();
System.out.println("========================");
myWeakHashmap();
}
private static void myWeakHashmap() {
WeakHashMap map = new WeakHashMap();
//HashMap map = new HashMap();
Integer key = new Integer(1);
String value = "HashMap";
map.put(key,value);
System.out.println(map);
key = null;
System.out.println(map);
System.gc();
System.out.println(map+"\t"+map.size());
}
private static void myHashmap() {
//WeakHashMap map = new WeakHashMap();
<p>
HashMap map = new HashMap();
Integer key = new Integer(1);
String value = "HashMap";
map.put(key,value);
System.out.println(map);
key = null;
System.out.println(map);
System.gc();
System.out.println(map+"\t"+map.size());
}
}
</p>
　　4.幻影参考（PhantomReference）
　　“Phantom reference”，顾名思义，是没有用的。与其他类型的引用不同，幻象引用不决定对象的生命周期。如果一个对象只收录
虚引用，就好像它没有引用一样，可以随时被垃圾回收。
　　幻影引用主要用于跟踪被垃圾采集
的对象的活动。
　　幻影引用与软引用和弱引用的区别之一是幻影引用必须与引用队列（ReferenceQueue）结合使用。当垃圾回收器要回收一个对象时，如果发现它还有一个虚引用，就会把这个虚引用添加到与之关联的引用队列中，然后再回收该对象的内存。程序可以通过判断引用队列中是否加入了幻引用来获知被引用对象是否会被垃圾回收。如果程序发现引用队列中加入了虚引用，则可以在被引用对象的内存被回收之前采取必要的动作。
　　2.4 不可达对象不是“必死”
　　即使是可达性分析方法中的不可达对象也不是“必死”的。对属性分析不可达的对象进行第一次标记，筛选一次，筛选条件为是否需要对该对象执行finalize方法。当对象没有覆盖finalize方法，或者finalize方法已经被虚拟机调用过，虚拟机认为这两种情况不需要执行。
　　判断需要执行的对象会被放入队列中进行二次标记，除非该对象与引用链上的任何对象相关联，才会真正被回收。
　　2.5 判断常量是废弃对象
　　运行常量池主要是回收废弃的常量。
　　常量是否为废弃常量的判断标准： 如果常量池中存在字符串“abc”，如果当前没有String对象引用该字符串常量，则说明常量“abc”为废弃常量。如果此时发生内存回收 必要时，“abc”会被系统从常量池中清除。
　　2.6 判断一个类是无用类
　　方法区主要是回收无用的类。
　　判断一个类是否为“无用类”，一个类需要同时满足以下三个条件才能被认为是“无用类”：
　　虚拟机可以回收满足以上三个条件的无用类。这里说的只是“可以”，并不是像对象一样不使用就会被回收。
　　3. 垃圾采集
算法 3.1 Mark-Sweep 算法
　　该算法分为“标记”和“清除”两个阶段：首先标记所有不需要回收的对象，标记完成后统一回收所有未标记的对象。它是最基本的采集算法，后续的算法都是通过改进它的缺点得到的。这种垃圾采集
算法产生了两个明显的问题：
　　效率问题空间问题（标记清除后会产生大量不连续的碎片）
　　标记扫描算法
　　3.2 复制
　　为了解决效率问题，出现了“复制”采集
算法。它可以将内存分成大小相同的两块，一次使用其中的一块。当这块内存用完后，将存活的对象复制到另一块内存中，然后一次性清理已用空间。这样每次内存回收就是回收一半的内存范围。
　　复制算法
　　3.3 标记整理算法
　　根据老年代的特点提出的一种标记算法。标记过程还是和“mark-clear”算法一样，只是后面的步骤不是直接回收可回收对象，而是将所有存活的对象移到一端，然后直接清理。超出字节序边界的内存。
　　标记算法
　　3.4 分代采集
算法
　　目前虚拟机的垃圾回收采用的是分代回收算法。这个算法没有什么新意，只是根据对象生命周期的不同，把内存分成若干块。一般java堆分为新生代和老年代，这样我们就可以根据各个年代的特点选择合适的垃圾回收算法。
　　比如在新生代中，每次回收都会有大量对象死亡，所以可以选择复制算法，只需要付出少量的对象复制成本就可以完成每次垃圾回收。对象在老年代存活的概率比较高，没有额外的空间来保证它的分配，所以我们必须选择“mark-clear”或者“mark-compact”算法进行垃圾回收。
　　4.垃圾采集
器
　　如果说回收算法是内存回收的方法论，那么垃圾回收器就是内存回收的具体实现。
　　当我们比较采集器
时，并不是要挑出最好的。因为到目前为止还没有最好的垃圾采集
器，更不用说通用的垃圾采集
器了，我们能做的就是根据具体的应用场景选择适合自己的垃圾采集
器。
　　除G1外，年轻代都是copy算法，老年代是mark-clean或mark-compact方式。
　　老年代和新生代垃圾采集
器分类
　　垃圾采集
器的组合
　　4.1 串行采集
器
　　串行采集
器
　　虚拟机的设计者当然知道Stop The World带来的糟糕的用户体验，所以在后续的垃圾采集
器设计中不断缩短停顿时间（停顿还是有的，寻找最佳垃圾采集
器的过程还在继续） .
　　Serial采集
器对应的参数
　　4.2 ParNew 采集
器
　　ParNew 采集
器实际上是 Serial 采集
器的多线程版本。除了使用多线程进行垃圾采集
外，其余行为（控制参数、采集
算法、回收策略等）与Serial采集
器完全相同。
　　ParNew采集
器
　　ParNew采集
器的参数
　　它是许多以服务器模式运行的虚拟机的首选。除了Serial采集
器，只有CMS采集
器（真正的并发采集
器，后面会介绍）可以配合使用。
　　添加了并行和并发概念：
　　4.3 并行清除采集
器
　　并行清除采集
器
　　Parallel Scavenge 采集
器侧重于吞吐量（CPU 的有效使用）。CMS 等垃圾采集
器更关注用户线程暂停时间（改善用户体验）。所谓吞吐量就是CPU中用于运行用户代码的时间与CPU消耗的总时间的比值。Parallel Scavenge 采集
器提供了很多参数供用户找到最合适的暂停时间或最大吞吐量。如果对采集
器的运行不太了解，手动优化有难度，可以选择将内存管理优化交给虚拟机来完成。好的选择。
　　4.4 系列老采集器
　　Serial采集
器的老年代版本，也是单线程采集
器。它主要有两个用途：一是在JDK1.5及更早版本中与Parallel Scavenge采集
器配合使用，二是作为CMS采集
器的备份方案。
　　4.5 并行旧采集
器
　　Parallel Scavenge 采集
器的老一代版本。使用多线程和“标记和排序”算法。在吞吐量和 CPU 资源很重要的地方，可以优先考虑 Parallel Scavenge 采集
器和 Parallel Old 采集
器。
　　4.6 CMS 采集
器
　　气相色谱仪
　　CMS 的四个步骤和优缺点
　　CMS（Concurrent Mark Sweep）采集
器是一种旨在获得最短恢复停顿时间的采集
器。非常适合用在注重用户体验的应用上。
　　CMS（Concurrent Mark Sweep）采集
器是HotSpot虚拟机第一个真正意义上的并发采集
器。这是垃圾采集
线程和用户线程（基本上）同时工作的第一次。
　　从名字中的Mark Sweep这两个字可以看出，CMS采集
器是通过“标记-清除”算法实现的，其运行过程比以往的垃圾采集
器都要复杂。整个过程分为四个步骤：
　　主要优势：
　　- 并发采集
，低暂停
　　缺点：
　　- 对CPU资源敏感
　　- 无法处理漂浮垃圾
　　- 它使用的回收算法——“标记和清除”算法会导致采集
结束时产生大量空间碎片
　　4.7 G1 采集
器
　　G1采集
器
　　G1采集
器核心理念
　　G1标志回收流程
　　G1（Garbage-First）是一个面向服务器的垃圾采集
器，主要针对配备多处理器和大容量内存的机器。在大概率满足GC停顿时间要求的同时，还具有高吞吐量的性能特点。
　　G1采集
器的特点：
　　G1采集
器的几个步骤：
　　G1采集
器在后台维护一个优先级列表，每次根据允许的采集
时间，优先回收价值最高的Region（这就是它名字Garbage-First的由来）。这种使用Region划分内存空间和优先区域回收的方式保证了G1采集
器在有限的时间内尽可能多地采集
（通过将内存打零）
　　参考：%E5%9E%83%E5%9C%BE%E5%9B%9E%E6%94%B6.md
　　解决方案:搞定JVM垃圾回收就是这么简单
　　回顾以上：
　　写在这部分前面的常见面试问题：
　　文中提到了问题的答案
　　这篇文章的导火索
　　当需要排查各种内存溢出问题，当垃圾回收被称为系统达到更高并发的瓶颈时，我们需要对这些“自动化”技术进行必要的监控和调整。
　　Java 程序员必读的文档
　　哈哈皮啦！本人开源的一个Java学习指导文档。一本涵盖大多数Java程序员需要掌握的核心知识的书正在逐步完善中，期待您的参与。Github 地址：. 看看吧，我想你不会后悔的，如果可以的话，可以给个Star鼓励一下！
　　1 揭开JVM内存分配与回收的神秘面纱
　　Java的自动内存管理主要是对象内存回收和对象内存分配。同时，Java自动内存管理的核心功能是堆内存中对象的分配和回收。
　　JDK1.8之前的堆内存示意图：
　　从上图可以看出，堆内存分为新生代、老年代和永久代。新生代又分为：Eden区+Survior1区+Survior2区。值得注意的是，在JDK 1.8中整个永久代被移除，取而代之的是一个叫做Metaspace的区域（永久代使用JVM的堆内存空间，而元空间使用物理内存，直接受物理内存限制机）。
　　1.1 对象先分配在eden区
　　目前主流的垃圾采集
器都是采用分代采集
算法，所以需要将堆内存划分为新生代和老年代，这样我们就可以根据各个年代的特点选择合适的垃圾采集
算法。
　　大多数情况下，对象都分配在年轻代的eden区。当eden区没有足够的空间分配时，虚拟机会发起一次Minor GC。下面我们来做一下实际测试。
　　在测试之前，我们先来看看Minor Gc和Full GC的区别？
　　测试：
　　public class GCTest {
public static void main(String[] args) {
byte[] allocation1, allocation2;
allocation1 = new byte[30900*1024];
//allocation2 = new byte[900*1024];
}
}
　　复制
　　运行它：
　　添加参数：-XX:+PrintGCDetails
　　运行结果：
　　从上图可以看出，eden区的内存几乎已经全部分配完毕（即使程序什么都不做，新生代也会使用2000k多的内存）。如果我们为 allocation2 分配内存会怎样？
　　allocation2 = new byte[900*1024];
　　复制
　　简单解释一下为什么会这样：因为分配内存到allocation2的时候eden区的内存已经分配的差不多了，刚才我们说了当Eden区没有足够的空间分配时，虚拟机就会发起一次Minor GC。在GC的时候，虚拟机也发现allocation1不能存放在Survior空间，所以不得不通过allocation guarantee机制，提前将新生代中的对象转移到老年代。old generation中的空间足够存放allocation1，所以不会发生Full GC。Minor GC执行后，如果后面分配的对象在eden区可以存在，内存仍然会分配在eden区。代码验证可以如下进行：
　　public class GCTest {
public static void main(String[] args) {
byte[] allocation1, allocation2,allocation3,allocation4,allocation5;
allocation1 = new byte[32000*1024];
allocation2 = new byte[1000*1024];
allocation3 = new byte[1000*1024];
allocation4 = new byte[1000*1024];
allocation5 = new byte[1000*1024];
}
}
　　复制
　　1.2 大对象直接进入老年代
　　大对象是需要大量连续内存空间的对象（例如字符串、数组）。
　　为什么一定要这样？
　　为了避免在为大对象分配内存时由于分配保证机制带来的复制而降低效率。
　　1.3 长寿对象会进入老年代
　　由于虚拟机采用了分代采集
的思想来管理内存，因此在内存回收时，它必须能够识别出哪些对象应该放在新生代，哪些对象应该放在老年代。为了做到这一点，虚拟机给每个对象一个对象年龄（Age）计数器。
　　如果对象出生在Eden，在第一次Minor GC后存活下来，并且可以被Survivor容纳，则将其移动到Survivor空间，并将对象的年龄设置为1。每一次对象存活一次MinorGC在 Survivor 中，age 增加 1 年，当它的 age 增加到一定程度时（默认是 15 岁），就会被提升到老年代。可以通过参数-XX:MaxTenuringThreshold 设置将对象提升到Old Age 的年龄阈值。
　　1.4 动态对象年龄判定
　　为了更好地适应不同程序的内存情况，虚拟机并不总是要求对象年龄必须达到一定的值才能进入老年代。如果Survivor空间中所有同龄对象的大小之和大于Survivor空间的一半，则年龄大于等于该年龄的对象可以直接进入老年代，无需达到要求的年龄。
　　2 对象死了？
　　
　　几乎所有的对象实例都放在堆中，在堆上进行垃圾回收之前的第一步是确定那些对象已经死了（即无论如何都不能再使用的对象）。
　　2.1 引用计数
　　向对象添加一个引用计数器。每当有对它的引用时，计数器就会加 1；
　　这种方法实现简单，效率高，但是目前主流的虚拟机并没有选择这种算法来管理内存。主要原因是很难解决对象之间的循环引用问题。所谓对象之间的相互引用问题如下代码所示：除了对象objA和objB相互引用外，这两个对象之间没有任何引用。但是因为它们相互引用，它们的引用计数器不为0，所以引用计数算法无法通知GC采集
器回收它们。
　　public class ReferenceCountingGc {
Object instance = null;
public static void main(String[] args) {
ReferenceCountingGc objA = new ReferenceCountingGc();
ReferenceCountingGc objB = new ReferenceCountingGc();
objA.instance = objB;
objB.instance = objA;
objA = null;
objB = null;
}
}
　　复制
　　2.2 可达性分析算法
　　这个算法的基本思想是以一系列称为“GC Roots”的对象为起点，从这些节点开始向下搜索。节点经过的路径称为引用链。当一个对象没有任何引用链到 GC Roots 连接时，证明该对象不可用。
　　可达性分析算法
　　2.3 更多参考资料
　　无论是通过引用计数的方法判断对象的引用次数，还是通过可达性分析的方法判断对象的引用链是否可达，判断对象的存活与“引用”有关。
　　在JDK1.2之前，Java中对引用的定义很传统：如果引用类型数据中存储的值代表了另一块内存的起始地址，就说这块内存代表了一个引用。
　　JDK1.2之后，Java扩展了引用的概念，将引用分为四种：强引用、软引用、弱引用、虚引用（引用强度逐渐减弱）
　　1. 强引用
　　我们之前使用的大部分引用其实都是强引用，也就是最常用的引用。如果一个对象有强引用，它就类似于生活必需品，垃圾采集
器永远不会回收它。当内存空间不足时，Java虚拟机宁愿抛出OutOfMemoryError错误导致程序异常终止，也不会通过任意回收强引用对象来解决内存不足问题。
　　2. 软引用（SoftReference）
　　如果一个对象只有软引用，那么它类似于可以购买的商品。如果有足够的内存空间，垃圾采集
器将不会回收它。如果内存空间不够，这些对象的内存就会被回收。只要垃圾采集
器不采集
它，该对象就可以被程序使用。软引用可用于实现对内存敏感的缓存。
　　软引用可以与引用队列（ReferenceQueue）结合使用。如果软引用引用的对象被垃圾回收，JAVA虚拟机会将软引用添加到与其关联的引用队列中。
　　3.弱引用（WeakReference）
　　如果一个对象只有弱引用，那么它类似于可以购买的商品。弱引用和软引用的区别在于只有弱引用的对象生命周期更短。在垃圾回收线程扫描其管辖内存区域的过程中，一旦发现只有弱引用的对象，无论当前内存空间是否足够，都会回收其内存。然而，由于垃圾采集
器是一个非常低优先级的线程，只有弱引用的对象可能无法快速找到。
　　弱引用可以与引用队列（ReferenceQueue）结合使用。如果弱引用引用的对象被垃圾回收，Java虚拟机会将弱引用添加到与其关联的引用队列中。
　　4.幻影参考（PhantomReference）
　　“Phantom reference”，顾名思义，是没有用的。与其他类型的引用不同，幻象引用不决定对象的生命周期。如果一个对象只收录
虚引用，就好像它没有引用一样，可以随时被垃圾回收。
　　幻影引用主要用于跟踪被垃圾采集
的对象的活动。
　　幻影引用与软引用和弱引用的区别之一是幻影引用必须与引用队列（ReferenceQueue）结合使用。当垃圾回收器要回收一个对象时，如果发现它还有一个虚引用，就会把这个虚引用添加到与之关联的引用队列中，然后再回收该对象的内存。程序可以通过判断引用队列中是否加入了幻引用来获知被引用对象是否会被垃圾回收。如果程序发现引用队列中加入了虚引用，则可以在被引用对象的内存被回收之前采取必要的动作。
　　特别要注意的是，弱引用和幻引用在编程中很少用到，软引用经常用到。这是因为软引用可以加快JVM对垃圾内存的回收，维护系统的安全，防止内存溢出。(OutOfMemory) 等问题。
　　2.4 不可达对象不是“必死”
　　即使是可达性分析方法中的不可达对象也不是“必死”的。对属性分析不可达的对象进行第一次标记，筛选一次，筛选条件为是否需要对该对象执行finalize方法。当对象没有覆盖finalize方法，或者finalize方法已经被虚拟机调用过，虚拟机认为这两种情况不需要执行。
　　判断需要执行的对象会被放入队列中进行二次标记，除非该对象与引用链上的任何对象相关联，才会真正被回收。
　　2.5 如何判断一个常量是废弃常量
　　运行时常量池主要回收废弃的常量。那么，我们如何判断一个常量是一个过时常量呢？
　　如果常量池中存在字符串“abc”，如果当前不存在引用该字符串常量的String对象，则说明常量“abc”为废弃常量。如果此时发生内存回收并且有必要，“abc”就会被系统从常量池中清除掉。
　　注意：我们也说过，JDK1.7及以后版本的JVM把运行时常量池移出了方法区，在Java堆（Heap）中开辟了一块区域来存放运行时常量池。
　　2.6 如何判断一个类是无用类
　　方法区主要是回收无用类，那么如何判断一个类是否为无用类呢？
　　判断一个常量是否为“废弃的常量”比较简单，但是判断一个类是否为“无用类”的条件就比较苛刻。一个类需要同时满足以下三个条件才能被认为是“无用类”：
　　虚拟机可以回收满足以上三个条件的无用类。这里说的只是“可以”，并不是像对象一样不使用就会被回收。
　　3 垃圾回收算法
　　垃圾采集
算法
　　3.1 标记-扫描算法
　　该算法分为“标记”和“清除”两个阶段：首先标记所有需要回收的对象，标记完成后统一回收所有标记的对象。它是最基本的采集
算法，效率很高，但是会带来两个明显的问题：
　　效率问题空间问题（标记清除后会产生大量不连续的碎片）
　　标记扫描算法
　　3.2 复制算法
　　
　　为了解决效率问题，出现了“复制”采集
算法。它可以将内存分成大小相同的两块，一次使用其中的一块。当这块内存用完后，将存活的对象复制到另一块内存中，然后一次性清理已用空间。这样每次内存回收就是回收一半的内存范围。
　　复制算法
　　3.3 标记整理算法
　　根据一种特殊的基于老年代特点的标记算法，标记过程还是和“标记-清除”算法一样，只是后面的步骤不是直接回收可回收对象，而是移动所有存活的对象到一个section，然后直接清理掉end boundary之外的Memory。
　　标记整理算法
　　3.4 分代采集
算法
　　目前虚拟机的垃圾回收采用分代回收算法。这个算法没有什么新意，只是根据对象生命周期的不同，把内存分成若干块。Java堆一般分为新生代和老年代，这样我们就可以根据各个年代的特点选择合适的垃圾回收算法。
　　比如在新生代中，每次回收都会有大量对象死亡，所以可以选择复制算法，只需要付出少量的对象复制成本就可以完成每次垃圾回收。对象在老年代存活的概率比较高，没有额外的空间来保证它的分配，所以我们必须选择“标记-清除”或“标记-排序”算法进行垃圾回收。
　　采访延伸问题：HotSpot为什么分新生代和老年代？
　　根据上面对分代采集
算法的介绍回答。
　　4 垃圾采集
器
　　如果说回收算法是内存回收的方法论，那么垃圾回收器就是内存回收的具体实现。
　　当我们比较采集器
时，我们并不是要挑选一个最好的采集器
。因为我们知道目前没有最好的垃圾采集
器，更谈不上万能的垃圾采集
器，我们能做的就是根据具体的应用场景选择适合自己的垃圾采集
器。试想一下：如果有一个完美的采集
器适用于四海之内的任何场景，那么我们的HotSpot虚拟机就不会实现这么多不同的垃圾采集
器。
　　4.1 串行采集
器
　　串行（serial）采集
器 采集
器是最基本也是最古老的垃圾采集
器。大家看名字就知道这个采集
器是单线程采集
器。它的“单线程”的含义不仅仅意味着它只会使用一个垃圾采集
线程来完成垃圾采集
工作，更重要的是它在执行垃圾采集
工作时必须暂停所有其他工作线程（“Stop The World”）直到采集
完毕。
　　新生代采用复制算法，老年代采用标记-排序算法。
　　串行采集
器
　　虚拟机的设计者当然知道Stop The World带来的糟糕的用户体验，所以在后续的垃圾采集
器设计中不断缩短停顿时间（停顿还是有的，寻找最佳垃圾采集
器的过程还在继续） .
　　但是串行采集
器与其他垃圾采集
器相比有什么优势吗？当然有，简单高效（相对单线程的其他采集
器）。Serial采集
器由于没有线程交互开销，自然可以获得很高的单线程采集
效率。Serial 采集
器是在客户端模式下运行的虚拟机的不错选择。
　　4.2 ParNew 采集
器
　　ParNew 采集
器实际上是 Serial 采集
器的多线程版本。除了使用多线程进行垃圾采集
外，其余行为（控制参数、采集
算法、回收策略等）与Serial采集
器完全相同。
　　新生代采用复制算法，老年代采用标记-排序算法。
　　ParNew采集
器
　　它是许多以服务器模式运行的虚拟机的首选。除了Serial采集
器，只有CMS采集
器（真正的并发采集
器，后面会介绍）可以配合使用。
　　添加了并行和并发概念：
　　4.3 并行清除采集
器
　　Parallel Scavenge 采集
器类似于 ParNew 采集
器。那么它有什么特别之处呢？
　　-XX:+UseParallelGC
使用Parallel收集器+ 老年代串行
-XX:+UseParallelOldGC
使用Parallel收集器+ 老年代并行
　　复制
　　Parallel Scavenge 采集
器侧重于吞吐量（CPU 的有效使用）。CMS等垃圾采集
器的关注点更多的是用户线程的停顿时间（提升用户体验）。所谓吞吐量就是CPU中运行用户代码所花费的时间与CPU总消耗时间的比值。Parallel Scavenge 采集
器提供了许多参数供用户找到最合适的暂停时间或最大吞吐量。如果你不太了解采集
器的运行，如果存在手动优化，你可以选择将内存管理优化交给虚拟机来完成。这也是一个不错的选择。
　　新生代采用复制算法，老年代采用标记-排序算法。
　　ParNew采集
器
　　4.4.系列老采集器
　　Serial采集
器的老年代版本，也是单线程采集
器。它主要有两个用途：一是与JDK1.5及更早版本的Parallel Scavenge采集
器一起使用，二是作为CMS采集
器的备份解决方案。
　　4.5 并行旧采集
器
　　Parallel Scavenge 采集
器的老一代版本。使用多线程和“标记和排序”算法。在注重吞吐量和CPU资源的情况下，可以优先考虑Parallel Scavenge采集
器和Parallel Old采集
器。
　　4.6 CMS 采集
器
　　CMS（Concurrent Mark Sweep）采集
器是一种旨在获得最短恢复停顿时间的采集
器。非常适合用在注重用户体验的应用上。
　　CMS（Concurrent Mark Sweep）采集
器是HotSpot虚拟机第一个真正意义上的并发采集
器。这是垃圾采集
线程和用户线程（基本上）同时工作的第一次。
　　从名字中的Mark Sweep这两个字可以看出，CMS采集
器是通过“标记-清除”算法实现的，其运行过程比以往的垃圾采集
器都要复杂。整个过程分为四个步骤：
　　CMS 垃圾采集
器
　　从它的名字就可以看出它是一个优秀的垃圾采集
器，主要优点：并发采集
，低暂停。但它有以下三个明显的缺点：
　　4.7 G1 采集
器
　　G1（Garbage-First）是一个面向服务器的垃圾采集
器，主要针对配备多处理器和大容量内存的机器。大概率满足GC停顿时间要求，同时具有高吞吐量的性能特点。
　　在JDK1.7中被视为HotSpot虚拟机的一个重要的进化特征。它具有以下特点：
　　G1采集
器的运行大致分为以下几个步骤：
　　G1采集
器在后台维护一个优先级列表，每次根据允许的采集
时间选择回收值最高的Region（这就是它名字Garbage-First的由来）。这种使用Region划分内存空间和优先区域回收的方法保证了GF采集
器在有限的时间内（通过将内存打零）采集
尽可能多的内存。
　　参考： 查看全部

　　解决方案:JVM（2）垃圾收集器
　　1.对象存活
　　内存回收和分配主要集中在堆内存和方法区内存（程序计数器占用空间小，虚拟机栈和本地方法栈与线程有相同的生命周期）。
　　1.1、引用计数算法
　　向对象添加引用计数。只要有对它的引用，计数器就会加一；当引用无效时，计数器减一；
　　优点：实现简单，判断效率高；
　　缺点：难以解决对象间相互循环引用的问题，不能回收；
　　1.2. 可达性分析算法
　　该算法的基本思想是以一系列称为“GC Roots”的对象为起点，从这些节点开始向下搜索，形成一条引用链。当一个对象没有任何到 GC Roots 的引用链时，它就被判定为死亡。Java语言中可以作为GC Roots的对象包括：
　　1.3、对象引用类型
　　java中有四种类型的引用：
　　1.4. 物标回收流程
　　即使是在可达性分析算法中不可达的对象也不是“必死”的。此时，他们暂时处于“试用期”阶段。真正要告死一个对象，至少要经过两个标记过程：如果对象经过reachability分析后，发现没有引用链连接到GC Roots，就会第一次被标记并筛选一次。筛选条件是是否需要对该对象执行finalize()方法。当对象没有覆盖finalize()方法，或者finalize()方法已经被虚拟机调用过时，虚拟机将这两种情况都视为“不需要执行”。
　　如果确定这个对象需要执行finalize()方法，那么这个对象就会被放入一个叫做F-Queue的队列中，之后由虚拟机自动创建一个低优先级的Finalizer线程来执行它。这里所谓的“执行”是指虚拟机触发这个方法，但并不承诺等待它结束。这样做的原因是，如果一个对象在finalizer方法中执行缓慢，或者出现死循环（更极端的情况），很可能会导致F-Queue中的其他对象永远等待，甚至导致整个内存回收系统坠毁。finalize()方法是对象逃脱死亡命运的最后机会。稍后，GC 会标记 F-Queue 中的对象，进行第二次小范围的标记。
　　1.5. 回收方法区
　　永久代垃圾回收主要回收两部分；过时的常量和无用的类。回收过时的常量与回收 Java 堆中的对象非常相似。以常量池中字面量的回收为例，如果一个字符串“abe”进入了常量池，但是当前系统中没有任何名为“abc”的字符串对象，也就是说没有字符串对象常量池中的“abc”常量被引用，没有其他引用这个字面量。如果此时发生内存回收，必要时系统会将“abc”常量从常量池中清除。常量池中其他类（接口）、方法、字段的符号引用也类似。
　　判断一个常量是否为“废弃的常量”比较简单，但是判断一个类是否为“无用类”的条件就比较苛刻。
　　一个类需要同时满足以下三个条件才能被认为是“无用类”：
　　2. 垃圾采集
算法 2.1. 标记清除算法：
　　最基本的采集
算法是“标记-清除”（Mark-Sweep）算法。该算法分为两个阶段：“标记”和“清除”。首先标记所有需要回收的对象，标记的都是Object。
　　标记清除.png
　　主要有两个缺点：
　　2.2. 复制算法
　　复制算法根据容量将可用内存分成两个大小相等的块，并且一次只使用其中一个。当这块内存用完后，将存活的对象复制到另一块中，然后一次性清理掉已使用的内存空间。这样每次都回收了整个半个区域，分配内存时就不用考虑内存碎片等复杂情况。只需要移动堆顶指针，按顺序分配内存即可，实现简单，运行高效。只是这个算法的代价是将内存减少到原来的一半大小，有点太高了。
　　2.3. 标记排序算法
　　复制采集
算法在对象存活率高的时候会执行更多的复制操作，效率会变低。更重要的是，如果不想浪费50%的空间，就需要有额外的空间分配保证来应对已用内存中所有对象都是100%存活的极端情况，所以不能直接在老年代算法中选择这个选项。根据老年代的特点，提出了另一种“标记紧凑”（Mark-Compact）算法。标记过程还是和“mark-clear”算法一样，只是后面的步骤不是直接清理可回收对象，而是让所有存活的对象移动到一端，然后直接清理内存之外的内存结束边界。
　　标记完成.png
　　2.4. 世代相传的想法
　　分代采集
算法根据对象的生命周期将内存分成若干块。一般Java堆分为新生代和老年代，这样可以根据各个年代的特点采用最合适的采集
算法。
　　在新生代中，每次垃圾回收时发现大量对象死亡，只回收少数存活的对象，所以采用复制算法，只需要付出a的复制成本就可以完成回收少数幸存的对象。在老年代，由于对象存活率高，没有多余的空间分配给它，所以需要使用“mark-clean”或“mark-clean”算法进行回收。
　　3. HotSpot算法的实现 3.1．枚举根节点
　　GC Root 查找引用链的缺点：
　　在 HotsPoL 的实现中，使用了一组称为 OopMap 的数据结构来存储对象引用。当类加载完成后，HotSpot会计算出对象偏移处数据的类型，并在JIT编译过程中，在具体位置也会记录栈和寄存器中哪些位置是引用。这样GC在扫描的时候就可以直接知道参考信息。
　　3.2. 安全要点
　　Hotspot可以通过OopMap快速完成GC Root的遍历，但是有很多东西会导致OopMap的内容发生变化。如果每条指令都生成对应的OopMap，需要额外占用大量空间，GC的空间成本会很高。变得很高大。
　　实际上，Hotspot 只记录“特定位置”的 OopMap 信息。这些位置被称为安全点（safepoino，即程序执行不会在所有地方都停下来开始GC，只有到了安全点才能暂停。一般选择方法调用、循环跳转、异常跳转等指令被用作安全点。
　　safepoint需要考虑的问题是GC发生时，如何在safepoint停止所有线程。
　　有两种选择：
　　抢占式中断：抢占式中断不需要线程的执行代码主动配合。当GC发生时，所有线程首先被中断。如果发现线程中断的地方不在安全点，就恢复线程，让它跑到安全点。点击中断。很少有虚拟机实现使用抢占式中断来挂起线程以响应 GC 事件。
　　主动中断：当GC需要中断线程时，并不直接对线程进行操作，而是简单地设置一个标志，每个线程在执行时主动轮询该标志，发现中断标志是时，中断并挂起自己真的。轮询标志与安全点重合的地方，加上创建对象需要分配内存的地方。
　　执行 JNI 调用的线程）“运行”到最近的安全点，然后停止。这里有两种选择：抢占式中断（Preemptivc suspension）和主动中断（volunta port suspension）。所有线程全部中断。如果发现线程中断的地方不在安全点，就会恢复线程，让它“跑”到安全点。很少有虚拟机实现使用抢占式中断来挂起线程以响应 GC 事件。主动中断的思想是当GC需要中断线程时，并不直接对线程进行操作，而是简单地设置一个标志，每个线程在执行时主动轮询这个标志，发现时中断并挂起自己中断标志为真。上升。轮询标志与安全点重合的地方，加上创建对象需要分配内存的地方。下面代码清单3中的测试命令是Hotspot生成的轮询命令。当线程需要挂起时，虚拟机就会挂起。, 1 60 100内存页被设置为不可读，当线程执行测试指令时，会产生自陷异常信号，线程会被挂起在预先注册的异常处理器中等待，这样的汇编指令将完成安全点轮询并触发线程中断。
　　safepoints的选择既不能太小导致GC等待时间太长，也不能太频繁导致运行时负载过大。因此，安全点的选择基本上是以“程序是否具有允许程序长时间执行的特性”为标准——因为每条指令的执行时间很短，程序不太可能被因为指令流的长度太长而执行。“长执行”最明显的特征是指令序列的多路复用，比如方法调用、循环跳转、异常跳转等，所以带有这些功能的指令会产生安全点。
　　3.3. 安全区
　　使用safepoint貌似完美解决了如何进入Gc的问题，但实际情况不一定。安全点机制保证了程序在执行的时候，会在不太长的时间内遇到一个可以进入GC的安全点。但是，当程序没有运行的时候，也就是没有分配CPU时间的时候，一个典型的例子就是线程处于休眠状态或者Blocked状态。此时线程无法响应JVM的中断请求，跑到安全的地方中断挂起。JVM 也显然不太可能等待线程重新分配 CPU 时间。对于这种情况，就需要一个安全区域（safe Region）来解决。安全区是指在一段代码内，引用关系不会发生变化。
　　当线程执行到SafeRegion中的代码时，首先标志自己进入了Safe Region状态。在这段时间里，当JVM要发起GC时，它并不关心标记自己为安全Region状态的线程。当一个线程即将离开安全区域时，它会检查系统是否完成了根节点的枚举（或整个GC过程）。如果完成了，线程会继续执行，否则必须等待，直到收到safe to leave signal在safe Region。
　　4. 与垃圾回收相关的概念 4.1。垃圾采集
性能指标 4.2．分代采集
模型
　　世代采集
（Generation 采集
）是指在内存空间划分不同的区域，每个区域存储不同年龄的对象，每个区域可以根据自身特点灵活采用自己的采集
策略。
　　根据存储对象的年龄，分代可以分为3种类型：
　　根据垃圾回收在不同代中的作用，垃圾回收类型分为两种：
　　分配空间的时候，先在new era的伊甸区分配。当Eden区内存耗尽时，会触发Minor GC；在复制链接中，存活对象会被复制到一个Survivor区。如果 Survivor 区已满，将允许对象的一个​​子集被提升到老年代。当提升时发现老年代没有多余空间时，会通过Full GC回收整个堆空间（CMS除外）。
　　JVM通过两个参数来判断一个对象是否可以晋升到老年代：
　　4.3. 快速配送
　　通常，系统具有可用于分配对象的最大且最连续的内存块。在这种情况下，如果使用指针碰撞算法来分配对象内存空间，效率是相当可观的。这个算法的思路是：记录下一个分配对象的位置，当有新的对象要分配时，如果检查剩余空间容纳该对象，那么只需要一次移动指针的操作完成内存分配。
　　对于多线程应用，分配操作需要保证线程安全。如果使用全局锁来保证线程安全的内存分配，就会成为性能瓶颈。所以Hotspot采用了thread-local allocation cache技术（即Thread-Local Allocation Buffers，简称TLABs）。每个线程都会有自己的TLAB，就是Eden区的一个小空间。因为每个 TLAB 只对一个线程可见，分配操作可以使用 bump-the-pointer 技术快速完成，无需使用任何锁定机制：只有当一个线程填满一个 TLAB 并需要获取一个新的时，同步是必须的. 在虚拟机开启了UseTLAB选项的前提下，在分配新的对象空间时，会先尝试在TLAB空间中分配对象空间。如果空间分配请求失败，
　　4.4. 堆栈分配和逃逸分析
　　栈上分配的基本思想是这样的：分析局部变量的范围仅限于方法内部。然后 JVM 直接在栈帧中分配对象空间，避免在堆中分配。这个分析过程称为逃逸分析，在栈帧中分配对象的方法称为栈上分配。这样做的目的是减少新生代的集合数量，间接提高JVM的性能。
　　4.5. 垃圾采集
器的设计演变 5. 垃圾采集
器介绍 5.1．串行采集
器
　　串行采集
器是一个单线程采集
器。它的“单线程”意义不仅仅意味着它只会使用一个CPU或一个采集
线程来完成垃圾采集
，更重要的是，当它采集
垃圾时，必须挂起所有其他工作线程，直到它完成采集
。
　　与其他采集
器相比，它也有优势：简单高效（相对于其他采集
器的单线程），对于仅限于单CPU的环境，Serial采集
器没有线程交互开销，自然而然会专注于垃圾采集
Get单线程采集
效率最高。在用户的桌面应用场景中，分配给虚拟机管理的内存一般都不会很大，采集
新生代的几十兆甚至一两百兆（仅新生代使用的内存，桌面应用基本上做不管它有多大），停顿时间可以控制在几十毫秒以内，最多一百毫秒。只要不是经常发生，这种停顿是可以接受的。所以，
　　串口.png
　　5.2、ParNew采集
器
　　ParNew 采集
器实际上是 Serial 采集
器的多线程版本。除了使用多线程进行垃圾回收外，其行为还包括Serial采集
器可用的所有控制参数（例如：-XX:SurvivorRatio、-XX:PretenureSizeThreshold、-XX:HandlePromotionFailure等）、采集
算法、Stop The World、对象分配规则、回收策略等与Serial采集
器完全相同。事实上，这两个采集
器共享相当多的代码。
　　ParNew 采集
器除了多线程采集
器之外，与Serial 采集
器相比并没有太多创新之处，但它是许多运行在Server 模式下的虚拟机的首选新生代采集
器。其中之一是与性能无关但重要的原因是，除了Serial采集
器之外，目前只有它与CMS采集
器一起使用。
　　ParNew 采集
器在单 CPU 环境下永远不会比 Serial 采集
器有更好的效果。即使由于线程交互的开销，采集
器在超线程技术实现的双 CPU 环境中也不能 100% 有效。保证覆盖串行采集
器。当然，随着可以使用的CPU数量的增加，对于GC时有效利用系统资源还是很有好处的。
　　ParNew.png
　　5.3、Parallel Scavenge采集
器
　　Parallel scavenge collector是新一代的使用复制算法的采集
器，是一种并行的多线程采集
器。Parallel scavenge 采集
器的特点是它的侧重点不同于其他采集
器。Parallel scavenge collector的目标是达到一个可控的吞吐量（Throughput）。所谓吞吐量就是运行用户代码的CPU时间占总CPU时间的比值，即吞吐量=运行用户代码时间/（运行用户代码时间+垃圾回收时间），虚拟机已经运行了一共100分钟，其中垃圾回收用了1分钟，也就是99%的吞吐量。
　　暂停时间越短，越适合需要与用户交互的程序。良好的响应速度可以提升用户体验，而高吞吐量可以高效利用CPU时间，尽快完成程序的计算任务。主要适用于后台计算，而不是需要过多交互的Tasks。Parallel Scavenge采集
器提供了两个参数来精确控制吞吐量，分别是控制最大垃圾采集
暂停时间的-XX:MaxGCPauseMillis参数和直接设置吞吐量大小的-XX:GCTimeRatio参数。
　　MaxGCPauseMillis参数允许的值为大于0的毫秒数，采集
器会尽量保证内存回收花费的时间不超过设定值。但是不要以为这个参数的值设置的小一点，系统的垃圾回收速度就会快一些。GC暂停时间的缩短是以吞吐量和新生代空间为代价的；更小，采集
新生代的300MB肯定比采集
500MB快，这直接导致垃圾采集
更频繁。以前是10秒采集一次，停顿100毫秒，现在是5秒采集一次，停顿70毫秒。毫秒，停顿时间确实下降了，但是吞吐量也下降了。
　　GCTimeRatio参数的值应该是一个大于0小于100的整数，即垃圾回收时间占总时间的比例，相当于吞吐量的倒数。如果这个参数设置为19，最大允许的GC时间会占总时间的5%（即 1 / ( 1 + 19 ) ），默认为99，也就是允许最多占1%（即1 / ( 1 + 99 ) ) 垃圾采集
时间。
　　由于与吞吐量的密切关系，Parallel scavenge 采集
器也常被称为“吞吐量优先”的采集
器。除了以上两个参数，Parallel scavenge collector还有一个参数-xx:+UseAdaptiveSizePolicy值得关注。这是一个开关参数。开启该参数后，无需手动指定新生代的大小（-Xmn）、Eden占幸存者区域的比例（-xx:SurvivorRatio）、老年代对象的年龄（ -xx : PretenureSizeThreshold )等详细参数，虚拟机根据当前系统运行状态采集
性能监控信息，动态调整这些参数以提供最合适的停顿时间或最大吞吐量。
　　5.4、Serial老采集器
　　Serial old是老版本的Serial采集
器，也是单线程采集
器，使用“标记-排序”算法。这个采集
器的主要意义也是在客户端模式下用于虚拟机。如果是server模式，主要有两个用途：一是配合JDK 1.5及更早版本中的Parallel scavenge collector使用。，另一个用途是作为CMS采集
器的备份计划，在并发采集
出现Concurrcnt Mode Failure时使用。这两点将在后面的内容中详细说明。
　　SerialOld.png
　　5.5、并行旧采集
器
　　Parallel old 是 Parallel 清道夫采集
器的老一代版本，它使用多线程和“标记与排序”算法。如果新生代选择Para​​llel Scavenge采集
器，那么老年代就只能选择Serial Old (Ps Markswccp)采集
器了。由于老年代Serial Old采集
器对服务器应用程序性能的“拖累”，使用Parallel Scavcnge采集
服务器可能无法最大化整体应用程序的吞吐量，因为单线程老年代采集
器不能充分利用服务器的多CPU处理能力。在老年代很大、硬件比较先进的环境下，这种组合的吞吐量可能甚至没有那么“强大” 作为 ParNew 和 CMS 的组合。直到Parallel Old采集
器的出现，“吞吐量优先”的采集
器终于有了更名副其实的应用组合。在注重吞吐量和对CPU资源敏感的场合，可以优先考虑Parallcl Scavcnge plus Parallel Old collector。
　　
　　ParallelOld.png
　　5.6、CMS采集
器
　　CMS（Concurrent Mark sweep）采集
器是一种旨在获得最短恢复停顿时间的采集
器。目前，很大一部分Java应用都集中在互联网网站或B/S系统的服务器端。这类应用特别注重服务的响应速度，希望系统停顿时间最短，给用户带来更好的体验。CMS采集
器非常适合这类应用的需求。
　　CMS采集
器基于“mark-clear”算法实现，整个过程分为四步：
　　由于整个过程中耗时最长的采集
器线程可以和用户线程一起工作，所以CMS采集
器的内存回收过程是和用户线程并发执行的。
　　cms.png
　　CMS的缺点是：
　　5.7、G1采集
器
　　G1采集
器具有以下特点：
　　G1中的堆内存布局：
　　G1将整个Java堆划分为多个大小相等的独立区域（Region）。虽然仍然保留了新生代和老年代的概念，但新生代和老年代不再是物理隔离的。它们都是区域的一部分（不需要连续）。
　　G1跟踪每个Region的垃圾堆积值（回收获得的空间大小和回收所需时间的经验值），并在后台维护一个优先级列表。每次根据允许的采集时间，优先采集值最大的Region。（这就是 Garbage-First 名称的来源）。这种使用Region划分内存空间和优先区域回收的方式，保证了G1采集
器在有限的时间内获得尽可能高的采集
效率。
　　在Gl采集
器中，对于Region之间的对象引用以及其他采集
器中新生代和老年代之间的对象引用，虚拟机使用Remembered Set来避免全堆扫描。G1 中的每个 Region 都有对应的 Remembered Set。当虚拟机发现程序正在写入引用类型的数据时，会生成一个Write Barrier暂时中断写入操作，并检查Reference所引用的对象是否在不同的Region中。其中（在generation的例子中，就是检查old generation中的对象是否引用了new generation中的对象），如果是，则通过Card Table。将相关引用信息记录到引用对象所属Region的Remembered Set中。在执行内存恢复时，
　　如果不算维护Remembered set的操作，GI采集
器的操作大致可以分为以下几步：
　　最后，在筛选回收阶段，首先，根据Sun公开的信息，这个阶段其实可以和用户程序并发执行，但是因为只回收了一部分Region，所以时间是可控的user，而暂停用户线程会大大提高采集效率。
　　5.8. 垃圾采集
器参数汇总参数说明
　　-XX:+UseSerialGC
　　在年轻代和老年代使用串行采集
器
　　-XX:幸存者比率
　　设置eden区大小与survivor区大小的比例
　　-XX:PretenureSizeThreshold
　　设置大对象直接进入老年代的阈值。当对象的大小超过这个值时，会直接分配到老年代。
　　-XX:MaxTenuringThreshold
　　设置对象进入老年代的最大年龄。每次Minor GC后，对象的年龄加1，任何超过这个年龄的对象都必须进入老年代
　　参数说明
　　-XX:+UseParNewGC
　　在年轻代使用并行采集
器
　　-XX:+UseParallelOldGC
　　老年代使用并行采集
器
　　-XX:并行GC线程
　　设置用于垃圾回收的线程数。通常可以等于CPU个数，但在CPU个数较多的情况下，设置一个比较小的值比较合理。
　　-XX:MaxGCPauseMillis
　　设置最大垃圾采集
暂停时间。它的值是一个大于0的整数。采集
器在工作时，会调整Java堆大小或其他参数，尽可能将停顿时间控制在MaxGCPauseMillis以内。
　　-XX:GCTimeRatio
　　设置吞吐量大小。它是一个从 0 到 100 的整数。假设 GCTimeRatio 的值为 n，系统将花费不超过 1/(1+n) 的时间进行垃圾回收。
　　-XX:+UseAdaptiveSizePolicy
　　开启自适应 GC 策略。在这种模式下，新生代的大小、eden 和 survivor 的比例、晋升到老年代的对象的年龄等参数都会自动调整，以在堆大小、吞吐量和停顿时间之间达到平衡。
　　参数说明
　　-XX:+UseConcMarkSweepGC
　　新生代使用并行采集
器，老年代使用CMS+串行采集
器
　　-XX:并行CMS线程
　　设置 CMS 的线程数
　　-XX:CMSInitiatingOccupancyFraction
　　设置CMS采集
器在老年代空间使用后触发，默认68%
　　-XX:+UseCMSCompactAtFull采集
　　设置CMS采集
器完成垃圾回收后是否进行内存整理
　　-XX:CMSFullGCsBeforeCompaction
　　设置好CMS垃圾回收次数后，进行一次内存压缩
　　-XX:+CMSClassUnloadingEnabled
　　允许回收类元数据区域
　　-XX:CMSInitiatingPermOccupancyFraction
　　当永久区域占用达到这个百分比时，开始CMS回收（前提是-XX:+CMSClassUnloadingEnabled被激活）
　　-XX:UseCMSInitiatingOccupancyOnlyn
　　表示只有达到阈值才会执行CMS回收
　　-XX:+CMSIncrementalMode
　　使用增量模式更适合单CPU。增量模式在 JDK8 中被标记为过时，并将在 JDK 9 中完全删除。
　　参数说明
　　-XX:+使用G1GC
　　使用 G1 采集
器
　　-XX:MaxGCPauseMillis
　　设置最大垃圾回收暂停时间
　　-XX:GCPauseIntervalMillis
　　设置暂停间隔
　　参数说明
　　-XX:+使用TLAB
　　启用 TLAB 分配
　　-XX:+PrintTLAB
　　打印TLAB相关分配信息
　　-XX:TLABSize
　　设置 TLAB 大小
　　自动调整 TLAB 大小
　　参数说明
　　-XX:+DisableExplicitGC
　　禁用显式 GC
　　-XX:+ExplicitGCInvokesConcurrent
　　使用并发处理显式 GC
　　5.9 垃圾采集
器比较
　　比较.png
　　
　　采集
器算法并发并行 STW 适用生成
　　连续剧
　　复制
　　不
　　不
　　是的
　　新一代
　　标准杆新
　　复制
　　是的
　　是的
　　不
　　新一代
　　并行清除
　　复制
　　是的
　　是的
　　不
　　新一代
　　序列号旧
　　标记组织
　　不
　　不
　　是的
　　老一辈
　　并行老
　　标记组织
　　是的
　　是的
　　不
　　老一辈
　　内容管理系统
　　清除标记
　　是的
　　是的
　　是的
　　老一辈
　　G1
　　世代采集
　　是的
　　是的
　　不
　　旧时代，新一代
　　Collector适用场景优缺点
　　连续剧
　　单CPU，客户端模式
　　简单高效，无线程切换开销，专注于GC
　　STW
　　标准杆新
　　多CPU，服务器模式
　　并行并发 GC
　　STW
　　并行清除
　　吞吐量优先级，客户端或服务器模式
　　吞吐量优先级，设置吞吐量以适应不同的场景
　　序列号旧
　　单CPU，客户端模式
　　简单高效，无线程切换开销，专注于GC
　　STW
　　并行老
　　吞吐量优先级，客户端或服务器模式
　　吞吐量优先级，设置吞吐量以适应不同的场景
　　内容管理系统
　　互联网; B/S系统服务
　　并发采集
，低暂停
　　对CPU资源敏感，无法处理浮动垃圾，内存碎片
　　G1
　　对于服务器端应用程序
　　并发并行、分代采集
、可测停顿、空间整合
　　6. 内存分配与回收策略 6.1. 对象首先在伊甸园分配
　　大多数时候对象是在伊甸园中分配的。当Eden中没有足够的空间分配时，JVM会发起一次Minor GC。,
　　次要垃圾回收（Minor GC）：指发生在新生代的垃圾回收。由于大多数JAVA对象都有注册和死亡的特点，所以Minor GC非常频繁，回收速度普遍较快。
　　老年代GC（Major GC/Full GC）：指发生在老年代的GC。Major GC 的发生，通常伴随着至少一次 Minor GC。Major GC 一般比 Minor GC 快 10 倍。
　　6.2. 大对象直接进入老年代
　　所谓大对象是指需要大量连续内存空间的java对象，比如很长的字符串、数组等。大对象对于虚拟机的内存分配来说是个坏消息（抱怨Java虚拟机，比遇到大对象更坏的消息是遇到一群“生死存亡”的“短命大对象”，写programs should be avoided），频繁的大对象很可能导致垃圾回收在内存中还有大量空间获取足够的连续空间来“放置”它们时被提前触发。虚拟机提供了一个-XX:PretenureSizeThreshold参数，让大于这个设置值的对象直接在老年代分配。这样做的目的是为了避免在Eden区和两个Survivor区之间进行大量的内存复制（回收新生代使用复制算法采集
内存）。PretenureSizeThreshold 参数仅对 Serial 和 ParNew 采集
器有效。
　　6.3. 长寿对象会进入老年代
　　虚拟机为每个对象定义一个对象年龄（Age）计数器。如果对象出生在Eden，在第一个Minor GG后存活下来，并且可以被Survivor容纳，则将其移动到Survivor空间，并设置对象的age为1。每有一个对象“存活”一个Survivor区的Minor GC，其年龄会增加1年。当它的年龄增长到一定程度（默认是15岁），就会被提升到老年代。将对象提升到 Old Age 的年龄阈值可以通过参数 -xx : MaxTenuringThreshold 设置。
　　6.4. 动态对象的年龄确定
　　为了更好的适应不同程序的内存状态，虚拟机并不总是要求对象的年龄必须达到MaxTenuringThreshold才能提升到老年代。如果survivor空间中所有同age的对象size之和大于Survivor空间的一半，则age大于等于这个age的对象可以直接进入老年代，无需等待MaxTenuringThreshold中要求的age .
　　6.5. 空间分配保证
　　在Minor GC发生之前，虚拟机首先检查老年代中的最大可用连续空间是否大于新生代中所有对象的总空间。如果这个条件为真，那么Minor GC可以保证它是安全的。如果不是，则虚拟机检查 HandlePromotionFailure 设置值是否允许保证失败。如果允许，它会继续检查老年代的最大可用连续空间是否大于提升到老年代的对象的平均大小。如果大于，它会尝试进行一次Minor GC，虽然这个Minor GC有风险：如果小于，或者HandlePromotionFailure设置不允许风险，那么此时也应该进行一次Full GC。
　　解决方案:Meta宣布将通过保护Facebook的标识符来阻止采集行为
　　作为我们正在进行的解决数据滥用问题系列的一部分，Meta 最近分享了有关我们的外部数据滥用 (EDM) 团队如何保护人们免受克隆网站侵害的最新消息。今天，官方博客详细介绍了如何阻止在 Facebook 上采集
Facebook 标识符 (FBID)。
　　大多数公司在其网站的 URL 中使用唯一标识符。标识符是一种唯一引用人或内容的方式，例如帖子、图像和视频。在 Facebook 内部，这些标识符被称为 FBID，它们用于为人们加载内容。
　　
　　采集
是指从网站或应用程序自动采集
数据，可以是授权的也可以是未授权的。未经授权的采集
通常涉及猜测标识符，或使用购买的标识符来采集
有关人员的数据。在某些情况下，收割者采集
标识符并碰撞和交叉过滤电话号码或其他公开可用的数据，以创建可重复使用的数据集，这些数据集有时会被出售以牟利。
　　图为 URL 中带有 PFBID 的 Facebook 帖子示例
　　
　　考虑到这一点，Meta 创建了假名化的 Facebook 标识符 (PFBID)，它将时间戳和 FBID 结合起来生成一个唯一的时间旋转标识符。随着访问原创
标识符的能力被逐步淘汰，这有助于防止未经授权的数据抓取，使攻击者更难猜测、连接和重新访问数据。
　　这些标识符并非旨在防止浏览器工具从 URL 中删除跟踪组件，该过程是为了更好地保护人们的隐私免受某些类型的枚举和延迟攻击，同时保留持久链接的能力。
　　用户可以在 Facebook 的“隐私问题”页面上阅读有关隐私倡议的更多更新和见解： 查看全部

　　解决方案:审查指南征求意见 针对含算法特征或商业规则和方法特征的发明专利申请审查
　　关于公开征求对专利审查指南第二部分第九章修正案草案（征求意见稿）征求意见的通知
　　）。
　　为全面贯彻落实党中央、国务院关于加强知识产权保护的一系列指示精神，响应创新主体需求，进一步明确涉及人工智能、区块链、业务规则和方法的新领域、新业态的专利审查规则， 国家知识产权局起草并形成了《专利审查指南第二编第九章修正案草案（征求意见稿）》（以下简称《征求意见稿》）。为征求社会各界意见，现将草案及其起草说明公布。有关单位和社会各界人士可在2019年12月11日前选择下列方式之一，对《征求意见稿》的修改完善提出具体意见：
　　1. 电子邮件： 2. 传真： 3. 信件： 考试
　　北京市海淀区西土城路6号国家知识产权局条款法律司政策处 邮编100088（请在信封左下角注明“审查指南”） 附件： 1. 预告“专利审查指南第九章修正案第二部分（征求意见稿） 2.关于这些的注意事项
　　草案
　　对《专利审查指南》第二部分第九章的修正
　　（征求意见稿）。
　　6. 关于对含有算法特征或者商业规则、方法特征的发明专利申请进行审查的规定
　　专利申请
　　涉及人工智能、互联网+、大数据、区块链等的发明，一般收录
算法或商业规则方法等智力活动的规则和方法特征，本节旨在根据《专利法》及其实施细则对此类申请进行审查的特殊性作出规定。
　　6.1 审查基准
　　审查应针对要求保护的解决方案进行，即受权利要求限制的解决方案。在审查中，不应简单地将技术特征与算法特征或商业规则与方法特征分开，而应将权利要求中记载的所有内容作为一个整体进行分析，分析所涉及的技术手段、解决的技术问题和取得的技术效果。6.1.1
　　根据专利法第25.1.2条进行审查
　　权利要求涉及抽象算法或者简单的商业规则和方法，且不收录
任何技术特征的，属于专利法第二十五条第一款第2款规定的智力活动规则和方法，不得申请专利。例如，基于抽象算法建立数学模型且不收录
任何技术特征的方法，属于专利法第25.1.2条规定的不应授予专利权的情形。再如基于用户消费额度的返利方式，该方法所收录
的特征均为与返利规则相关的商业规则和方法特征，不收录
任何技术特征，属于专利法第25条第1款第2项第2项规定的不应授予专利权的情形。
　　如果索赔除
　　算法特征或者商业规则和方法外，还含有技术特征，权利要求整体上不是智力活动的规则或者方法的，依照专利法第二十五条第一款第2项的规定，不排除取得专利权的可能性。
　　6.1.2 根据专利法第2.2条进行审查如果权利要求的整体不属于专利法第25条第1款第2项第
　　2项排除专利权取得的情形，则有必要审查其是否属于专利法第2条第2款所指的技术方案。
　　在检查收录
算法特征或业务规则和方法特征的权利要求是否为技术解决方案时，有必要将权利要求中描述的所有特征作为一个整体来考虑。如果权利要求记载了利用自然规律的技术手段用于要解决的技术问题，并由此获得符合自然规律的技术效果的，则权利要求的解决方案属于专利法第二条第二款所述的技术方案。例如，如果权利要求中算法涉及的步骤与要解决的技术问题密切相关，例如算法处理的数据是技术领域具有确切技术意义的数据，并且算法的执行可以直接反映利用自然规律解决技术问题的过程， 并且取得了技术效果，那么通常权利要求的解决方案属于专利法第2条第2款所述的技术方案。
　　6.1.3 新颖性和创造性的审查在审查含有算法特征或者商业规则和方法特征的
　　发明专利申请的新颖性时，应当考虑权利要求中记录的所有特征，包括技术特征和算法特征或者商业规则和方法特征。审查同时收录
技术特征和算法特征或者商业规则和方法特征的
　　发明专利申请时，应当将功能上相互支持并在技术特征方面相互作用的算法特征或者商业规则和方法特征作为一个整体来考虑。“功能上相互支持、相互作用”是指算法特征或业务规则、方法特征与技术特征紧密结合，共同构成解决技术问题的技术手段，并能获得相应的技术效果。
　　例如，如果权利要求中的算法应用于特定的技术领域，可以解决特定的技术问题，那么可以认为算法特征和技术特征是
　　功能上相互支持，具有交互关系，算法特征成为所采取技术手段的组成部分，在进行创造性审查时应考虑算法特征对方案的贡献。
　　再如，如果权利要求中商业规则和方法特征的实施需要对技术手段进行调整或者改进，可以认为业务规则和方法特征和技术特征在
　　功能上是相互支持和相互作用的，在进行创造性审查时应考虑所述业务规则和方法特征对程序的贡献。
　　6.2 复习示例
　　下面，根据上述审查标准给出收录
算法特征或业务规则和方法特征的发明专利申请的审查示例。
　　（一）含有专利法第二十五条第一款第2项范围内的算法特征或者商业规则、方法特征的发明专利申请，不属于专利保护标的。
　　[例1]。
　　一种构建数学模型的方法
　　应用程序内容概述
　　发明专利申请的解决方案是一种构建数学模型的方法，该方法通过增加训练样本的数量来提高模型的准确性。建模方法还使用与第一分类任务相关的其他分类任务的训练样本作为第一分类任务数学模型的训练样本，从而增加训练样本的数量，并利用训练样本的特征值，提取特征值、标签值等来训练相关的数学模型， 最后得到第一个分类任务的数学模型，由于训练样本数量少，过度拟合，建模精度差。
　　申请的权利要求
　　一种构建数学模型的方法，其特征在于它包括以下步骤：
　　根据第一个分类任务的训练样本中的特征值和特征
　　在训练样本中至少一秒的分类任务中，对初始特征提取模型进行训练，得到目标特征提取模型。 其中，所述第二分类任务为与所述第一分类任务相关的其他分类任务;
　　根据目标特征提取模型，特征值
　　分别处理第一分类任务的每个训练样本，得到每个训练样本对应的提取特征值;
　　将提取的每个训练样本对应的特征值和标签值组成，提取训练样本，训练初始分类模型得到目标分类模型;
　　目标分类模型
　　目标特征提取模型由第一分类任务的数学模型组成。
　　分析和结论
　　该解决方案不涉及任何特定的应用领域，其中训练样本的特征值、提取的特征值、标签值、目标分类模型和目标特征提取模型是抽象的一般数据，利用训练样本的相关数据训练数学模型的处理过程是一系列抽象的数学方法步骤， 最终结果也是一个抽象的通用分类数学模型。该方案是一种抽象模型建立方法，其处理对象、过程和结果不涉及与具体应用领域的结合，属于抽象数学方法的优化，整个方案不收录
任何技术特征，本发明专利申请的解决属于第25条规定的智力活动规则和方法， 专利法第1条第（2）项，不属于专利保护的客体。
　　（二）含有算法特征或者商业规则、方法特征的发明专利申请，利用技术手段解决技术问题，取得技术效果的，属于专利法第二条第二款规定的技术方案，属于专利保护客体。
　　[例2]。
　　一种卷积神经网络模型的训练方法
　　应用程序内容概述
　　本发明专利申请在各级卷积层上对训练图像进行卷积操作和最大池化操作，并对最大池化操作后获得的特征图像进一步执行水平池化操作，使得经过训练的CNN模型在识别图像类别时可以识别任何大小的图像。
　　申请的权利要求
　　一种用于卷积神经网络CNN模型的训练方法，其中该方法包括：
　　获取待训练的CNN模型，初始模型参数包括各卷积层的初始卷积核、各层级卷积层的初始偏置矩阵、全连接层的初始
　　权重矩阵和全连层的初始偏置向量;
　　获取多个训练图像;在各级卷积层
　　上，各级卷积层上的初始卷积核和初始偏置矩阵分别对每个训练图像
　　进行卷积运算和最大池化运算，得到每个训练图像在卷积层各层次上的第一个特征图像;
　　每个训练图像的第一个特征图像水平
　　池化至少一个卷积层，获得每个卷积层上每个训练图像的第二特征图像。
　　确定功能
　　根据每个训练图像在卷积层上各水平的第二特征图像的向量;
　　根据初始权重矩阵和初始偏差向量对每个特征向量进行处理，得到每个训练图像的类概率向量;根据每个训练图像的
　　类概率向量和每个训练图像的初始类别，计算类误差;
　　基于分类误差，调整待训练CNN模型的模型参数;
　　基于调整后的模型参数和多个训练图像，继续模型参数调整过程，直到迭代次数达到预设次数;
　　模型参数
　　当迭代次数达到预设次数时获得的作为训练好的CNN模型的模型参数。
　　分析和结论
　　该解决方案是卷积神经网络CNN模型的一种训练方法，阐明了模型训练方法每一步处理的数据都是图像数据以及每一步如何处理图像数据，说明神经网络训练算法与图像信息处理密切相关。该方案解决了如何克服CNN模型只能识别固定尺寸图像的技术难题，该方案采用不同卷积层对图像进行不同处理和训练的手段，利用遵循自然规律的技术手段，获得训练好的CNN模型可以识别任意大小图像的技术效果。因此，发明专利申请的解决方案属于专利法第二条第二款规定的技术解决方案，属于专利保护的客体。
　　[例3]。
　　共享单车的使用方式
　　应用程序内容概述
　　发明专利申请提出了一种共享单车的使用方法，通过获取用户终端设备的位置信息和一定距离内的共享单车状态信息，使用户根据共享单车的状态信息准确找到可以骑行的共享单车， 通过提示骑行和引导用户停车，方便了租赁自行车的使用和管理，节省了用户的时间，改善了用户体验。
　　申请的权利要求
　　共享单车的使用方法，包括以下步骤：
　　步骤1：用户通过终端设备向服务器发送使用共享单车的请求;
　　步骤二，服务器获取用户的第一位置信息，查找共享单车在一定距离范围内对应的第一位置信息，以及这些共享单车的状态信息，并发送第二位置信息和
　　共享单车的状态信息发送给终端设备，其中，第一位置信息和第二位置信息通过GPS信号获取;
　　
　　第三步：根据终端设备上显示的共享单车位置信息，用户找到可以骑行的目标共享单车;
　　第四步：用户通过终端设备扫描目标共享单车车身上的二维码，通过服务器认证，获得目标共享单车使用权限;
　　第五步：服务器根据乘车情况向用户推送停车提示，如果用户将车停在指定区域，则以优惠资费计费，否则按标准资费计费;
　　步骤6，用户
　　根据提示选择，骑行结束后，用户执行共享单车的锁定动作，共享单车检测锁定状态并向服务器发送骑行完成的信号。
　　分析和结论该方案涉及共享单车的使用方法，解决共享单车
　　位置匹配、获得共享单车使用权的技术问题，程序实现对共享单车的控制和引导。用户使用共享单车
　　的行为通过在终端设备和服务器上执行计算机程序，体现对位置信息的控制、认证等数据的采集
和计算，利用遵循自然规律的技术手段实现共享单车位置的匹配，获得共享单车使用权等技术效果。因此，发明专利申请的解决方案属于专利法第二条第二款规定的技术解决方案，属于专利保护的客体。
　　[例4]。
　　一种区块链节点间通信方法及装置
　　应用程序内容概述
　　发明专利申请提出了一种区块链节点通信方法及装置，区块链中的业务节点可以根据通信请求中携带的CA证书和
　　在建立通信连接之前预先配置CA信任列表，从而降低业务节点泄露私有数据的可能性，提高存储在区块链中的数据的安全性。
　　申请的权利要求
　　1.一种区块链节点通信方法，即区块链区块链网络中的节点包括业务节点，
　　其中业务节点存储由CA证书颁发机构中心发送的证书，并预配置有CA信任列表，该方法包括：
　　第一个区块链节点收到通信请求由第二区块链节点
　　发送，其中通信请求携带第二区块链节点的第二证书;
　　确定与第二个证书对应的 CA ID;
　　确定第二个证书对应的 CA ID 是否在 CA 信任列表中;
　　如果是这样，则与第二个区块链节点建立通信连接;
　　否则，不会与第二个区块链节点建立通信连接。
　　分析和结论
　　问题在于
　　本申请要解决的是如何防止区块链业务节点泄露联盟链网络中的用户隐私数据，这是提高区块链数据安全性的技术难题;通过在通信请求中携带CA证书，并预先配置CA信任列表来确定是否建立连接，业务节点仅限于可以建立连接的对象，从而提高区块链中数据的安全性。因此，本申请中的区块链节点间通信方式实现了业务节点之间的安全通信，降低了业务节点泄露私有数据的可能性，属于专利法保护的对象。
　　（三）含有算法特征或者商业规则、方法特征的发明专利申请，不解决技术问题，或者不使用技术手段，或者未取得技术效果，不属于专利法第二条第二款规定的技术方案，因此不属于专利保护客体。
　　[例5]。
　　一种消费回扣的方法
　　应用程序内容概述
　　发明专利申请提出了一种消费返利的方法，通过计算机执行设定的返利规则，向消费的用户发放现金券，从而提高用户的消费意愿，为商家获取更多利润。
　　申请的权利要求
　　一种支出回扣方法，其特点是以下步骤：
　　当用户在商家购物时，商家会根据花费的金额返还一定数量的现金券，具体
　　商家使用计算机计算用户的消费金额，并且将用户的消费金额R划分为M区间，其中M为整数，范围1到范围M的值由小到大，
　　退回代金券的金额F也划分为M值，M值也从小到大排列;
　　根据计算机的计算值判断，当用户当前消费金额在范围1时，返利金额为第一值，当用户当前消费金额在范围2范围内时，返利金额为：
　　第二个值，依此类推，将相应范围的返利金额返回给用户。
　　分析和结论解决方案涉及计算机执行的消费返利
　　方法，它处理用户的消费数据，解决如何促进用户消费的问题，不构成技术问题，所使用的手段是通过计算机实现人为设定的返利规则，但计算机的限制只是
　　按照规定的规则根据用户的消费量来确定返利金额，不受自然规律的约束，所以不使用任何技术手段，程序的效果只是促进用户消费，而不是符合自然规律的技术效果。因此，发明专利申请不属于专利法第二条第二款规定的技术方案，不属于专利保护的客体。
　　[例6]。
　　一种基于电力消费特征的经济景气指数分析方法
　　应用程序内容概述
　　发明专利申请通过计算各种经济指标和电力消耗指标来评估待测试地区的经济景气指数。
　　申请的权利要求
　　一种基于区域电力消费特征的经济景气指数分析方法，其特征在于包括以下步骤：
　　根据待测地区的经济数据和用电量数据，选择经济初步指标
　　待测区域的景气指数，其中初步指标包括经济指标和用电量指标;
　　通过聚类分析方法和
　　时差相关分析方法，确定待检测区域的经济景气指数体系，包括领先指标、一致指标和滞后指标;
　　根据待测地区的经济景气指数体系
　　，采用综合指数计算方法得到待测地区的经济景气指数。
　　分析和结论
　　解决方案是一种经济景气指数分析计算方法，其处理对象是各种经济指标、电力指标、
　　问题解决的是判断经济趋势，不构成技术问题，所使用的手段都是根据经济数据和用电量数据来分析经济形势，只有按照经济规律进行经济管理手段，不受自然规律的约束，所以使用技术手段，方案最终可以得到经济景气指数来评价经济， 它不是符合自然规律的技术效果，因此解决方案不属于专利法第2条第2款规定的技术解决方案，不属于专利保护的客体。
　　（4） 在进行创造性审查时，应考虑算法特征或商业规则和方法特征对解决的贡献，这些特征在功能上相互支持并与技术特征相互作用。
　　[例7]。
　　一种基于多传感器信息的人形机器人坠落状态检测方法
　　应用程序内容概述
　　现有的人形机器人行走时坠落状态的判断主要使用姿态信息或ZMP点位置信息，但这种判断并不全面。发明专利申请提出了一种基于多个传感器的人形机器人坠落状态检测方法，该方法实时集成了机器人步态阶段信息、姿态信息和ZMP点位置信息，并利用模糊决策系统确定机器人当前的稳定性和可控性，从而为机器人的下一步动作提供参考。
　　申请的权利要求
　　一种基于多传感器信息的人形机器人跌落状态检测方法，其特点是以下步骤：
　　（1）融合姿态传感器信息、零扭矩点ZMP传感器信息和机器人行走阶段信息，建立分层传感器信息融合模型，实现人形机器人的稳定性确定;
　　（2）前后模糊决策系统及左右
　　分别采用模糊决策系统确定机器人在前后方向和左右方向的稳定性，具体步骤如下：
　　（1）根据机器人支撑脚与地面的接触和离线步态规划确定机器人行走阶段;
　　（2）采用模糊推理算法对ZMP点的位置信息进行模糊处理;
　　（3）采用模糊推理算法对机器人的俯仰角或滚动角进行模糊化;
　　（4）确定输出隶属函数;（5）按步骤（
　　1）~步骤（4）确定模糊推理规则;
　　（6）去模糊。
　　分析和结论
　　对比文件1公开了基于人形机器人传感器信息的步态规划和反馈控制，并根据
　　相关融合信息，包括根据多个传感器信息对人形机器人的稳定状态评估，即对比文件1公开了本发明专利申请解决方案中步骤（1）中的步骤（1），与比较文件1中采用步骤（2）特定算法的模糊决策方法进行了区分。
　　基于应用文档，该方案有效提高了机器人的稳态及其可能下落方向的可靠性和准确性。以姿态信息、ZMP点位置信息和行走阶段信息为输入参数，通过模糊算法输出确定人形机器人稳定状态的信息，为进一步准确的姿态调整指令提供了依据。因此，上述算法特征和技术特征在功能上相互支持并具有交互关系，并且相对于比较文件1，确定本发明实际解决的技术问题是：如何判断机器人的稳定状态并准确预测其可能的下降方向。上述模糊决策的实现算法及其对机器人稳态应用的判断在其他比较文献中未公开，也不是本领域的常识，现有技术整体上不存在使本领域技术人员改进比较文件1以获得要求保护的发明的灵感， 并且要求保护的发明相对于最接近的现有技术是非显而易见的和创造性的。
　　[例8]。
　　基于协同进化和多群体遗传算法的多机器人路径规划系统
　　应用程序内容概述现有的多移动机器人运动规划
　　控制结构通常采用集中规划方法，将多机器人系统视为具有多个自由度的复杂机器人，系统中的规划器统一完成所有机器人的运动规划，存在计算时间长、实用性差的缺点。发明专利申请提供了一种基于协同进化和多群体遗传算法的多机器人路径规划系统。机器人的每条路径都由一条染色体表示，以最短距离、平滑度和安全距离作为设计路径适应度函数的三个目标，利用Messy遗传算法优化每个机器人的最优路径。
　　
　　申请的权利要求
　　基于协同进化和多群体遗传算法的多机器人路径规划系统，其特点是：（
　　1）机器人的路径由染色体表示，染色体以节点链表的形式表示，即[（x，y），time]，（x，y，time
　　∈R），（x，y）表示机器人的位置坐标，时间表示从前一个节点移动该节点所需的时间消耗，起始节点的时间等于0，除初始节点的初始位置和结束节点的目标位置外，每个机器人个体的染色体是固定的。中间节点和节点的数量都是可变的;（
　　2）每个机器人机器人（i）的路径路径（j）的适应度函数表示为φ（pi，j）：|| pi，j|| =Distance（pi，j）+ws×smooth（pi，j）
　　+wt×Time（pi，j）
　　这些 pi，j|| ||是距离、平滑度和时间消耗的线性组合，ws 是平滑度加权因子，wt 是时间加权因子;距离（pi，j）表示路径长度，smooth（pi，j）表示路径的平滑度，Time（pi，j）表示路径pi，j的时间消耗;每个机器人使用所描述的适应度函数，并通过Messy遗传算法优化最佳路径。
　　分析和结论
　　对比文件1公开了一种基于协同进化的多机器人路径规划方法，其中使用自适应混沌算法获得最优路径。发明专利申请的解决方案与对比文件1的区别在于通过Messy遗传算法实现多机器人路径规划。
　　在该解决方案中，利用适应度函数约束Messy遗传算法，通过遗传算法优化后得到机器人的前向路径，算法特征和
　　该解决方案的技术特点相互支持，在功能上相互交互，从而实现机器人前进路径的优化。与对比文献1相比，确定本发明实际解决的技术问题是：如何使机器人基于特定算法在最优路径上前进。对比文件2揭示了包括混沌算法在内的多种遗传算法可用于路径优化，使用Messy遗传算法可以解决其他算法的缺点，获得更合理的优化结果。基于对比文件2给出的启示，本领域技术人员有动机将比较文件1和比较文件2结合起来，得到发明专利申请的技术方案。因此，要求保护的发明相对于比较文件1和比较2的组合是显而易见的，并且不具有创造性。
　　[例9]。
　　一种物流配送方法
　　应用程序内容概述
　　在货物配送过程中，
　　如何有效提高商品配送效率，降低配送成本，是发明专利申请所要解决的问题。物流人员到达配送地点后，可以通知特定配送区域内的多个订货用户以服务器推送消息的形式同时提货到订货用户终端，从而提高配送效率，降低配送成本。
　　申请的权利要求
　　一种通过分批通知用户取货来提高物流配送效率的物流配送方法，该方法包括：
　　当调度员
　　需要通知用户取货的，调度员通过手持物流终端向服务器发送货物已到达的通知;
　　服务器分批通知调度员交货范围内的所有订单;
　　收到通知的订购用户根据通知信息完成取件;
　　其中，用于批量通知的服务器的具体实现方式是，服务器根据配送操作员ID确定配送距离范围内的所有目标订单信息，并以物流终端的当前位置、物流终端的当前位置和到达时携带的相应配送范围为中心。
　　由物流终端发送通知，然后将通知信息推送到订单用户终端中所有目标订单信息中对应的订单用户账户。
　　分析和结论
　　比对文件1公开了一种物流配送方法，其中物流终端扫描配送单上的条形码，并将扫描到的信息发送到服务器，通知服务器货物已经到达;服务器获取扫描信息中的排序用户信息，并向排序用户发送通知;收到通知的订购用户根据通知信息完成取件。
　　两者之间的区别
　　本发明专利申请与对比文件1的解决方案是，批量通知用户订单的到来，为了实现批量通知，方案中服务器、物流终端和用户终端之间的物理架构和数据通信都进行了相应的调整，因此取件通知规则和具体的批量通知实现方法在功能上相互支持，具有交互关系。与比较文档1相比，确定本发明实际解决的技术问题是如何提高订单到达通知的效率，从而提高货物配送的效率。从用户的角度来看，用户可以更快地获得有关订单到达的信息，这也改善了用户体验。由于现有技术不具备对上述比较文献1的技术启发进行改进，以获得用于发明专利申请的解决方案，该解决方案具有创造性。
　　[例10]。
　　动态视角演变的视觉方法
　　应用程序内容概述近年来，人们
　　越来越多地通过社交平台表达自己的观点和想法，人们在社交平台上发布的情感内容反映了人们观点的演变，可以看到事件的发展、变化和趋势。该发明专利申请通过自动采集
人们在社交平台上发布的信息并分析其中的情绪，通过计算机绘制情绪可视化地图，帮助人们更好地了解不同时期的情绪强度和随时间演变的趋势。
　　申请的权利要求
　　一种可视化动态视图演变的方法，该方法包括：
　　步骤1）情感隶属程度和情感分类信息
　　在采集
的信息采集
中由计算设备确定，信息的情感隶属程度表示信息属于某种情感分类的概率;
　　步骤2）情绪分类为正面、中性或负面，具体分类方法是：如果点赞数p除以踩在值r上的点数大于阈值a，则认为情绪分类为正，如果值r小于阈值b，则情感分类为
　　如果值 b ≤r ≤a，则情绪分类为中性，其中 a >b;
　　步骤3）基于信息的情绪分类，
　　自动建立信息集合的情感可视化图形的几何布局，横轴表示信息生成时间，纵轴表示属于每个情感分类的信息数量;
　　步骤4）计算设备根据信息的情感隶属关系对已建立的几何布局进行着色，并根据信息颜色的梯度顺序对各情感分类层上的信息进行着色。
　　分析和结论
　　比较文件1公开了一种基于情感的可视化分析方法，其中时间表示为横轴，不同时间的每个色带的宽度代表当时的情感度量，不同的色带代表不同的情绪。
　　这
　　本发明专利申请的解决方案与比较文件1的不同之处在于步骤2中设置的情绪的具体分类规则）。从应用内容可以看出，即使情感分类规则不同，对应数据着色的技术手段也可以不变，即上述情感分类规则和具体的可视化方法在功能上并不相互支持和交互。与对比文献1相比，发明专利申请仅提出了情绪分类的新规则，并未实际解决任何技术问题，对现有技术没有做出技术贡献。因此，要求保护的发明不具有相对于比较文件1的创造性步骤。
　　6.3 描述和权利要求的准备
　　6.3.1 说明书的准备
　　含有算法特征或者业务规则、方法特征的发明专利申请说明书，应当清楚、完整地说明发明为解决其技术问题而采用的解决方案。在技术特征的基础上，解决方案还可以包括算法特征或业务规则和方法特征，它们在功能上相互支持并与技术特征交互。
　　规范应明确技术特性与功能支持和交互的算法特征或业务规则与方法特性如何相互作用并产生有益效果。例如，在收录
算法特征时，抽象算法应与特定的技术领域相结合，至少一个参数的定义应与技术领域的特定数据相关联;当包括业务规则和方法的特点时，应详细描述和解释解决技术问题的整个过程，以便技术领域的技术人员能够按照描述中描述的内容实现本发明的解决。
　　说明书应清楚客观地陈述本发明与现有技术相比的有益效果，如质量、准确性或效率的提高，系统内部性能的改进等。如果从用户的角度，客观上改善用户体验，也可以在说明书中解释，在这种情况下，还应该说明构成本发明的技术特征，以及在其功能中相互支持并相互作用的算法特征或业务规则和方法特征如何带来或产生用户体验的改善。
　　6.3.2 索赔的准备
　　这
　　权利要求书中含有算法特征或者商业规则、方法特征的发明专利申请，应当以说明书为依据，简明扼要地界定所要求保护的专利保护范围。权利要求应当记录功能上相互支持并与技术特征相互作用的技术特征和算法特征或者业务规则和方法特征。
　　附件2：
　　关于《专利审查指南》第二部分第九章
　　修订草案说明（征求意见稿）
　　）。
　　一、修改后台和主进程
　　随着互联网技术和信息技术的不断发展，涉及新技术、新领域、新业态的发明创造不断涌现。因此，为全面贯彻落实党中央、国务院关于加强知识产权保护的一系列指示精神，响应创新主体进一步明确涉及人工智能等新技术、新领域的专利申请审查规则的需要，支持创新驱动发展宗旨， 国家知识产权局已启动《专利审查指南》的相关修订工作。
　　涉及新技术的发明专利申请，例如
　　人工智能和新领域、新业态与其他发明专利申请明显不同，其特点是，在发明解决方案中，除技术外，一般还收录
算法或商业方法等智力活动规则和方法的特征。修订后的《指南》明确了此类申请的审查规则，并通过典型案例进行了解释。一方面，将审查实践中探索的有益做法提升为《专利审查指南》，有助于统一审查标准，同时为如何更好地撰写此类申请、促进申请质量的提高提供指导。另一方面，明确规定此类应用的特点应与算法或商业方法等智力活动规则的技术特征和特征相结合，正确把握发明的技术贡献，从而提高审查的质量和效率，促进新兴技术和新业态、新模式的进一步发展和成长。应当指出的是，修正案的指导思想是在现行《专利法》和《实施细则》的框架内及时响应实际需求和及时解决实际问题，同时尽可能与现行指南第9章的框架结构保持一致，以便于审查员和公众的理解。
　　在充分调查社会需求和一线审查员具体工作实践的基础上，国家知识产权局制定了《专利审查指南》第二部分第九章修正草案（
　　初稿）于2019年9月中旬，征求局内有关部门意见，并专门召开创新主体和代理人咨询会，听取各方意见，经完善后形成《专利审查指南第二编第九章修正草案（征求意见稿）》及其说明。
　　2. 主要修订
　　这
　　《修订草案》在第二部分第九章中专门增加了第六节，根据具体情况，明确了此类申请的授权、新颖性和创造性、权利要求和说明书的起草。主要变化如下：
　　（1）强调专利审查中的技术特征和算法特征、商业规则和方法特征不应简单分开各复审
　　条款的一般原则在第6.1节“复审标准”一节中确立：“在审查中，不应将技术特征与算法或商业规则与方法特征分开，而应将权利要求中记录的所有内容作为一个整体进行分析，分析所涉及的技术手段、解决的技术问题和产生的技术效果。"
　　（2） 明确根据专利法第二十五条的规定，不排除技术特征的纳入如果权利要求
　　除算法特征或者商业规则和方法外还收录
技术特征，则权利要求整体上不是智力活动的规则和方法，不应根据专利法第二十五条第一款第2项的规定排除获得专利权的可能性。
　　（3） 明确专利法第二条的审查标准
　　对于判决
　　对于是否为技术方案，审查标准在《指南》总章技术问题、技术手段和技术效果“三要素”的判断方法下进一步细化。只要该算法能结合特定的技术应用领域解决一定的技术问题，就可以通过专利第2条的审查。
　　（4）考虑算法特征与业务规则和方法特征在技术特征方面相互作用、功能上相互支持对创造力的技术贡献审查同时收录
技术特征和算法特征或者商业规则和方法
　　的发明专利申请时，应当将功能上相互支持并与技术特征相互作用的算法特征或者商业规则和方法作为一个整体来考虑。修正案草案进一步解释了其含义。
　　（5）从正面和负面两个方面增加了10个关于授权主题和创造性的审查案例
　　实施例1为抽象模型构建方法，不涉及与具体应用领域的组合，不收录
技术特征，属于专利法第25.1.2条规定的智力活动规则和方法。示例 2、3 和 4 属于人工智能、商业模式和区块链领域的授权对象，而示例 5 和 6 是反面示例。例7和例9是创造性是由于将技术特征的功能支持和相互作用作为一个整体考虑而引起的情况，以及由于相应的内容已在比较文件中公开而使技术特征不具有创造性的情况。
　　（六）细化说明书和权利要求书的起草要求
　　进一步细化了编写手册的要求，例如提及算法如何与特定技术领域相结合，并指定用户体验效果。权利要求书的起草强调，权利要求应当记录技术特征与功能上相互支持、与技术特征相互作用的算法或者业务规则和方法。
　　小技巧:京东关键词链接在哪复制？关键词优化技巧
　　大家应该都知道，京东的每一个商品都有一个链接，就是为了方便消费者找到我们的商品。作为消费者，如果看到满意的商品，可以复制链接分享出去。
　　1. 关键词 链接复制到哪里了？
　　1、打开手机【京东】APP，在商城中找到您想要的商品，点击商品页面；
　　
　　2. 产品页面右上角有分享图标，点击分享图标。点击后，在屏幕下方弹出的选项中点击【复制链接】。复制完成后，屏幕上会短暂提示【复制成功】！
　　2. 关键词 优化技术
　　1、对于京东关键词的选择，作为商家，这个时候需要多关注与商品相关度高的流量词和热词，一网打尽。选词一般有三种方法，一是通过京东搜索引擎选择合适的关键词，二是从京东商智的行业关键词中选择，最后一种是选择对 关键词 通过 Express 的产品推送词。所以在关键词的区域，采集
的越多，组合的可能性就越多，所以关键词的采集
千万不能马虎。
　　
　　2.完成关键词的采集后，下一步就是对采集到的关键词进行筛选。筛选所有采集
的关键词，然后选择与您的产品最相关、流量大、引流效果好的关键词。
　　3.标题越多越好。至少在京东，标题越短，得分越高。所以在组合关键词的时候，一定要多注意标题的长度。此外，还需要注意关键词之间的距离，以及关键词的顺序，这些都会影响题目的得分。一般来说，关键词的组合多为品牌词+热搜词/流量词+产品名称+产品卖点+规格+关键词。
　　在京东，一件商品能获得多少流量，与商家的推广方式有关。同时，如果为产品设置链接，方便消费者分享我们的产品，也有助于增加产品流量。 查看全部

　　解决方案:专利审查指南修改草案 | 关于算法和商业规则的10个案例
　　说明一、修订的背景和主要过程 随着互联网技术和信息技术的不断发展，涉及新技术、新领域、新业态的发明创造不断涌现。因此，为全面贯彻落实党中央、国务院关于加强知识产权保护的一系列指示精神，响应创新主体进一步明确涉及人工智能等新技术、新领域的专利申请审查规则的需要，支持创新驱动发展宗旨， 国家知识产权局已启动《专利审查指南》的相关修订工作。涉及人工智能等新技术和新领域、新业态的发明专利申请与其他发明专利申请明显不同，其特点是，在发明解决方案中，除技术外，一般还收录
算法或商业方法等智力活动规则和方法的特征。修订后的《指南》明确了此类申请的审查规则，并通过典型案例进行了解释。一方面，将审查实践中探索的有益做法提升为《专利审查指南》，有助于统一审查标准，同时为如何更好地撰写此类申请、促进申请质量的提高提供指导。另一方面，明确规定此类应用的特点应与算法或商业方法等智力活动规则的技术特征和特征相结合，正确把握发明的技术贡献，从而提高审查的质量和效率，促进新兴技术和新业态、新模式的进一步发展和成长。应当指出的是，修正案的指导思想是在现行《专利法》和《实施细则》的框架内及时响应实际需求和及时解决实际问题，同时尽可能与现行指南第9章的框架结构保持一致，以便于审查员和公众的理解。
　　在充分调查社会需求和一线审查员具体工作实践的基础上，国家知识产权局制定了《专利审查指南》第二部分第九章修正草案（
　　初稿）于2019年9月中旬，征求局内有关部门意见，并专门召开创新主体和代理人咨询会，听取各方意见，经完善后形成《专利审查指南第二编第九章修正草案（征求意见稿）》及其说明。二、《主要修正案草案》在第二部分第九章中专门增加了第六节，根据具体情况，明确了申请的授权、新颖性和创造性、权利要求和说明书撰写等主题。主要修改如下：（1）强调专利审查中不应简单地将技术特征和算法特征、业务规则和方法特征分开 第6.1节“审查标准”确立了各审查条款的一般原则：“在审查中，不应将技术特征与算法或者商业规则和方法特征分开， 但权利要求书记载的所有内容都要整体分析，涉及的技术手段、解决的技术问题和产生的技术效果都要进行分析。“（2）明确了根据专利法第二十五条不排除技术特征的加入，如果权利要求除算法特征或者商业规则和方法外还含有技术特征，则权利要求整体不是智力活动的规则和方法，根据专利法第二十五条第一款第2项的规定，不得排除获得专利权的可能性。（3）明确了专利法第2条审查标准是否为技术方案的判断，进一步细化了指南总章技术问题、技术手段和技术效果“三要素”判断方法下的审查标准。
　　只要该算法能结合特定的技术应用领域解决一定的技术问题，就可以通过专利第2条的审查。（4） 考虑到算法特征与在技术特征和功能方面相互作用的商业规则和方法特征对发明步骤的技术贡献，在审查同时收录
技术特征和算法特征的发明专利申请时，应当将功能上相互支持并与技术特征相互作用的算法特征或商业规则和方法作为一个整体考虑，或者 商业规则和方法。修正案草案进一步解释了其含义。（5）从正反两方面增加了10个关于资助主题和创造性的审查案例，实施例1为抽象模型建立方法，不涉及与具体应用领域的结合，不收录
技术特征，属于专利法第25条第1款第2项规定的智力活动规则和方法。示例 2、3 和 4 属于人工智能、商业模式和区块链领域的授权对象，而示例 5 和 6 是反面示例。例7和例9是创造性是由于将技术特征的功能支持和相互作用作为一个整体考虑而引起的情况，以及由于相应的内容已在比较文件中公开而使技术特征不具有创造性的情况。（6）细化说明书和权利要求书的编写要求，进一步细化说明书的编写要求，如提及如何将算法与特定技术领域相结合，明确用户体验效果等。权利要求书的起草强调，权利要求应当记录技术特征与功能上相互支持、与技术特征相互作用的算法或者业务规则和方法。
　　附件1：《专利审查指南》第二部分第九章修正案草案（征求意见稿） 6.《含有算法特征或者业务规则和方法特征的发明专利申请审查规定》涉及人工智能、互联网+、大数据、区块链等发明专利申请，一般收录
算法或业务规则和方法等智力活动的规则和方法特征，本节旨在根据 专利法及其实施细则。6.1 审查基准审查应针对要求保护的解决方案进行，即权利要求定义的解决方案。在审查中，不应简单地将技术特征与算法特征或商业规则与方法特征分开，而应将权利要求中记载的所有内容作为一个整体进行分析，分析所涉及的技术手段、解决的技术问题和取得的技术效果。6.1.1 根据《专利法》第25.1.2条的规定，权利要求涉及抽象算法或者简单的商业规则和方法，且不收录
任何技术特征的，属于专利法第25.1.2条规定的智力活动规则和方法，不得申请专利。例如，基于抽象算法建立数学模型且不收录
任何技术特征的方法，属于专利法第25.1.2条规定的不应授予专利权的情形。再如基于用户消费额度的返利方式，该方法所收录
的特征均为与返利规则相关的商业规则和方法特征，不收录
任何技术特征，属于专利法第25条第1款第2项第2项规定的不应授予专利权的情形。
　　如果索赔除算法特征或者
　　商业规则和方法外，还含有技术特征，权利要求整体上不是智力活动的规则或者方法的，依照专利法第二十五条第一款第2项的规定，不排除取得专利权的可能性。 6.1.2 根据专利法第2.2条进行审查如果权利要求的整体权利要求不属于第25.1.2条的情况专利法排除了专利权的取得，有必要审查其是否属于专利法第2.2条所指的技术方案。在检查收录
算法特征或业务规则和方法特征的权利要求是否为技术解决方案时，有必要将权利要求中描述的所有特征作为一个整体来考虑。如果权利要求记载了利用自然规律的技术手段用于要解决的技术问题，并由此获得符合自然规律的技术效果的，则权利要求的解决方案属于专利法第二条第二款所述的技术方案。例如，如果权利要求中算法涉及的步骤与要解决的技术问题密切相关，例如算法处理的数据是技术领域具有确切技术意义的数据，并且算法的执行可以直接反映利用自然规律解决技术问题的过程， 并且取得了技术效果，那么通常权利要求的解决方案属于专利法第2条第2款所述的技术方案。6.1.3 新颖性和创造性的审查 审查含有算法特征或者商业规则和方法特征的发明专利申请的新颖性时，应当考虑权利要求书中描述的所有特征，包括技术特征和算法特征或者商业规则和方法特征。审查同时收录
技术特征和算法特征或者商业规则和方法特征的
　　发明专利申请时，应当将功能上相互支持并在技术特征方面相互作用的算法特征或者商业规则和方法特征作为一个整体来考虑。“功能上相互支持、相互作用”是指算法特征或业务规则、方法特征与技术特征紧密结合，共同构成解决技术问题的技术手段，并能获得相应的技术效果。例如，如果权利要求中的算法应用于特定的技术领域，能够解决特定的技术问题，那么可以认为算法特征和技术特征在功能上是相互支持的，具有交互关系，算法特征成为所采取技术手段的组成部分， 在进行创造性审查时应考虑算法特征对方案的贡献。再如，如果权利要求中商业规则和方法特征的实现需要对技术手段进行调整或改进，则可以认为业务规则和方法特征与技术特征在功能上是相互支持和相互作用的，在进行创造性审查时应考虑所述业务规则和方法特征对程序的贡献。6.2 审查示例 以下根据上述审查标准，对含有算法特征或业务规则和方法特征的发明专利申请给出审查实例。（一）含有专利法第二十五条第一款第2项范围内的算法特征或者商业规则、方法特征的发明专利申请，不属于专利保护标的。
　　【实施例1】一种建立数学模型的方法应用内容概述发明专利申请的解决方案是通过增加训练样本的数量来提高模型精度的数学模型的方法。建模方法还使用与第一分类任务相关的其他分类任务的训练样本作为第一分类任务数学模型的训练样本，从而增加训练样本的数量，并利用训练样本的特征值，提取特征值、标签值等来训练相关的数学模型， 最后得到第一个分类任务的数学模型，由于训练样本数量少，过度拟合，建模精度差。3.根据权利要求所述的一种建立数学模型的方法，其特征在于，其特征在于，其包括以下步骤：根据所述第一分类任务的训练样本中的特征值和所述第二分类任务的训练样本中的特征值，对所述初始特征提取模型进行训练，得到所述目标特征提取模型;其中，第二分类任务是与第一分类任务相关的其他分类任务;根据目标特征提取模型，分别处理第一分类任务各训练样本中的特征值，得到各训练样本对应的提取特征值;将提取的每个训练样本对应的特征值和标签值组成，提取训练样本，训练初始分类模型得到目标分类模型;目标分类模型和目标特征提取模型由第一个分类任务的数学模型组成。分析与结论 该方案不涉及任何具体的应用领域，其中训练样本的特征值、提取的特征值、标签值、目标分类模型和目标特征提取模型是抽象的通用数据，利用训练样本的相关数据训练数学模型的处理过程是一系列抽象的数学方法步骤， 最终结果也是一个抽象的通用分类数学模型。
　　该方案是一种抽象模型建立方法，其处理对象、过程和结果不涉及与具体应用领域的结合，属于抽象数学方法的优化，整个方案不收录
任何技术特征，本发明专利申请的解决属于第25条规定的智力活动规则和方法， 专利法第1条第（2）项，不属于专利保护的客体。（二）含有算法特征或者商业规则、方法特征的发明专利申请，利用技术手段解决技术问题，取得技术效果的，属于专利法第二条第二款规定的技术方案，属于专利保护客体。【实施例2】卷积神经网络模型训练方法的应用内容概述 本发明专利申请对卷积层各级训练图像进行卷积运算和最大池化运算，并对最大池化运算后获得的特征图像进一步进行水平池化运算，使训练好的CNN模型在识别图像类别时能够识别出任何大小的图像。 申请要求一种卷积神经网络CNN模型的训练方法，其特征在于，该方法包括：获取待训练CNN模型的初始模型参数，初始模型参数包括各卷积层的初始卷积核、各层级卷积层的初始偏置矩阵、全连接层的初始权重矩阵和全连接层的初始偏置向量;获取多个训练图像;在各层级卷积层上，利用各层级卷积层的初始卷积核和初始偏置矩阵分别对各训练图像进行卷积运算和最大池化运算，得到各层次卷积层上各训练图像的第一特征图像;对至少一个卷积层上每个训练图像的第一特征图像进行水平池化，得到每个卷积层上每个训练图像的第二特征图像。根据各水平卷积层上每个训练图像的第二特征图像确定每个训练图像的特征向量;根据初始权重矩阵和初始偏差向量对每个特征向量进行处理，得到每个训练图像的类概率向量;根据每个训练图像的类概率向量和每个训练图像的初始类别，计算类误差;基于分类误差，调整待训练CNN模型的模型参数;基于调整后的模型参数和多个训练图像，继续模型参数调整过程，直到迭代次数达到预设次数;迭代次数达到预设次数时得到的模型参数作为训练好的CNN模型的模型参数。
　　
　　分析与结论 该解决方案是卷积神经网络CNN模型的一种训练方法，阐明了模型训练方法每一步处理的数据都是图像数据以及每一步如何处理图像数据，体现了神经网络训练算法与图像信息处理密切相关。该方案解决了如何克服CNN模型只能识别固定尺寸图像的技术难题，该方案采用不同卷积层对图像进行不同处理和训练的手段，利用遵循自然规律的技术手段，获得训练好的CNN模型可以识别任意大小图像的技术效果。因此，发明专利申请的解决方案属于专利法第二条第二款规定的技术解决方案，属于专利保护的客体。【例3】共享单车使用概述 申请内容发明专利申请提出了一种共享单车的使用方法，通过获取用户终端设备的位置信息和一定距离内的共享单车状态信息，使用户根据共享单车的状态信息准确找到可以骑行的共享单车， 通过提示骑行和引导用户停车，方便了租赁自行车的使用和管理，节省了用户的时间，改善了用户体验。申请要求一种共享单车的使用方法，其特征在于其包括以下步骤：第一步，用户通过终端设备向服务器发送使用共享单车的请求;步骤二，服务器获取用户的第一位置信息，查找与第一位置信息对应的一定距离范围内的共享单车的第二位置信息，以及这些共享单车的状态信息，并将共享单车的第二位置信息和状态信息发送给终端设备，其中第一位置信息和第二位置信息通过GPS信号获取;第三步：根据终端设备上显示的共享单车位置信息，用户找到可以骑行的目标共享单车;第四步：用户通过终端设备扫描目标共享单车车身上的二维码，通过服务器认证，获得目标共享单车使用权限;第五步：服务器根据乘车情况向用户推送停车提示，如果用户将车停在指定区域，则以优惠资费计费，否则按标准资费计费;步骤6，用户根据提示进行选择，骑行结束后，用户对共享单车进行锁定动作，共享单车检测锁定状态并向服务器发送骑行完成的信号。
　　分析与结论 解决方案涉及共享单车的使用方法，解决共享单车位置匹配并获得共享单车使用权的技术问题，
　　方案通过在终端设备和服务器上执行计算机程序，实现对用户使用共享单车行为的控制和引导，体现对位置信息的控制、认证等数据采集和计算，利用遵循自然规律的技术手段实现共享单车位置的匹配， 获得共享单车使用权等技术效果。因此，发明专利申请的解决方案属于专利法第二条第二款规定的技术解决方案，属于专利保护的客体。【实施例4】区块链节点间通信方法及设备应用内容概述本发明专利申请提出了一种区块链节点通信方法及装置，其中区块链中的业务节点可以在建立通信连接之前，根据通信请求中携带的CA证书和预配置的CA信任列表判断是否建立通信连接， 从而降低业务节点泄露私有数据的可能性，提高存储在区块链中的数据的安全性。权利要求1.一种区块链节点通信方法，所述区块链网络中的区块链节点包括业务节点，其中，所述业务节点存储由CA授权中心发送的证书，并预配置有CA信任列表，该方法包括：所述第一区块链节点接收所述第二区块链节点发送的通信请求，其中所述通信请求携带所述第二区块链节点的第二证书;确定与第二个证书对应的 CA 标识;确定第二个证书对应的 CA ID 是否存在于CA信任列表中;如果是这样，则与第二个区块链节点建立通信连接;否则，不会与第二个区块链节点建立通信连接。
　　分析与结论 本申请需要解决的问题是如何防止区块链业务节点在联盟链网络中泄露用户隐私数据，这是提高区块链数据安全性的技术问题;通过在通信请求中携带CA证书，并预先配置CA信任列表来确定是否建立连接，业务节点仅限于可以建立连接的对象，从而提高区块链中数据的安全性。因此，本申请中的区块链节点间通信方式实现了业务节点之间的安全通信，降低了业务节点泄露私有数据的可能性，属于专利法保护的对象。（三）含有算法特征或者商业规则、方法特征的发明专利申请，不解决技术问题，或者不使用技术手段，或者未取得技术效果，不属于专利法第二条第二款规定的技术方案，因此不属于专利保护客体。【实施例5】一种消费返利方法应用内容概述发明专利申请提出了一种消费返利方法，通过计算机实现设定的返利规则，向用户发放消费现金券，从而提高用户的消费意愿，为商家获取更多利润。该应用程序要求一种消费返利的方法，其特征在于它包括以下步骤：当用户在商家消费时，商家根据消费金额返还一定的现金券，具体来说，商家使用计算机计算用户的消费金额，并将用户的消费金额R除以M区间， 其中M为整数，范围1到范围M的值由小到大，返还代金券的金额F也分为M值，M值也从小到大排列;根据计算机的计算值，判断当用户当前消费金额在范围1时，返利金额为第一值，当用户当前消费金额在范围2范围内时，返利金额为第二值，依此类推，将相应范围的返利金额返还给用户。
　　分析与结论 解决方案涉及计算机执行的消费返利方法，该方法处理用户的消费数据，要解决的问题是如何促进用户的消费，这并不构成技术问题，所使用的手段是通过计算机实现人为设定的返利规则，
　　但计算机的限制只是按照规定的规则，根据用户的消费量来确定返利金额，不受自然规律的约束，因此没有使用任何技术手段。该程序获得的效果只是促进用户消费，而不是符合自然规律的技术效果。因此，发明专利申请不属于专利法第二条第二款规定的技术方案，不属于专利保护的客体。【实施例6】一种基于电力消费特征的经济景气指数分析方法 应用内容概述 发明专利申请通过统计各种经济指标和用电量指标来评估待测地区的经济景气指数。基于区域用电量特征的声称经济景气指数分析方法，其特征在于其包括以下步骤：根据待测区域的经济数据和用电量数据，选取待测地区经济景气指数的初步指标，其中初步指标包括经济指标和用电量指标;通过聚类分析法和时差相关分析法，确定待检测区域经济景气指数体系，包括领先指标、一致指标和滞后指标;根据待测区域的经济景气指数体系，采用综合指数计算方法得到被测地区的经济景气指数。分析与结论 解决方案是一种经济景气指数分析计算方法，其处理对象是各种经济指标、用电指标，所解决的问题就是判断经济走势，不构成技术问题，采用的手段是根据经济数据和用电量数据来分析经济形势， 只有按照经济规律使用经济管理手段，不受自然规律的约束，所以不使用技术手段，程序最终才能获得经济景气指数来评价经济，它不是符合自然规律的技术效果，因此解决方案不属于专利法第2条第2款规定的技术解决方案，也不是专利保护的客体。
　　（4）在进行创造性审查时，应考虑在功能上相互支持并与技术特征相互作用的算法特征或商业规则和方法特征对解决的贡献。 【例7】一种基于多传感器信息的人工机器人跌倒状态检测方法 应用内容概述 现有的人形机器人行走时坠落状态的判断主要使用姿态信息或ZMP 点位置信息，但这个判断并不全面。发明专利申请提出了一种基于多个传感器的人形机器人坠落状态检测方法，该方法实时集成了机器人步态阶段信息、姿态信息和ZMP点位置信息，并利用模糊决策系统确定机器人当前的稳定性和可控性，从而为机器人的下一步动作提供参考。权利要求2.根据权利要求所述的一种基于多传感器信息的人形机器人跌落状态检测方法，其特征在于，该方法收录
以下步骤：（1）将姿态传感器信息、零扭矩点ZMP传感器信息和机器人行走阶段信息融合，建立分层传感器信息融合模型，实现人形机器人的稳定性确定;（2）采用前后模糊决策系统和左右模糊决策系统分别确定机器人在前后和左右方向的稳定性，具体步骤如下：（1）根据机器人支撑脚与地面的接触和离线步态规划确定机器人行走阶段;（2）采用模糊推理算法对ZMP点的位置信息进行模糊处理;（3）采用模糊推理算法对机器人的俯仰角或滚动角进行模糊化;（4）确定输出隶属函数;（5）按步骤（1）~步骤（4）确定模糊推理规则;（6）去模糊。分析与结论 对比文献1公开
　　了基于人形机器人传感器信息的步态规划和反馈控制，并根据相关融合信息判断机器人的稳定性，包括基于多个传感器信息的人形机器人稳定状态评价，即对比文献1公开了发明专利申请解决方案中的步骤（1）， 与比较文档1的区别在于使用步骤（2）特定算法的模糊决策方法。基于应用文档，该方案有效提高了机器人的稳态及其可能下落方向的可靠性和准确性。以姿态信息、ZMP点位置信息和行走阶段信息为输入参数，通过模糊算法输出确定人形机器人稳定状态的信息，为进一步准确的姿态调整指令提供了依据。因此，上述算法特征和技术特征在功能上相互支持并具有交互关系，并且相对于比较文件1，确定本发明实际解决的技术问题是：如何判断机器人的稳定状态并准确预测其可能的下降方向。上述模糊决策的实现算法及其对机器人稳态应用的判断在其他比较文献中未公开，也不是本领域的常识，现有技术整体上不存在使本领域技术人员改进比较文件1以获得要求保护的发明的灵感， 并且要求保护的发明相对于最接近的现有技术是非显而易见的和创造性的。 【实施例8】基于协同进化和多群遗传算法的多机器人路径规划系统应用内容概述 现有的多移动机器人运动规划控制结构通常采用集中规划方法，将多机器人系统视为具有多个自由度的复杂机器人， 系统内有规划员统一完成所有机器人的运动规划，存在计算时间长、实用性差的缺点。
　　发明专利申请提供了一种基于协同进化和多群体遗传算法的多机器人路径规划系统。机器人的每条路径都由一条染色体表示，以最短距离、平滑度和安全距离作为设计路径适应度函数的三个目标，利用Messy遗传算法优化每个机器人的最优路径。申请要求一种基于协同进化和多群体遗传算法的多机器人路径规划系统，其特征在于：（1）机器人的路径由染色体表示，染色体以节点链表的形式表示，即[（x，y），time]，（x，y，time∈R），（x，y）表示机器人的位置坐标， 时间表示将该节点从前一个节点移出所需的时间消耗，起始节点的时间等于0，除初始节点的初始位置和结束节点的固定目标位置外，每个机器人个体的染色体都是可变的;（2）每个机器人机器人（i）的路径路径（j）的适应度函数表示为φ（pi，j）：||圆周率，J||=距离（pi，j）+ws×smooth（pi，j）+wt×Time（pi，j） 其中||圆周率，J||是距离、平滑度和时间消耗的线性组合，ws是平滑度加权因子，wt是时间加权因子;距离（pi，j）表示路径长度，smooth（pi，j）表示路径的平滑度，Time（pi，j）表示路径pi，j的时间消耗;每个机器人使用所描述的适应度函数，并通过Messy遗传算法优化最佳路径。
　　分析与结论 对比文档1公开了一种基于协同进化的多机器人路径规划方法，其中采用自适应混沌算法获得最优路径。发明专利申请的解决方案与对比文件1的区别在于通过Messy遗传算法实现多机器人路径规划。在该方案中，利用适应度函数约束Messy遗传算法，通过遗传算法优化后得到机器人的前向路径，该解的算法特征和技术特点相互支持，在功能上相互作用，从而实现机器人前进路径的优化。与对比文献1相比，确定本发明实际解决的技术问题是：如何使机器人基于特定算法在最优路径上前进。对比文件2揭示了包括混沌算法在内的多种遗传算法可用于路径优化，使用Messy遗传算法可以解决其他算法的缺点，获得更合理的优化结果。基于对比文件2给出的启示，本领域技术人员有动机将比较文件1和比较文件2结合起来，得到发明专利申请的技术方案。因此，要求保护的发明相对于比较文件1和比较2的组合是显而易见的，并且不具有创造性。【实施例9】一种物流配送方法的申请概述了如何在货物配送过程中有效提高货物配送效率，降低配送成本，这是发明专利申请所要解决的问题。物流人员到达配送地点后，可以通知特定配送区域内的多个订货用户以服务器推送消息的形式同时提货到订货用户终端，从而提高配送效率，降低配送成本。
　　申请要求一种物流配送方法通过分批通知用户取货
　　
　　来提高物流配送的效率，该方法包括：当调度员需要通知用户取货时，调度员通过手持物流终端向服务器发送货物已经到达的通知;服务器分批通知调度员交货范围内的所有订单;收到通知的订购用户根据通知信息完成取件;其中，用于批量通知的服务器的具体实现方式是，服务器根据配送操作员ID确定调度员ID对应的配送距离范围内的所有目标订单信息，并以物流终端的当前位置、物流终端的当前位置以及物流终端发送的到达通知中携带的相应配送范围为中心， 然后将通知信息推送到所有目标订单信息中订单用户账户对应的订单用户终端。分析结论对比文件1公开了一种物流配送方法，其中物流终端扫描配送单上的条形码，并将扫描到的信息发送到服务器，通知服务器货物已经到达;服务器获取扫描信息中的排序用户信息，并向排序用户发送通知;收到通知的订购用户根据通知信息完成取件。本发明专利申请的解决方案与对比文件1的区别在于，批量通知用户订单的到来，为了实现批量通知，方案中服务器、物流终端和用户终端之间的物理架构和数据通信进行了相应的调整，因此取件通知规则和具体的批量通知实现方法在功能上相互支持，并具有 交互关系。
　　与比较文档1相比，确定本发明实际解决的技术问题是如何提高订单到达通知的效率，从而提高货物配送的效率。从用户的角度来看，用户可以更快地获得有关订单到达的信息，这也改善了用户体验。由于现有技术不具备对上述比较文献1的技术启发进行改进，以获得用于发明专利申请的解决方案，该解决方案具有创造性。【例10】一种动态观点演化的可视化方法 应用内容概述 近年来，人们越来越多地通过社交平台表达自己的观点和想法，人们在社交平台上发布的情感内容反映了人们观点的演变，可以看到事件的发展、变化和趋势。该发明专利申请通过自动采集
人们在社交平台上发布的信息并分析其中的情绪，通过计算机绘制情绪可视化地图，帮助人们更好地了解不同时期的情绪强度和随时间演变的趋势。权利要求保护要求是一种动态视图演变的可视化方法，该方法包括：步骤1）通过计算设备确定所采集
信息集中信息的情感隶属关系和情感分类，信息的情感隶属程度表示信息属于某种情感分类的概率;步骤2）将情绪分类为正面、中性或负面，具体分类方法是：如果点数p除以点数Q值r大于阈值a，则认为情绪分类为正，如果值r小于阈值b，则认为情绪分类为负， 如果值 b ≤ r≤a，则情绪分类为中性，其中 a > b; 步骤3）基于信息的情感分类，自动建立信息集合的情感可视化图形的几何布局，横轴表示信息生成时间，纵轴表示属于每个情感分类的信息数量;步骤4）计算设备根据信息的情感隶属性对已建立的几何布局进行着色，并根据信息颜色的梯度顺序对每个情感分类层上的信息进行着色。分析
　　与结论 比较文件1公开了一种基于情感的可视化分析方法，其中时间表示为横轴，不同时间的每个色带的宽度表示当时的情绪度量，不同的色带表示不同的情绪。本发明专利申请的解决方案与比较文件1的区别在于步骤2中设置的情绪的具体分类规则）。从应用内容可以看出，即使情感分类规则不同，对应数据着色的技术手段也可以不变，即上述情感分类规则和具体的可视化方法在功能上并不相互支持和交互。与对比文献1相比，发明专利申请仅提出了情绪分类的新规则，并未实际解决任何技术问题，对现有技术没有做出技术贡献。因此，要求保护的发明不具有相对于比较文件1的创造性步骤。6.3 说明书和权利要求的起草6.3.1 说明书的起草：发明专利申请说明书含有算法特征或者业务规则和方法特征的，说明书应当清楚、完整地描述发明为解决其技术问题而采用的解决方案。在技术特征的基础上，解决方案还可以包括算法特征或业务规则和方法特征，它们在功能上相互支持并与技术特征交互。规范应明确技术特性与功能支持和交互的算法特征或业务规则与方法特性如何相互作用并产生有益效果。
　　例如，在收录
算法特征时，抽象算法应与特定的技术领域相结合，至少一个参数的定义应与技术领域的特定数据相关联;当包括业务规则和方法的特点时，应详细描述和解释解决技术问题的整个过程，以便技术领域的技术人员能够按照描述中描述的内容实现本发明的解决。说明书应清楚客观地陈述本发明与现有技术相比的有益效果，如质量、准确性或效率的提高，系统内部性能的改进等。如果从用户的角度，客观上改善用户体验，也可以在说明书中解释，在这种情况下，还应该说明构成本发明的技术特征，以及在其功能中相互支持并相互作用的算法特征或业务规则和方法特征如何带来或产生用户体验的改善。6.3.2 发明专利申请中含有算法特征或者商业规则、方法特征的权利要求，应当以说明书为依据，简明扼要地界定所主张的专利保护范围。权利要求应当记录功能上相互支持并与技术特征相互作用的技术特征和算法特征或者业务规则和方法特征。
　　-结束-
　　来源：每篇文章的版权归其原作者所有。文章仅供参考，不提供法律建议。
　　工作日上午7点长按关注大菱IP，分享每日IP英文/IP实务文章
　　随时留下您的评论，阅读后请点击“再看”
　　如果本文对你有帮助，请分享给朋友圈 专利实务工作很难上手，要想真正上手，不是要掌握一些写作或回复模板、陈词滥调，而是要真正了解法律的规定，把握问题的本质，这样当你面对不同的案件时， 不同的技术解决方案，你可以整合并使用自己的语言来说服审查员和法官。一旦你开始，你会发现，其实在知识产权这个大范畴下，专利法是最简单的，因为它是相对客观的。但是，商标和著作权涉及许多主观判断，反不正当竞争和反垄断案件涉及市场界定等问题，较为复杂，难以确定。那么，如何学习专利实务呢？最好的办法是研究复审、无效决定和专利诉讼的判决，找出当事人在实际案件中陈述意见和举证的想法，学习法官进行分析判断的思路。案件的结果和裁决的目的并不是最重要的，许多指导性案例也存在争议，可能会被推翻。但是，如果你能了解案件中法律分析的方法和适用法律的思路，就会大大提高你的实践水平和能力。
　　为了通过实际案例帮助您提高实践能力，我设置了两门专利实务课程： 专利申请与无效实务通识课程：本课程为基础课程，主要结合复审委员会指导性案例集的《案例理论》一书，用实际案例讲解专利法和审查指南的规定， 并具体说明专利撰写、回应和无效的方法和技巧;专利侵权诉讼实践明确：这门课程是改进课程，因为专利是基于保护和最终目标，不了解专利侵权诉讼，一切专利工作都将是肤浅的。在本课程中，我将系统地讲解专利保护范围的认定、侵权认定、抗辩和侵权责任，以及证据和程序，同样，我将结合最高人民法院的指导性案例，讲解专利诉讼的实务要点和技巧。
　　汇总:采集规则(精品)
　　
　　比如阿里巴巴，后期采集可能会针对一些门户网站，比如阿里巴巴、慧聪网、百度新闻、灯饰行业的门户网站进行固定采集。我们的网站栏目必须分为几个类别，公司，供应，采购，新闻，行业知识。当然，新闻下面还会有几个小版块。每个栏目最好定期去，不一定非得是相关新闻。这样一来，似乎会有一些新闻内容。示例说明目标网站： 1. 采集
内容 %B5%C6%CA%CE_n-y.html Lighting 关键字，这是 lighting 'supply' 关键字 2. 采集
内容 %B5%C6_n-y.html Lighting 关键字，这个这是关键字“光” 3。以上举例说明，这两个关键词也是两个版块的合集内容，而且页数比较多，内容也挺多的。关键词可自行设置，如吸顶灯、羊皮灯、LED、水晶灯等可自行设置采集
。当然，最好不要怕重复，只要采集
到的信息能够正确地输入到自己的系统中并显示出来即可。在采集
过程中，供应商可以采集
图片地址或采集
到自己的服务器中。因为灯饰行业对实物的看法不同，其他产品都是用文字描述的。4.新闻信息采集说明新闻采集页面百度；搜索关键词'水晶灯' %CB%AE%BE%A7%B5%C6&amp; tn=news&amp;from=news&amp;ie=gb2312&amp;bs=%B5%C6%CA%CE&amp;sr=0&amp;cl=2&amp;rn= 20&amp;ct=1&amp;prevc 这是百度的新闻采集页。您可以在手机通讯中通过一些关键词来采集
新闻内容，这样就方便多了。
　　
　　我们可以使用关键词来采集
和存储一些新闻，包括内容标题，图片可以省略，但最好能够下载图片。能在不影响大家工作的情况下完成就最好了。合集分为灯饰新闻、配件新闻、行业新闻等几个版块，几个版块显示的数量是平均的，说明你是。有些新闻我们要求不高，只要是关于照明行业的，我们就可以采集
，内容可以从几年前到现在。你安排它并自动采集
它。我们现在需要的数据量也需要有针对性的信息，采集
非百度的新闻模块，可能还有一些阿里巴巴、慧聪、照明行业的网站，这样我们采集
的信息可能会更加准确。5. 公司模块的收购标的是百度或者阿里巴巴%B5%C6%CA%CE_n-y.html目前是照明行业的公司信息。我们需要将一些公司的名称存储到我们的系统中，用户也有我们网站上的一些模板客户，例如：福建政和县宝陵竹艺灯饰厂。我们采集
它们并对应于我们自己的数据库。在我们的会员模板中，福建省政和县宝陵竹艺灯饰就是在此基础上展示的。我需要你回复我是否将他们的姓名和公司信息，包括一些产品信息采集
到我们的模板中。因为我们也有免费的企业模板，所以我想表达的是把这些公司的名字录入我们的数据库，也有免费的。企业网站。只要您可以在我们的网站上搜索他们的公司。里面最好有一些相关的内容 6. 行业知识采集
内容 比如百度知道搜索'lighting' %B5%C6%CA%CE&amp;fr=wwwt 我们需要采集
一些我们行业知识中的大量内容部分以标准化方式包括与回答问题相对应的表格以供采集
。7.人才照明人才相关信息采集。内容不限于你所了解的！fr=wwwt 我们的行业知识板块需要大量的内容进行标准化的采集
，包括回答问题对应的表格进行采集
。7.人才照明人才相关信息采集。内容不限于你所了解的！fr=wwwt 我们的行业知识板块需要大量的内容进行标准化的采集
，包括回答问题对应的表格进行采集
。7.人才照明人才相关信息采集。内容不限于你所了解的！ 查看全部

　　解决方案:标准化数据采集平台构建及在临床试验数据质量控制的应用
　　资料来源：临床药理学 2016, 21(12):1384-1388
　　收到日期：2016-08-30
　　［摘要］规范、完整的试验数据是临床试验进行统计分析的前提，也是临床试验结果真实可信的有力保证。目前电子数据采集系统（EDC）以其优化试验设计、保证数据真实可靠、控制试验成本和风险等优势，受到国内临床试验数据管理行业的高度重视。但是，仍然存在数据采集
规范化和不足的问题。问题。本文以基于ClinCapture二次开发的药物临床试验数据采集平台eClinicaXY为例，说明标准化数据采集平台的架构设计，符合标准，
　　［关键词］临床试验；数据采集​​平台；标准化; 数据质量控制
　　临床试验数据管理的目的是通过严格的质量控制获得完整可靠的临床研究数据，然后通过科学严谨的统计分析来确定研究治疗的有效性和安全性。目前，我国临床试验数据规范化管理尚处于发展阶段，数据和执行过程质量控制不足与临床研究整体统一规范化要求之间的矛盾尚未充分显现[ l]，这使得试验数据的解释和异常数据的验证往往具有一定的延迟性和局部性，无谓地增加了数据清理审查周期和试验结果的不确定性。
　　电子数据采集系统（electronic data capture，EDC）是一个适用于临床试验数据采集、传输和管理的软件平台，包括活动策划和用户沟通程序。据统计，EDC平均可以同时筛选81.3%的数据查询，将整个试验的成本降低60%以上[2-3]。自2015年CFDA开展药物临床试验自查和2016年发布《临床试验电子数据采集技术指导原则》以来，标准化的数据采集平台可对关键数据节点进行协同、有计划的跟踪监控。临床试验。引起我国医药行业的重视。这项研究采用 eClinicaXY，
　　1 数据采集平台架构设计
　　eClinicaXY是基于GNU LGPL协议，基于开源电子数据采集系统ClinCapture二次编译开发的药物临床试验数据采集平台。它集成了临床数据交换标准联盟（CDISC）和电子通用技术文档（Electronic Common Technical Document，eCID）等临床试验标准化数据结构和操作痕迹快速检查等技术，并使用SpagoBI作为数据的辅助工具报告和显示。
　　eClinicaXY 构建为基于平台的软件操作模型（SaaS，软件即服务）。它采用不同临床试验项目共享标准数据结构但具有独立模式的模式，将不同的试验项目分配给各个运行实例[4]，以满足不同临床试验的需要。测试项目方案异构，测试数据均满足统一报送标准要求。整体数据服务框架由交互表现层、应用业务层和支撑环境层组成。采用基于B/S的MVC架构模式设计，使用HITP/HITPS作为传输协议，Oracle高可用数据库作为数据存储方案。数据采集​​平台采用JQuery+Ajax技术构建实时数据交互系统，通过页面并行请求、异步响应、局部更新等方式在浏览器中实时跟踪监控多中心整体测试过程[5] . 与授权的后端数据库交互。平台层次结构图如图1所示。
　　交互表现层：位于系统框架的顶层，采用HTML5、JSP等技术接收和展示用户输入和自动生成的外部数据，为用户提供交互的Web界面；
　　应用业务层：位于交互表现层和支撑环境层之间，负责系统业务处理和逻辑功能实现，根据临床试验执行需求，封装业务功能单元并将各功能模块动态耦合成一个整体框架，进行数据传输，映射的作用，同时具有水平可扩展性[6]；
　　支撑环境层：位于系统框架的最底层，主要负责支撑数据平台的稳定运行和数据库访问。
　　此外，XML（eXtensibleMarkupLanguage，可扩展标记语言）由于其支持异构数据和语义的自解释能力而被用于数据存储和传输[7]。利用XML文档的特性，将其与关系型数据库相结合，即可以在不改变原有数据标准结构的情况下，满足支持异构数据集合弹性扩展的需求。
　　2 符合相关法规和行业标准
　　目前临床试验的设计和实施大多采用各家公司惯用的方案和数据标准，这使得各试验项目的执行标准、验证规则和业务数据规范各不相同，导致数据采集
不全、同义数据多样化表达式[8]。eClinicaXY数据采集平台采用FDA推荐的标准数据结构和验证规则作为基础数据框架，同时融合了国家药监部门的相关规定和行业标准要求，确保采集、报送和整个临床试验数据的存储都是“标准化”、“统一”的。
　　2.1 临床数据交换标准（CDISC）
　　CDISC 标准由临床数据交换标准协会制定，作为临床试验数据和元数据交换、提交和存档的行业标准。表模型（SDTM）、分析数据模型（ADaM）等部分。CDISC规定了统一的临床试验数据框架和元数据[9]。例如AE表示不良事件域，其中包括AETERM（不良事件报告术语）、AEBODSYS（身体系统或器官分类）、AESER（严重不良事件）、AEREL（因果关系）等固定数据字段，每个数据字段是七元组（变量名、描述性变量标签、数据类型、受控术语集或数据格式、变量来源、变量作用、注释）。目前，CDISC已被FDA、EMEA等推荐。
　　
　　2.2 ICH 国际医学术语词典 (MedDRA) 术语
　　MedDRA 术语集是由 ICH 开发的用于医疗产品文档编制和安全监测的标准术语集。常用于药物临床试验中不良事件的标准化编码，包括五级系统器官分类、高级组术语、高级术语、首选术语和低级术语结构[10]。eClinicaXY 数据采集平台整合了我
　　2.3 WHO 药物编码词典 (WHODDE)
　　WHODDE是世界卫生组织开发的用于编码、分析和报告临床试验中的药物信息和药物安全数据的分级药物编码系统。eClinicaXY数据采集平台借鉴了WHO DDE中药物术语的命名和编码，并将其整合到数据库中，作为受试者联合用药的参考术语。
　　此外，eClinicaXY数据采集平台的建设也符合21CFRPartll中的电子记录和电子签名、FDA《计算机系统在临床试验中的应用技术指南》中的数据安全和追溯检查，以及CFDA“临床试验电子数据采集技术”。《指导原则》、《药物临床试验质量管理规范》（GCP）和HL7等国家和行业对电子化临床试验的法规要求。
　　3 数据采集平台模块框架
　　随着信息技术的进步和物联网的发展，临床电子数据采集已经从最初的单一数据库软件发展成为以中心服务器为核心、智能终端辅助数据采集的多层次网络化数据采集系统识别和处理。在此基础上，根据需要衍生出中央随机化、交互式网络反应（IVRS）、电子踪迹检查、定制化报告等功能[11]。eClinicaXY数据采集平台结合现阶段电子化数据采集的主流趋势，主要收录
以下功能模块：
　　3.1 研究项目/测试中心设计模块
　　(1) 可以严格设置试验类型、研究项目阶段、方案验证/IRB批准日期、受试者特征等；(2) 可以通过jQuery语句设置受试者验证条件，系统会在每个受试者入组时进行检查，自检是否符合进/出条件，避免误入群；(3)自定义是否允许动态提问、SDV查询、行政编辑、CRF和文本评价；(4) 通过用户级别、用户类型、用户角色设置多级访问权限，保证用户处于满足功能需求的工作域。
　　3.2 主题/研究事件分配模块
　　(1) 基于Ran第三方接口的受试者随机化可根据实验设计选择基于盲表的中心/中心随机化或动态随机化算法；统计、动态或自定义分组，受试者可根据测试计划按单组或多组权重得到不同的预测；(3) 根据符合CDSIC数据采集域的eCRF模板文件生成研究事件，将所有研究事件分解为计划、计划外和普通三种类型，每个事件分配到相应的随访时间点以形成整体测试流程。
　　3.3 数据采集与管理模块
　　该模块包括数据提交、数据监控与管理、数据提取三个部分。可以实现（1）根据计划执行时间流创建受试者数据录入列表，根据不同受试者的实验阶段进行时间点对应操作；(2) 创建MedDRA、WHODDE术语编码和兼容的药物词典资源，并在测试数据生成时完成术语表达标准化；(3) 以XML标准格式编辑数据校验规则，从数据质量和逻辑角度实时校验数据流的可靠性和时序准确性；(4) 集成源数据验证（SDV）、标注和查询管理，从多角色层面保证测试数据的真实性、准确性和完整性；
　　3.4 测试结果上报模块
　　(1) 以仪表板和交互图表的形式实时展示各阶段研究事件的完成情况和数据分布；(2) 可对接SpagoBI智能商务BI套件，发起人和项目主管可以在不导出测试数据的前提下，通过数据图表实时跟踪研究项目的进度，以及及早发现试验异常操作、受试者不良事件、异常数据或异常趋势的数据；(3) 数据可按需求自定义导出，简化统计分析数据的确定和提交数据的整合；(4) 生成多种格式（PDF/SAS/EXCEL/SPSS/TXT）的主题病例报告数据和带注释的CRF（annotatedCRF），
　　4 执行技术路线
　　eClinicaXY数据采集平台以研究事件（如个体特征、实验室检测等）为数据采集域单元，将整个临床试验分解为时序性的时间节点关键点，其中研究事件由eCRF模板自动生成基于 CDASH 标准的文件。它分为三类：与时间相关的重复事件、与时间相关的独立事件和累积事件。每个研究事件都伴随着特定的 XML 检查验证规则。系统根据临床试验执行流程，将各个研究项目安排到相应的执行时间点，通过特定的“时间窗-研究事件”顺序组合模式构建电子化临床试验流程。
　　eClinicaXY数据采集平台临床试验实施技术路线可分为以下几个步骤：（1）项目设置，项目管理员设置研究项目的详细信息、受试者的进入条件和分组、项目参数等. 根据具体的临床试验方案，数据管理员根据方案CRF和数据管理计划编写eCRF源文件和XML数据验证文件，并以同名配对的形式导入系统。项目管理员将生成的研究事件组合成试执行流程，在系统内通过技术测试和小规模验收后，将研究项目的状态设置为“有效”；(2) 受试者被录取，并且每个中心都会将测试人员的信息输入到系统中。筛选完成后，系统会根据预先设定的测试类型和随机化方式，自动为受试者分配一个唯一标识符（SUBJID）。——“优旭药包材号”盲联的药号分离方式，保证试验盲联的顺利实施；(3)试验数据的录入，研究者或CRC将根据各受试者的试验进度分离产生的研究数据。相应的数据录入以复式录入的形式录入。如果第一次录入有逻辑错误或第二次录入与第一次录入不一致时，会触发预设的校验条件，并在数据保存前提醒操作人员，循环往复，直到所有数据都通过验证。如有疑问，可随时通过互动回复系统向研究人员提问；(4) 数据导出，当最后一个受试者完成试验后仍有疑问时，数据管理员可以根据数据库锁定列表锁定数据库，按照CDISCODM格式的试验计划导出受试者数据，然后分段并由统计程序员重新组装成统计分析数据集和提交数据集。整体执行技术路线如图2所示。数据管理员可以根据数据库锁定列表锁定数据库，按照CDISCODM格式的试验计划导出受试者数据，由统计程序员将数据切分重组为统计分析数据集和提交数据集。整体执行技术路线如图2所示。数据管理员可以根据数据库锁定列表锁定数据库，按照CDISCODM格式的试验计划导出受试者数据，由统计程序员将数据切分重组为统计分析数据集和提交数据集。整体执行技术路线如图2所示。
　　5 优势特点及实现效果
　　
　　通过构建符合国家相关法规和行业标准的质量控制体系，将整体临床试验按计划划分节点要素，建立严谨一致的验证文件，不仅可以缩短数据清洗周期，确保测试数据真实完整。前提下及早发现异常或有异常趋势的数据 当前临床试验数据质量问题主要体现在转录错误、不完整、安全性不够、语义表达支离破碎[12]。标准化的数据采集平台可以最大程度避免上述问题，保证ALCOA+数据质量控制原则（归因于易读性、同步性、原创性、准确性、完整性、
　　5.1 数据完整性和真实性验证
　　以纸质CRF为数据媒介的传统临床试验最大的弊端是只有参与者自觉遵守GCP指南才能保证试验数据的完整性和真实性，无法对数据及相关文件的访问和修改进行有效检查并被追踪。标准化数据采集平台基于CDISC数据框架建立通用临床试验数据模型，最大限度匹配临床试验实际产生的数据与需要提交的标准数据。在此基础上，结合标准术语、MedDRA术语词典、XSL模板文档、XML和JQuery验证规则文件，共同构建一个比较健壮的横向数据和纵向数据相结合的eCRF库，
　　此外，标准化的数据采集平台集成了基于身份密码（IBC）的多级用户权限和操作痕迹检查功能。迹检业务对象模型是一个六元组A=(U,S,D,R,VB,VA)，其中U为操作者，S为操作对象，D为操作日期和时间，R为操作目的，VB为更新前值，VA为更新后值，保证测试数据性的安全性和可追溯性。
　　5.2 数据录入验证
　　在药物临床试验中，常有数据录入错误，直到统计分析才发现，如收缩压为80mmHg，舒张压为110nunHg。标准化数据采集平台的数据校验功能可以利用数据库中的函数依赖，进一步定制近似函数依赖作为数据质量规则，降低半结构化数据清洗的复杂度[13-14]。
　　数据校验的主要对象是数据缺失和冗余、事件数据的逻辑一致性、正常值范围和临床意义判断、随机化和方案违背等，根据预先设定的XML校验规则文件，系统进行100%校验在数据录入初期或标准化代码映射入库后，对方案中规定的主要、次要疗效指标和关键安全性指标进行审核。监测到异常数据后，及时对具有相应职责和权限的平台运营者进行警示和审查，并对异常数据的变化情况进行跟踪分析。
　　5,3 总体数据自适应决策
　　临床试验有效性和安全性数据流是一组面板数据序列。实时数据流在数据库中被划分为原创
数据段。标准化映射完成后，根据目标领域固有的统计特征，进一步建立描述其整体分布的可视化。同时，它不断修正当前相关模型与新采集
的数据段的拟合，并探索统计上显着的事件，以分析临床试验的进展并识别数据流中的异常和异常值。回复。通过研究人员从专业角度对异常或特定时间、区间数据进行整体对比，趋势异常或与以往研究数据对比，综合分析，可以及早发现疗效数据的分布趋势和安全性数据异常的发生[15]。在试验数据标准化整合和全面质量控制的总体框架下，对试验实施做出科学严谨的适应性决策（如样本日重估、适应随机化等），提前采取调整措施在保障受试者权益的同时，全面把控临床试验的整体执行质量。
　　6结语
　　真实、完整、可追溯的高质量临床研究数据对检测结果的可靠性和准确性起着至关重要的作用。现代标准的临床试验数据管理不再局限于传统的简单数据录入，还包括严格一致的质量控制措施，以确保数据的标准化和准确性[16]。结合CDISC标准数据框架、MedDRA术语词典、XML和JQuery数据验证文件等标准化文件的模型驱动架构和需求驱动架构的标准化临床试验数据采集平台，不仅具有统一标准化的源数据管理、动态数据编码联动，具有数据异常实时校验、数据安全生命周期可控等优势，并可在临床试验执行过程中实现数据误录的及时纠正、异常数据的早期筛查等功能，协助药企优化质控资源配置，减少因质量管控问题导致的质量管控泛化。传统临床试验数据采集模式中采集、编码、验证的隔离。一个标准化的临床试验数据采集平台，结合协调的组织环境、执行流程、人员配置和管控机制，必将成为未来临床试验数据管理的发展趋势。从而协助药企优化质控资源配置，减少传统临床试验数据采集模式中由于采集、编码、验证各自为政造成的质量管控普遍化。一个标准化的临床试验数据采集平台，结合协调的组织环境、执行流程、人员配置和管控机制，必将成为未来临床试验数据管理的发展趋势。从而协助药企优化质控资源配置，减少传统临床试验数据采集模式中由于采集、编码、验证各自为政造成的质量管控普遍化。一个标准化的临床试验数据采集平台，结合协调的组织环境、执行流程、人员配置和管控机制，必将成为未来临床试验数据管理的发展趋势。
　　参考
　　欢迎留言发表您的看法和意见
　　生物统计学/数据管理数据库/IT职位推荐
　　北京：
　　广州：
　　上海：
　　官方数据:基于STM32(HAL库)的水质检测(浑浊度、PH值、温度、手机APP显示、wi
　　系统将采集到的浊度、PH值、温度等数据通过wifi发送至手机APP，超过阈值报警。
　　一、硬件材料清单：
　　1、STM32C8T6：控制器
　　2、OLED显示屏：显示传感器采集到的数据
　　3、PH传感器：检测PH值
　　4. TDS传感器：检测浊度
　　5、DS18B02水温传感器：检测温度
　　6. ESP8266：发送数据到手机
　　7、蜂鸣器：超阈值报警
　　二、实物图：
　　3.部分源码：
　　void HAL_TIM_PeriodElapsedCallback(TIM_HandleTypeDef *htim)//定时器中断回调函数
　　{
　　HAL_TIM_Base_Stop_IT(&amp;htim2);//停止定时器中断
　　静态 uint8_t cot = 0；
　　char temp_a[50] = {0};
　　字符 humidity_a[20] = {0};
　　uint16_t ADC_Value，PH_Value1；
　　双 ADC_ValueFF，PH_Value；
　　char charadc[50]={0};
　　char charph[50]={0};
　　beep_OFF();//关闭蜂鸣器
　　if(flag == 1)//关灯
　　{
　　HAL_GPIO_WritePin(LED_GPIO_Port, LED_Pin, GPIO_PIN_SET);
　　
　　}
　　else // 开灯
　　{
　　HAL_GPIO_WritePin(LED_GPIO_Port, LED_Pin, GPIO_PIN_RESET);
　　}
　　如果 (htim == (&amp;htim2))
　　{
　　if(cot == 25)//5s发送心跳包
　　{
　　HAL_UART_Transmit(&amp;huart2,(uint8_t *)xtb, 2, 200);//发送心跳包
　　cot = 0;//定时器计数归0
　　}
　　温度 = DS18B20_Get_Temperature(); //读取温度值
　　HAL_ADC_Start_DMA(&amp;hadc1,(uint32_t*)&amp;AD_Value,2); //打开DMA
　　ADC_ValueFF = -865.68*(AD_Value[0]*3.3/4096.0)+3291.3;//通过公式得到浊度值
　　PH_Value = AD_Value[1]*3.3/4096; //获取采集PH值的电压
　　PH_Value = -5.9647*PH_Value+22.255; //通过公式转换为PH值
　　如果（PH_Value=14）PH_Value = 14；//PH值大于14修正为14
　　sprintf(temp_a,"%d.%dC",(int)temperature/10,(((int)temperature)));//将温度转换成字符串格式
　　sprintf(charph,"%.2F",PH_Value); //将PH转换为字符串格式
　　sprintf(charadc,"%.2F",ADC_ValueFF); //将浊度转化为字符串格式
　　发布（（char*）“temp”，（char*）temp_a）；//在手机APP上显示温度
　　释放((char*)"PH",(char*)charph); //在手机APP上显示PH值
　　Release((char*)"浊度",(char*)charadc); //在手机APP上显示浊度
　　OLED_ShowString(0,16,(uint8_t *)"temp:",16,1); //在OLED显示屏上显示温度：
　　OLED_ShowString(40,16,(uint8_t *)temp_a,16,1); //在OLED显示屏上显示温度
　　OLED_ShowString(0,32,(uint8_t *)"PH:",16,1); //在OLED显示屏上显示PH：
　　OLED_ShowString(40,32,(uint8_t *)charph,16,1); //在OLED显示屏上显示pH值
　　
　　OLED_ShowString(0,48,(uint8_t *)"ZD:",16,1); //在OLED显示屏上显示ZD：
　　OLED_ShowString(40,48,(uint8_t *)charadc,16,1); //在OLED显示屏上显示浊度值
　　OLED_刷新(); //刷新OLED显示
　　if((int)(temperature/10)T_MAX)//判断温度是否在设定范围内，蜂鸣器响起
　　{
　　beep_On();//蜂鸣器响起
　　}
　　else if((int)(ADC_ValueFF)TDS_MAX)//判断浊度是否在设定范围内，蜂鸣器响起
　　{
　　beep_On();//蜂鸣器响起
　　}
　　否则如果（（int）（PH_Value）
　　PH_MAX)//判断PH值是否在设定范围内，蜂鸣器响起
　　{
　　beep_On();//蜂鸣器响起
　　}
　　else beep_OFF();//不满足所有条件则关闭蜂鸣器
　　cot++;//定时器计数加1
　　}
　　HAL_TIM_Base_Start_IT(&amp;htim2);//启动定时器
　　}
　　4、示意图：
　　下面是整个项目各个模块的示意图：
　　五。更多的：
　　如果想更详细的了解整个项目，可以去b站观看这个视频演示，以下是视频链接：
　　SCM毕业设计：基于stm32的远程水质检测_哔哩哔哩_bilibili
　　赠送三重！！！ 查看全部

　　解决方案:自动机器学习简述（AutoML）
　　为什么需要自动化机器学习
　　对于机器学习的新用户来说，使用机器学习算法的一个主要障碍是算法的性能受到许多设计决策的影响。随着深度学习的普及，工程师需要选择相应的神经网络架构、训练过程、正则化方法、超参数等，这些都对算法的性能有很大的影响。因此，深度学习工程师也被戏称为调参工程师。
　　自动化机器学习 (AutoML) 的目标是使用自动化的、数据驱动的方法来做出上述决策。用户只需提供数据，自动机器学习系统将自动确定最佳方案。领域专家不再需要为学习各种机器学习算法而烦恼。
　　自动机器学习不仅包括众所周知的算法选择、超参数优化和神经网络架构搜索，还涵盖了机器学习工作流程的每一步：
　　超参数优化超参数优化
　　学习器模型中一般有两类参数，一类可以从数据中学习和估计，另一类参数不能从数据中估计，只能根据人类经验设计和指定，而后者成为超参数。比如支持向量机中的C、Kernal、game；朴素贝叶斯等中的 alpha
　　超参数优化有很多方法：
　　最常见的类型是黑盒功能优化。所谓黑盒优化，就是将决策网络作为黑盒进行优化，只关心输入输出，而忽略其内部机制。决策网络通常可以参数化。这时候我们在优化的时候首先要考虑的就是收敛性。
　　以下几类方法属于黑盒优化：
　　在很多情况下，随机搜索比网格搜索效果更好，但是从上图我们可以看出，两者都不能保证找到最优解。
　　黑盒优化的一些工具：
　　
　　由于优化目标的不连续和不可微的数学特性，一些搜索和非梯度优化算法被用来解决这个问题，包括我们上面提到的黑盒算法。此类算法通过抽样和抽样的评价进行搜索，往往需要对抽样进行大量的评价才能获得较好的结果。然而，自动机器学习任务中的评估通常是通过 k 折交叉验证获得的。在具有大数据集的机器学习任务上，获得评估的时间成本是巨大的。这也会影响优化算法在自动机器学习问题上的效果。因此，一些降低评估成本的方法被提出，其中多保真度优化（multi-fidelity methods）就是其中之一。
　　此外，一些研究基于梯度下降优化。
　　超参数优化面临许多挑战：
　　相关参考
　　元学习 元学习
　　元学习也是“学习如何学习”。通过系统地观察现有学习任务之间的性能差异，进而学习现有的经验和元数据，可以用来更好地执行新的学习任务。这样做可以极大地改进机器学习流水线或神经网络架构的设计，也可以以数据驱动的方式取代手工车间式的算法工程工作。
　　从某种意义上说，元学习涵盖了超参数优化，因为元数据学习包括：超参数、管道组成、神经网络架构、模型组成、元特征等。
　　机器学习的算法也称为“学习者”。学习者假设一个模型有很多未知参数，使用训练数据和优化算法找到最适合这些训练数据的参数，并生成一个新的算法，或者一个参数已知的模型并使用模型/算法预测新的未知数据。如果世界上只有一个模型，那么问题就简单了。问题是模型很多，不同的模型有不同的超参数。我们经常将模型和算法组装在一起，形成复合模型和机器学习管道。这 时不时地，我需要知道构建哪些不同的模型来解决不同的问题。元学习就在这个时候。我们可以考虑超参数、管道、和神经网络架构作为新模型的未知参数，并将不同学习任务的性能指标作为输入数据，以便我们可以使用优化算法找到性能最佳的参数集。这个模式是可以一直嵌套的，也就是说，你可以有'元-元-元-学习'，当然希望你不要走得太远，找不到回头路。
　　元学习的方法包括：
　　元学习的一大挑战是用很少的训练数据学习一个复杂的模型，这是一个one-shot或few-shot的问题。
　　就像人类的学习一样，每次学习，无论成败，都会获得一定的经验，而人类很少从头开始学习。在构建自动学习时，我们还应该充分利用现有的每一个学习经验，并逐步改进它，使新的学习更加有效。
　　相关参考：
　　神经架构搜索 神经架构搜索
　　
　　说到 AutoML，大多数人都知道这个故事是因为 Google 的 AutoML 系统。随着深度学习的普及，神经网络的架构变得越来越复杂，随之而来的人工工程也越来越多。神经网络架构搜索就是为了解决这个问题而设计的。
　　NAS主要由三部分组成：
　　相关参考
　　自动化特征工程
　　自动化特征工程可以帮助数据科学家根据数据集自动创建用于训练的最佳特征。
　　Featuretools 是一个用于自动化特征工程的开源库。这是一个很棒的工具，旨在加快特征生成过程，让您有时间专注于构建机器学习模型的其他方面。换句话说，它将您的数据置于“等待机器学习”状态。
　　Featuretools 包中收录
三个主要组件：
　　参考：
　　其他自动化机器学习工具集
　　这里有一些开源的自动化机器学习工具供大家参考和选择。
　　参考：
　　解决方案:初级电商，如何通过策略快速扩充电商词库以及后续运用
　　好久没有更新了，我会一如既往的继续分享一些电商搜索推荐的实用知识。毕竟，纸上谈兵不是长久之计。每个公司对自己电商平台的搜索和推荐需求，以及现状，差异太大。结果，我熟悉的套路无法完美地转移到新的工作操作计划中。这也给了我一些不同的想法，搜索和构建不适用的解决方案。接下来我们就来看看电商新手词库策略如何快速扩充，以及以后如何应用到电商领域。
　　按照我之前的想法，如果一个新的电子商务公司刚刚起步，在搜索中缺少特定的词库，如何创建它是一个难题。目前，我正在寻找一些声称在网站上拥有完整电子商务词典的付费供应商。但是评价都是低的，评价不靠谱，不是数量少就是质量很差。如果没有用户的基本搜索词库，可以从自己的产品库中的产品名称进行词频统计进行批量n-gram分词处理，然后通过简单的tf-idf策略进行品类对应筛选. 当然也可以进行人工点检，但是这样会消耗更多的人工成本。
　　如果你有用户搜索的基本关键词词库，这些词的搜索数据分布不均，错别字较多。如果能采集
到10000+左右的单词，可以进行如下操作：
　　
　　可以直接用已有的词库对冲京东/淘宝，可以得到这些词的联想词和热词，还有错别字。只需要开发写一个爬虫，目前估计词库的规模可以立刻扩大30倍。如果没有爬虫人员，可以采用人工标注的方式完成操作，每周需要2个人左右完成，简单的Excel复制粘贴即可。
　　以上操作需要注意几个问题：
　　初始词典需要限制字符数。一般初始词库只需要有1-7个字数，即最多7个汉字，最多14个数字/英文字符，因为如果字符太长，可能不会能带出联想词。而且用户不会主动输入太长的关键词。爬虫需要注意规避法律风险。目前，京东无需登录即可在其网页上获取关键词，而淘宝则需要登录才能操作。很容易触发反爬虫机制。可以选择几个电商平台进行操作，最后合并去重。
　　
　　拿到关键词词库后，其实就可以开始筛选数据了。对于相关的关键词对，进行敏感词过滤、黑名单过滤等，不进行结果过滤。然后它可以直接在自己相关的 关键词 推荐和演示中重复使用。也可以重复使用在热词的个性化展示中。关联词也可以使用相同的过滤逻辑。过滤后直接导入词库，战略产品可以根据自己的需要对联想词进行排序。一般左匹配、收录
匹配、相关模糊匹配等都可以作为策略参考。在排序方面，可以用use-usage排序：即哪个词的使用率越高，就越高等（因为比较简单）。
　　这些扩展的词库也可以用作用户标签。在前期没有任何用户行为数据的情况下，可以对外推广这些词库：比如热词、联想词、默认词、相关关键词等。吸引用户点击，作为用户行为画像的基础标签，商品推荐模块的素材等。对于前期没有在算法上投入的电商来说，无疑是一种比较划算的操作。如果算法人力不多，也可以把这些关键词和商品信息对冲，获取关键词和商品的向量关系等。
　　当然，以上方案仅供参考，并非完美方案。它还收录
许多风险，例如合规风险等，并不适用于所有电子商务场景。 查看全部

　　解决方案:Simulink与自动驾驶（ADAS）算法的开发
　　点击上方蓝字，您的关注就是对我最大的鼓励！
　　美国大选已经落下帷幕。不知道白哥对我们Matlab/Simulink是什么态度，是继续禁，还是？其实我还是支持的，继续禁用。只有这样才能激发我们的自主创新能力，您怎么看？哈哈哈！
　　好久没更新了 一直忙这忙那，还没有静下心来总结这些东西。这次聊一个高端的话题---自动驾驶，闲聊，总结一下最近的一些学习工作，Simulink在自动驾驶的发展过程中是如何存在的？话不多说，开始说吧！自动驾驶软件开发的基本架构逃不开我们常说的三大法宝，感知---决策（规划）---执行（控制），这三个内容，软件开发的基本思路是不一样的，听听本的解说！
　　感知：雷达的感知大部分是通过傅里叶变换等算法对具有多普勒效应的脉冲波信号进行处理。目前主流是使用C作为代码。雷达有很多种。这个算法仅限于毫米波雷达，激光雷达不懂。
　　大多数相机对应的是图像处理。虽然Simulink目前已经收录
了相应的图像处理算法模型，但是这些算法模型只是对大家写论文有用，容易出结果，容易仿真！然而，大多数实际算法都是与 OpenCV 和 C++ 一起使用的。
　　惯性导航和 GPS 中的算法是另一类。Simulink 涉及的不多。轮速和车身姿态大多来源于ESC，EPS，这些对应的模块！
　　综上所述，Simulink在感知层面用的不多。Decision-making：L3以上的层级，由于有地图的参与，我们称之为规划，L3以下的层级大部分称为决策层，即融合多个目标源进行决策.
　　融合算法目前大部分在雷达和摄像头，但有走向独立和向域控制器靠拢的趋势，相当一部分算法软在里面。软件开发虽然说是用Simulink开发，但是很多都是用C和C++开发的，尤其是多维目标跟踪融合！执行（控制）：执行分为横向控制域和纵向控制。横向控制主要是和EPS交互角度和力矩。纵控主要与动力总成和底盘进行交互，交互的核心是加速和制动的需求。
　　这些控制逻辑，通俗的说就是简单的门控逻辑，大部分是OR,AND,NOT的逻辑，这些都是Simulink的强项，所以相关逻辑的执行都是用Simulink开发，然后自动生成代码，终于软了！
　　综上所述，目前Simulink对自动驾驶的支持其实还不是很广泛。大多侧重于功能的控制，其他相关图像，以及雷达算法的应用。他们中的大多数还处于写论文的阶段。总结如下，呵呵！
　　
　　目前从事自动驾驶算法开发，Simulink中有很多对应的库文件和例子可以参考。下图所示的库文件可以直接使用。
　　还有对应的示例文件，点Help自己学习就好了，应该问题不大。
　　然后说说相应的算法生成和集成！至于所谓的可以做融合和感知算法的Simulink，我不能否认，但是实践是检验真理的唯一标准，现在在实际项目中还是很少用到！
　　但是，当你在开发某个功能时，如何进行前期验证呢？如何建立一个模拟感知算法，如何建立一个模拟融合算法，如何在前期验证你的功能算法，这就需要我们的大杀器出来了！这两个东西是ADAS系统开发的主角，因为真正的功能开发肯定没有发动机和变速箱那么复杂，但是ADAS系统的数据量和仿真要求远大于其他系统，因为这个东西不模拟，直接测试太贵了！
　　ADAS系统是一个非常复杂的东西。在开发初期，如果使用特定阶段或特定场景的验证，使用实车成本太高，不切实际！所以我们前期做场景验证的时候，如果后面问题重现，就需要我们的大杀器Simulink了！尤其是L3、L4级别的功能，必须要有这个大杀器才能完成百万公里的验证。ADAS系统仿真与验证 在Simulink环境中建立仿真环境，进行算法验证与开发。目前Simulink集成了Driving Scenario Designer的库。这个库可以完成场景的规划和定义，如下图：
　　场景建模完成后，Matab可以将其转换成Mat文件（类似自动代码生成的S-function格式），然后导入到Simulink环境中，添加相应的传感器模型，进行open-循环和闭环模拟！如下图开环仿真来验证对应的融合算法！
　　闭环仿真增加了车辆动力学和相应的路径设计。把它变成一个闭环来验证相应的功能算法，比如ACC、AEB、TJA等功能。这两个就是我们所说的SIL，软件在环仿真的学术定义！
　　当设计这些场景和算法时，需要对其进行测试。测试工具和方法与前面提到的代码自动生成测试方法相同。Simulink 的测试管理器可用于执行动态测试用例和静态代码。覆盖测试，如下图，和基本的测试方法是一样的！
　　以上都是形式化的算法验证流程，适用于基础功能开发，但目前大多用于面向应用的项目中。面向应用的项目主要测试工作是采集道路数据，然后进行验证，比较符合实际。它是可靠的，并且在建立仿真模型时也省去了很多工作。省钱又高效！哈哈哈。
　　
　　中国贴牌的传统做法。具体操作方法同上！通过导入场景数据，可以验证具体的传感器算法，通过导入目标列表数据，可以验证具体的功能算法，如下图！
　　设计、仿真、测试，这个闭环形成了ADSA算法的开发和验证，展示了Simulink软件的NB：
　　ADAS数据处理
　　在实际测试验证的过程中，会采集到大量的数据，比如摄像头图像数据、雷达数据、车道检测数据、激光雷达数据、惯性测量单元数据等，这些结果如何处理？如何标记真值？
　　Simulink中的ADST工具箱收录
了相应的函数，然后就可以说说相应的图像数据，分析后的目标列表，统一用一个图表来展示分析，进行我们所谓的真值标定，然后可视化，就是比我们的好 肉眼看，比NB还要多，请参考下图！
　　在做可视化时，Simulink可以在同一屏幕上转换车辆坐标系和图像坐标系，从而绘制出不同的点云数据，便于传感器信号的分析和验证。
　　小才小学，这些总结仅供朋友参考，启发大家，大家一起学习吧！ADSA系统的算法研究犹如星辰大海。只要抓住一颗闪亮的星星，你就可以在智慧的潮汐中屹立于桥上，成为潮汐中的潮人。一起学习，一起进步，一起征服灿烂的星海！
　　学无止境，深入浅出，细细研读，必成大器！分享给有志之士！
　　解决方案:使用树莓派3B+开发智能音乐播放器(续---加入自动唤醒功能)
　　下次预定。. .
　　上次讲到给智能音乐播放器增加语音唤醒功能。我google了一下相关资料。目前有百度AI、科大讯飞、谷歌、snowboy。最简单的大概就是snowboy了。去github下载源码，然后去官网查看相关说明。注意下载的源码中有四个demo。四个源码最好都看一遍，可以解决大部分应用问题。
　　我这里用demo.py这个框架就够了。其次最重要的是登录snowboy官网注册用户（需要用谷歌账号登录），然后录制自己的个性化唤醒词（例如：你好小爱），下载您记录的唤醒词文件 pmdl 作为程序运行的参数 (python3 demo.py XXX.pmdl)。
　　好了，我们直接上代码：
　　# -*- coding: utf-8 -*-
from aip import AipSpeech #百度语音识别库
import pyaudio #麦克风声音采集库
import wave
import requests,json #音乐搜索
import pygame #mp3播放
import snowboydecoder
import sys
import signal
import os
import time
import sys
interrupted = False
""" 我的 APPID AK SK """
APP_ID = 'xxxxxxxxx'
API_KEY = 'xxxxxxxxxxxxxx'
SECRET_KEY = 'xxxxxxxxxxxxxxxxxxxxxxxxxx'
#定义采集声音文件参数
CHUNK = 1024
FORMAT = pyaudio.paInt16 #16位采集
CHANNELS = 1 #单声道
RATE = 16000 #采样率
RECORD_SECONDS = 9 #采样时长 定义为9秒的录音
WAVE_OUTPUT_FILENAME = "./myvoice.pcm" #采集声音文件存储路径
def get_file_content(filePath):
with open(filePath, 'rb') as fp:
return fp.read()
#获取下载地址
def get_down_url(songid):
req=requests.get("http://tingapi.ting.baidu.com/ ... ot%3B %songid)
req.encoding='utf-8'
#print(json.loads(req.text))
json1=json.loads(req.text.replace("jQuery17206073972467458864_1511011710426(","").replace(");",""))
print("下载地址:",json1["bitrate"]['show_link'])
return json1["bitrate"]['show_link']
#下载保存文件
def music_down(url,music_name,artistname):
f=open(music_name+'-'+artistname+'.mp3','wb')
req_mp3=requests.get(url)
f.write(req_mp3.content)
f.close()
#调用百度AI，将文字转化为声音输出，用于提示音
def word_to_voice(text):
result = client.synthesis(text, 'zh', 1, {
'vol': 5, 'spd': 3, 'per': 3})
if not isinstance(result, dict):
with open('./audio.mp3', 'wb') as f:
f.write(result)
f.close()
pygame.mixer.music.load('./audio.mp3')#text文字转化的语音文件
<p>
pygame.mixer.music.play(loops=0)
while pygame.mixer.music.get_busy() == True:
print('waiting')
def word_to_voice1(text):
result = client.synthesis(text, 'zh', 1, {
'vol': 5, 'spd': 3, 'per': 3})
if not isinstance(result, dict):
with open('./audio1.mp3', 'wb') as f:
f.write(result)
f.close()
pygame.mixer.music.load('./audio1.mp3')
pygame.mixer.music.play(loops=0)
while pygame.mixer.music.get_busy() == True:
print('waiting')
#获得麦克风输入的声音文件，保存在myvoice.pcm
def get_mic_voice_file(p):
word_to_voice('请说出歌名')
stream = p.open(format=FORMAT,
channels=CHANNELS,
rate=RATE,
input=True,
frames_per_buffer=CHUNK)
print("* recording")
frames = []
for i in range(0, int(RATE / CHUNK * RECORD_SECONDS)):
data = stream.read(CHUNK)
frames.append(data)
print("* done recording")
stream.stop_stream()
stream.close()
#p.terminate()#这里先不使用p.terminate(),否则 p = pyaudio.PyAudio()将失效，还得重新初始化。
wf = wave.open(WAVE_OUTPUT_FILENAME, 'wb')
wf.setnchannels(CHANNELS)
wf.setsampwidth(p.get_sample_size(FORMAT))
wf.setframerate(RATE)
wf.writeframes(b''.join(frames))
wf.close()
print('recording finished')
#百度语音识别出歌名文字并返回
def baidu_get_song_name(client):
results = client.asr(get_file_content(WAVE_OUTPUT_FILENAME), 'pcm', 16000, { 'dev_pid': 1536, })
# print(results['result'])
song_name=results['result'][0]
print(song_name)
return song_name
#百度音乐下载歌曲
def download_music_file(song_name):
req_url = "http://sug.music.baidu.com/inf ... ot%3B % song_name
req_so = requests.get(req_url)
data = json.loads(req_so.text.replace("window.baidu.sug(", "").replace(");", ""))
for i in data["data"]["song"]:
print("\tsongid:" + str(i["songid"]), "音乐名字:" + i["songname"], "\t歌手:" + i["artistname"])
input_songid = data["data"]["song"][0]["songid"] # input("请输入你要下载的songid:")
for i in data["data"]["song"]:
if input_songid == str(i["songid"]):
　　
url = get_down_url(i["songid"])
music_down(url, i["songname"], i["artistname"])
print("下载完成")
music_name = i['songname'] # 获取MP3文件中的歌曲名
artistname = i["artistname"] # 获取MP3文件中的歌手名
filename = './' + music_name + '-' + artistname + '.mp3'
print(filename)
word_to_voice1('请欣赏')
return filename
def play_mp3(music_file):
pygame.mixer.music.load(music_file)
'''while True:
# 检查音乐流播放，有返回True，没有返回False
# 如果一直有音乐流则选择播放
if pygame.mixer.music.get_busy() == False:
pygame.mixer.music.play()'''
pygame.mixer.music.play(loops=0) #该函数运行后立即返回，音乐一直在后台运行
def one_time_process(p,detector):#一次麦克采样+语音识别+音乐下载+自动播放
detector.terminate() #该条代码很重要，因为detector = snowboydecoder.HotwordDetector(model, sensitivity=0.5)已经在内部使用pyaudio库获取了MIC的权限，如果我们再次鲁莽的使用pyaudio，将造成程序出错
get_mic_voice_file(p)
play_mp3(download_music_file(baidu_get_song_name(client)))

#snowboy 相关代码
def signal_handler(signal, frame):#改变全局变量interrupted值
global interrupted
interrupted = True
def interrupt_callback():#键盘输入ctrl+c终端程序运行
global interrupted
return interrupted
if __name__=='__main__':
#麦克风采集初始化、百度语音识别初始化、mp3文件播放初始化
p = pyaudio.PyAudio()
client = AipSpeech(APP_ID, API_KEY, SECRET_KEY)
pygame.mixer.init()
model = sys.argv[1]
#
# capture SIGINT signal, e.g., Ctrl+C
signal.signal(signal.SIGINT, signal_handler)
detector = snowboydecoder.HotwordDetector(model, sensitivity=0.5)
print('Listening... Press Ctrl+C to exit')
# main loop
while 1:
detector.start(detected_callback=lambda: one_time_process(p,detector),interrupt_check=interrupt_callback,sleep_time=0.03)#detector作为回调函数的一个参数，目的是将MIC的权限进行释放
detector.terminate()
</p> 查看全部

　　解决方案:分布式调用链没那么难搞，好用的开源工具实践在这
　　在微服务架构中，一个请求往往会涉及到多个模块、多个中间件，需要多台机器相互协作才能完成。在这一系列的调用请求中，有的是串行的，有的是并行的，那么如何确定这个请求后面调用了哪些应用程序、哪些模块、哪些节点以及调用顺序呢？如何定位各个模块的性能问题？本文将为您揭晓答案。
　　本文将从以下几个方面进行阐述：
　　分布式溯源系统原理与作用
　　如何衡量一个接口的性能，一般我们至少会关注以下三个指标：
　　单体架构
　　早期，公司刚起步的时候，可能会采用如下单体架构。对于单体结构，我们应该如何计算以上三个指标呢？
　　最容易想到的显然是使用AOP
　　使用AOP打印调用具体业务逻辑前后的时间来计算整体调用时间，使用AOP捕获异常，知道是哪里的调用导致了异常。
　　微服务架构
　　在单体架构中，由于所有的服务和组件都在一台机器上，所以这些监控指标相对容易实现。但是随着业务的快速发展，单体架构必然会向微服务架构发展，具体如下：
　　如图：一个稍微复杂的微服务架构
　　如果用户反映某个页面很慢，我们知道这个页面的请求调用链是A -----&gt; C -----&gt; B -----&gt; D，如何定位哪个可能是模块在这个时候出现了问题。每个服务Service A、B、C、D都有几台机器。您如何知道请求在哪台特定机器上调用服务？
　　可以明显看出，由于无法准确定位每个请求的准确路径，微服务架构下存在以下痛点：
　　分布式调用链就是为解决上述问题而诞生的，其主要作用如下：
　　通过分布式跟踪系统，可以很好地定位后续请求的各个具体请求链接，从而轻松实现请求链接跟踪，轻松实现各模块的性能瓶颈定位和分析。
　　分布式调用链标准——OpenTracing
　　了解了分布式调用链的作用，下面我们来看看分布式调用链的实现和原理是如何实现的。首先，为了解决不同分布式跟踪系统API不兼容的问题，OpenTracing规范诞生了。OpenTracing 是一个轻量级的规范化层，位于应用程序/库和跟踪或日志分析器之间。
　　通过这种方式，OpenTracing 使开发人员能够通过提供独立于平台和供应商的 API 轻松添加跟踪系统的实现。
　　说到这里，你有没有想过在 Java 中有类似的实现？还记得JDBC吗，通过提供一套标准的接口供各个厂商实现，程序员可以针对接口进行编程，而不用关心具体的实现。这里的接口其实就是一个标准，所以制定一套标准非常重要，可以实现组件的可插拔性。
　　接下来我们看一下OpenTracing的数据模型。主要有以下三种类型：
　　理解这三个概念非常重要。为了让大家更好的理解这三个概念，我特地画了一张图：
　　如图所示，一个完整的订单请求就是一个Trace。显然，对于这个请求，必须有一个全局标识来标识这个请求。每次调用调用一个Span，每次调用都必须携带全局TraceId，这样全局TraceId才能与每次调用相关联。这个TraceId是通过SpanContext传递过来的。既然要传输，就必须按照协议来调用。如图所示，如果把transport protocol比作汽车，SpanContext比作货物，Span比作公路，应该更容易理解。
　　了解了这三个概念之后，我再来看看分布式追踪系统是如何在统一图中采集
微服务调用链的：
　　我们可以看到底层有一个Collector一直在默默的采集
数据，那么每次调用Collector都会采集
什么信息：
　　有了这些信息，采集
器为每次调用采集
的信息如下：
　　根据这些图表信息，显然可以画出调用链的可视化视图如下：
　　这样就实现了一个完整的分布式跟踪系统。
　　上面的实现看起来很简单，但是有几个问题需要我们仔细思考：
　　下面我就来看看SkyWalking是如何解决以上四个问题的。
　　SkyWalking的原理和架构设计
　　如何自动采集
跨度数据
　　
　　SkyWalking采用插件+javaagent的形式实现span数据的自动采集，可以对代码无侵入。插件意味着可插拔和良好的扩展性（稍后我们将介绍如何定义自己的插件。）。
　　如何跨进程传递上下文
　　我们知道数据一般分为header和body，就像http有header和body一样，RocketMQ也有MessageHeader，Message Body，body一般收录
业务数据，所以body不宜传context，应该传入表头，如图：
　　dubbo中的attachment相当于header，所以我们把context放在attachment中，这样就解决了context传递的问题。
　　提示：这里的上下文传递过程都是dubbo插件处理的，业务是不知道的。下面将分析这个插件是如何实现的。
　　traceId如何保证全局唯一性？
　　为了确保全局唯一性，我们可以使用分布式或本地生成的 ID。如果我们使用分布式，我们需要一个数字生成器。每个请求必须首先请求数字生成器。会有网络调用开销，所以SkyWalking最终采用了本地生成ID的方式，并且采用了著名的snowflow算法，性能较高。
　　图解：雪花算法生成的id
　　但是，雪花算法有一个众所周知的问题：时间回调，可能会导致重复生成id。那么SkyWalking是如何解决时间回调问题的呢？
　　每产生一个id，就会记录这个id产生的时间（lastTimestamp）。如果发现当前时间小于上次生成id的时间（lastTimestamp），说明发生了时间回调，此时会生成一个随机数作为traceId。
　　这里可能有些同学想认真点。他们可能认为生成的随机数也将与生成的全局 id 相同。最好再加一层验证。
　　这里想谈谈系统设计中方案的选择。首先，如果对生成的随机数进行唯一性校验，无疑会多出一层调用，会有一定的性能损失，但实际上时间回调的概率很小。（发生后，由于机器时间的紊乱，业务会受到很大的影响，所以机器时间的调整一定要谨慎），而且生成的随机数重合的概率也很小。综合考虑，确实没有必要再增加一个Layer全局唯一性校验。对于技术方案的选择，一定要避免过度设计，太多就是太多。
　　这么多请求，全部采集
会不会影响性能？
　　如果每一个请求都采集
起来，毫无疑问数据量会非常大，但是反过来想想，是不是真的有必要把每一个请求都采集
起来。其实大可不必。我们可以设置采样频率，只采样部分数据，SkyWalking默认设置为3秒采样3次，其余请求不采样，如图：
　　这样的采样频率其实已经足够我们分析元器件的性能了。以每 3 秒 3 个样本的频率采样数据有什么问题？理想情况下，每次服务调用都是在同一个时间点（如下图），所以每次都在同一个时间点采样真的没问题。
　　但是在生产中，基本上不可能每个服务调用都在同一个时间点被调用，因为期间存在网络调用延迟，实际调用情况很可能如下图所示：
　　在这种情况下，有些调用会在服务A上被采样，而不会在服务B和C上被采样，无法分析调用链的性能。那么SkyWalking是如何解决的呢？
　　是这样解决的：如果上游带了Context（说明上游已经采样），下游会强制采集数据。这使链接保持完整。
　　SkyWalking的基础设施
　　SkyWalking 的基础是以下架构。可以说几乎所有的分布式调用都是由以下几个部分组成的：
　　首先当然是节点数据的定期采样。数据采样后定期上报，存储在ES、MySQL等持久层。有了数据，自然要根据数据做可视化分析。
　　SkyWalking 的表现如何？
　　接下来想必大家比较关心的是SkyWalking的性能表现，那么我们就来看看官方的评测数据吧：
　　图中蓝色代表未使用SkyWalking时的表现，橙色代表使用SkyWalking时的表现。以上是TPS为5000时测得的数据，可以看出无论是CPU、内存，还是响应时间，使用SkyWalking带带来的性能损失几乎可以忽略不计。
　　接下来看一下SkyWalking与业界另一知名分布式追踪工具Zipkin、Pinpoint的对比（采样率为1秒，线程数为500，总请求数时进行对比）是 5000）。可见Zipkin（117ms）和PinPoint（201ms）在临界响应时间上远不如SkyWalking（22ms）！
　　从性能损失来看，SkyWalking 胜出！
　　让我们看另一个指标：代码的侵入性如何？ZipKin需要埋在应用中，代码侵入性大。SkyWalking使用javaagent+插件修改字节码。没有侵入代码。除了代码的性能和侵入性，SkyWaking 表现出色，还有以下优势：
　　我司在分布式调用链上的实践
　　SkyWalking在我司的应用架构
　　从上面可以看出SkyWalking有很多优点，那么它的组件我们都用上了吗？事实上，并非如此。我们来看看它在我们公司的应用架构：
　　从图中可以看出，我们只使用了SkyWalking代理进行采样，而放弃了“数据上报与分析”、“数据存储”、“数据可视化”等其他三个组件。
　　
　　那为什么不直接采用SkyWalking完整的解决方案呢，因为我们的Marvin监控生态在接入SkyWalking之前就已经比较完整了。如果换成SkyWalking，就完全没有必要了。两者都能满足我们的需求。其次，系统更换成本高。第三，如果重新连接到用户，学习成本非常高。
　　这也给了我们一个启示：任何产品抓住机会都是非常重要的，后续产品的更换成本会非常高。抢占先机，就是抢占用户心智。国外还是做不了Whatsapp一样的，因为机会没了。
　　另一方面，对于架构，没有最好的，只有最合适的。架构设计的本质是结合当前业务场景进行折衷的平衡。
　　我们公司对SkyWalking做了哪些改造和实践？
　　我公司主要做了以下改造和实践：
　　1）预发布环境因调试需要强制采样
　　从上面的分析可以看出，Collector是在后台定时采样的。这不好吗？为什么我们需要实施强制采样？或者排查定位问题，有时线上出现问题，我们希望在预发布上复现，希望看到这个请求完整的调用链，所以需要在预发布上进行强制采样。所以我们修改了Skywalking的dubbo插件来实现强制采样。
　　我们在request cookie上放一个类似force_flag = true的key-value对，表示我们要强制采样。网关收到这个cookie后，会在dubbo附件中带上键值对force_flag = true，然后skywalking的dubbo插件就可以根据这个来判断是否是强制采样。如果有这个值，就是强制采样。如果没有这个值，则进行正常定时采样。
　　2）实现更细粒度的采样？
　　Ha 称为更细粒度的采样。我们先来看一下skywalking默认的采样方式，即uniform sampling。
　　我们知道这个方法默认是在3秒前采样3次，其他的请求都被丢弃。在这种情况下，有一个问题。假设3秒内本机有多次dubbo、mysql、redis调用，但是如果前3次都是dubbo调用的话，其他像mysql、redis等调用无法采样，所以我们修改了skywalking实现分组抽样，如下：
　　也就是说3秒内采样redis、dubbo、mysql等3次就可以避免这个问题。
　　3）如何在日志中嵌入traceId？
　　在输出日志中嵌入traceId，方便我们排查问题，所以打印traceId是非常有必要的，如何在日志中嵌入traceId呢？我们使用log4j，这里我们需要了解一下log4j的插件机制，log4j允许我们自定义插件输出日志的格式，首先我们需要定义日志的格式，在自定义日志格式，作为账号字符，如下：
　　然后我们实现一个log4j插件，如下：
　　首先，log4j插件需要定义一个类，该类继承LogEventPatternConverter类，并用标准Plugin声明自己为Plugin，通过@ConverterKeys注解指定需要替换的占位符，然后在format方法中替换失去。这样日志中就会出现我们想要的TraceId，如下：
　　4）我司开发了哪些skywalking插件？
　　SkyWalking 实现了很多插件，但是没有提供memcached 和druid 的插件，所以我们按照其规范开发了这两个插件：
　　插件是如何实现的，可以看到主要由三部分组成：
　　可能大家看了还是不太明白，下面就用dubbo plugin来简单说明一下。我们知道，在dubbo服务中，每次请求都会收到来自netty的消息，提交给业务线程池处理，真正调用到业务方法时结束。中间经过十几个Filter处理。
　　而MonitorFilter可以拦截所有客户端请求或者服务端处理请求，所以我们可以增强MonitorFilter，在调用invoke方法之前，将全局traceId注入到它的Invocation attachment中，从而保证请求到达真正业务之前全局traceId已经存在逻辑。
　　那么显然我们需要在插件中指定我们要增强的类（MonitorFilter），并增强它的方法（invoke）。应该对此方法进行哪些改进？这就是拦截器（Inteceptor）要做的事情。我们来看看Dubbo插件（DubboInstrumentation）中的插桩。
　　我们来看看代码中描述的拦截器（Inteceptor）是干什么的。关键步骤如下：
　　首先，beforeMethod表示这里的方法会在MonitorFilter的invoke方法执行之前被调用，而afterMethod与之对应，表示invoke方法执行之后才会执行增强逻辑。
　　其次，从第2点和第3点我们可以看出，无论是消费者还是提供者，其全局ID都做了相应的处理，以保证到达真正的业务层时，全局traceid是可用的。在定义了 Instrumentation 和 Interceptor 之后，最后一步是在 skywalking.def 中指定定义的类。
　　// skywalking-plugin.def 文件
　　dubbo=org.apache.skywalking.apm.plugin.asf.dubbo.DubboInstrumentation
　　这样封装的插件会增强MonitorFilter的invoke方法，在invoke方法执行前，将全局的traceId等操作注入到attachment中，对代码都是静默无侵入的。
　　总结
　　本文由浅入深地介绍了分布式跟踪系统的原理。相信大家对它的作用和工作机制有了更深入的了解。尤其需要注意的是，在引入某项技术时，一定要结合现有的技术架构，做出最佳方案。一个合理的选择，就像SkyWalking有四个模块，而我们公司只使用它的代理采样功能。
　　没有最好的技术，只有最合适的技术。通过这篇文章，相信大家应该对SkyWalking的实现机制有了清晰的认识。本文只介绍SkyWalking的插件实现，但毕竟是工业级软件。要了解它的深奥，还需要多阅读源码。
　　作者丨码海源丨公众号：码海（ID：seaofcode）dbaplus社区欢迎技术人员投稿，投稿邮箱：
　　操作方法:流量工具流量宝使用方法
　　流量工具是用来辅助网站增加流量的。有很多交通工具。在之前的文章《辅助网站提升流量有哪些工具》中也提到了几种工具，那么今天我们就来说说其中的一种，说说使用方法以及使用过程中需要注意的事项使用它，这个工具也是很多站长经常使用的，它就是“流量宝”。
　　FlowBao在一些免费工具中算是比较强大的，包括提升流量、增加人气、广告优化、提升电商人气、关键词排名、使用Alexa等功能。功能很多，但是在我们seo行业用到的就那么几个，所以就说说seo行业相关功能的使用，其他的就不多说了。
　　1.刷流量
　　刷流量可以提高网站的pv。在流量刷卡界面，有基础设置、来源URL设置、点击设置、流量时间控制、ua设置、流量区域设置。
　　1.基本设置
　　把我们要刷的网站复制粘贴到“网页地址”写入框里，ip/pv比就是你要刷的ip和pv的比值，比如1:3，那么一个ip被浏览了3次，这里我们设置1:3就好了，PV停留时间可以根据自己的情况选择，我一般是随机选择3-30秒。
　　2. 源地址设置
　　如果我们要访问百度用户，可以在“自定义来源”中选择“百度搜索词”。比如我们要增加长沙seo这个词的流量，那么我们就在上面写上“长沙seo”就可以了。注意后面的%，是根据我们自己的字数分配的。比如你想让那个词的流量高，就可以多给分。如果只有一个字，建议不要超过50%。
　　
　　3.点击设置
　　如果您不在此处设置点击 URL，该工具将默认刷新主页。如果添加点击网址，它会点击我们填写的网址。点击的百分比要适当添加，同样不要超过50%。如果要点击的页面排名不错，您可以添加更多。
　　4.流动时间控制
　　通过流量时间控制，我们可以控制点击的流量。网民可以在上网的时候多浏览，其他时间少用。这样比较自然，效果也不错。
　　5.ua设置
　　一般这里不用设置
　　6.交通区域设置
　　首先我们要去掉国外和港澳台地区，根据自己的网站选择国内地区。比如我的关键词是“长沙seo”，那么我要选择的地区就是湖南，其他地区就不用选了。，如果你滑动的词不是区域词，你也可以选择更多的区域。
　　2. 关键词 排名
　　基本设置：这里的基本设置同上，复制我们要扫描的页面排名的网址关键词，可以扫描专栏，可以扫描文章页，也可以扫描首页页面，然后在“搜索引擎”中选择，比如我们使用360搜索引擎，那就选择360搜索引擎，百度等搜索引擎也一样。
　　
　　注意：我们刷的页面关键词一定要收录
进去，否则没有效果，否则会影响我们的网站。
　　3.刷Alexa
　　刷Alexa并没有那么复杂，填写我们的主域名即可。
　　4. 最后一步
　　流量宝首页左下角和右下角都有“优化速度选择”。如果网站SEO基础好，选择高速模式。一般我们选择普通模式，差一点就选择低速模式。
　　也就是说，一个普通家庭养育一个孩子至少要花费70万元。
　　对于大多数普通工薪家庭来说，确实是一笔不小的数目。
　　小夏SEO有话要说：其实不管是什么工具，我们都不能太依赖它。该工具可以在短时间内提高网站的排名，但网站仍然需要优化。没有优化的网站如果只用一些手段，成本会很大，这样就失去了seo的意义。做seo的网站都希望低成本带来转化。
　　最后提醒，新站一定不要用这些工具，新站要好好优化！ 查看全部

　　解决方案:一种基于AI算法自动采集并归类图像的方法及系统与流程
　　一种基于AI算法的图像自动采集分类方法及系统
　　技术领域
　　1.本发明涉及图像处理AI算法技术领域，具体涉及一种基于AI算法的图像自动采集分类方法及系统。
　　背景技术：
　　2、随着AI技术的普及，生活中的很多场景都可以看到智能化改造的身影，其中以计算机视觉识别技术为基础的图像识别技术尤为突出。机器视觉识别是计算机对图像进行处理、分析和理解，以识别各种模式的目标和物体的技术。简单的说，就是让计算机学会从图像中理解图片。深度学习技术是用于理解图像和形成模型的计算机视觉识别技术之一。计算机视觉识别技术可以对大量标记图像进行分析，得到人工智能算法推理模型。通过该模型，可以在更多的场景下使用，实现图像识别过程。
　　3. 然而，在实际的智能化改造场景中，总会存在一般图像库无法分析的图像特征，导致计算机视觉识别技术在实际场景中的表现不尽如人意。而且，如果在图像分类和标注的过程中使用人力，需要大量的人力。
　　技术实现要素：
　　4、针对上述技术问题，本发明的目的在于提供一种基于AI算法的图像自动采集分类方法及系统，以解决普通图片库无法分析的问题图像识别过程中图像的特征，或者大量图像需要人工分析标注和分类带来的人工成本高的问题。
　　5、本发明采用以下技术方案：
　　6、一种基于AI算法的图像自动采集分类方法，包括以下步骤：
　　7、定期从视频设备中采集图像进行处理；
　　8、将待处理图像输入到预设的ai算法模型中，通过ai算法模型得到待处理图像的推理结果；
　　9、根据推理结果对待处理图像进行筛选，得到待处理图像的分类结果，并存储。
　　10、可选的，通过ai算法模型得到待处理图像的推理结果，包括：
　　11、ai算法模型获取预设的图像分类规则和评分规则，根据图像分类规则和评分规则，得到待处理图像的分类结果。
　　12、可选地，推理结果包括待处理图像的推理目标类型、推理目标在待处理图像中的位置、目标对应的推理分数中的一种或多种。
　　13、可选的，根据推理结果对待处理图像进行滤波，得到待处理图像的分类结果并存储，包括：
　　14、剔除待处理图像推理结果中目标类型不满足预设类型范围的待处理图像，剔除推理得分小于预设阈值得分的待处理图像，然后进行分类剩余待处理图像按目标类型存储。
　　15、可选的，所述定时采集视频设备的待处理图像包括：
　　16、按照一定的时间间隔采集视频设备输出的视频数据；
　　17、通过对视频数据进行抓图获取图像或者通过分析视频流获取图像；
　　18.将获取的图片存储到本地，并向本地消息队列推送图片获取消息。
　　19、可选的，ai算法模型采用yolov5模型，通过yolov5模型得到待处理图像的推理结果，存储推理结果，推理结果作为其他ai模型的训练样本.
　　20、一种基于AI算法的图像自动采集分类系统，包括：
　　21、图像采集单元，用于定时采集视频设备的待处理图像；
　　22、推理单元，用于将所述待处理图像输入预设的ai算法模型，通过所述ai算法模型得到所述待处理图像的推理结果；
　　23、分类单元，用于根据推理结果对待处理图像进行筛选，得到待处理图像的分类结果，并存储。
　　24、可选的，所述图像采集单元包括：视频接入模块、定时执行模块、图像采集模块、图像存储模块和本地消息队列模块；其中，
　　25、视频接入模块，用于将视频设备的视频数据连接到图像采集模块；
　　26、定时执行模块，用于按照一定的时间间隔调用图像采集模块，通过对视频数据进行图像采集或分析视频流来获取图像；
　　27、图像存储模块，用于将获取的图像存储在本地；
　　28、本地消息队列模块，用于接收和发送待处理的图像信息。
　　29. 一种电子设备，包括： 至少一个处理器，以及通信连接到所述至少一个处理器的存储器，其中所述存储器存储可由所述至少一个处理器执行的指令，并且所述指令由所述至少一个处理器执行，使得至少一个处理器可以执行基于AI算法的自动采集和分类图像的方法。
　　
　　30、一种计算机存储介质，其上存储有计算机程序，当计算机程序被处理器执行时，实现了基于AI算法的图像自动采集分类方法。
　　31、与现有技术相比，本发明的有益效果是：
　　32、本发明定时从视频设备采集待处理图像，将待处理图像输入到预设的ai算法模型中，通过ai算法模型得到待处理图像的推理结果，并基于推理结果，对待处理图像进行筛选，得到待处理图像的分类结果，并存储；其中，在采集待处理图像的过程中，视频设备可以为实际场景中的视频设备，实际场景中的视频设备采集图像，使图像数据更符合业务场景，而使用这些图像数据训练出来的模型会更贴合实际场景；并且在不更换现有视频设备的情况下采集图像，可减少大量视频设备升级所带来的巨大成本；通过AI算法模型获取待处理图像的推理结果，进而进行图像筛选，可以避免使用通用图像库直接分析图像，无法分析图像特征的问题；同时，一方面可以降低人工筛选成本；另一方面，可以将推理结果保留为图像标注信息，例如可以将推理结果中待处理图像中的目标位置保留为图像标注信息，这样可以减少巨大的人力成本标注图像，也可以用于其他AI模型的训练。通过AI算法模型获取待处理图像的推理结果，进而进行图像筛选，可以避免使用通用图像库直接分析图像，无法分析图像特征的问题；同时，一方面可以降低人工筛选成本；另一方面，可以将推理结果保留为图像标注信息，例如可以将推理结果中待处理图像中的目标位置保留为图像标注信息，这样可以减少巨大的人力成本标注图像，也可以用于其他AI模型的训练。通过AI算法模型获取待处理图像的推理结果，进而进行图像筛选，可以避免使用通用图像库直接分析图像，无法分析图像特征的问题；同时，一方面可以降低人工筛选成本；另一方面，可以将推理结果保留为图像标注信息，例如可以将推理结果中待处理图像中的目标位置保留为图像标注信息，这样可以减少巨大的人力成本标注图像，也可以用于其他AI模型的训练。可以避免使用通用图像库直接分析图像，无法分析图像特征的问题；同时，一方面可以降低人工筛选成本；另一方面，可以将推理结果保留为图像标注信息，例如可以将推理结果中待处理图像中的目标位置保留为图像标注信息，这样可以减少巨大的人力成本标注图像，也可以用于其他AI模型的训练。可以避免使用通用图像库直接分析图像，无法分析图像特征的问题；同时，一方面可以降低人工筛选成本；另一方面，可以将推理结果保留为图像标注信息，例如可以将推理结果中待处理图像中的目标位置保留为图像标注信息，这样可以减少巨大的人力成本标注图像，也可以用于其他AI模型的训练。
　　图纸说明
　　33、图1为本发明实施例提供的基于AI算法的图像自动采集分类方法的流程示意图；
　　34、图2为本发明实施例提供的视频设备自动获取图像的方法流程示意图；
　　35、图3为本发明实施例提供的AI算法对图像进行分类的方法流程示意图；
　　36. 图。图4是根据本发明实施例的基于AI算法的图像自动采集和分类系统的示意图；
　　37. 图。图5为本发明实施例提供的电子设备的结构示意图。
　　详细方法
　　38、下面结合附图和具体实施方法对本发明作进一步说明。需要说明的是，在不冲突的前提下，下述各实施例或者技术特征可以任意组合形成新的实施例：
　　39、实施例一：
　　40、参见图1-5，图1所示的一种基于AI算法的图像自动采集分类方法包括以下步骤：
　　41、步骤s1：定时从视频设备采集待处理图像；
　　42、本实施例中，视频设备可以是实际场景中的视频设备，在实际场景中的视频设备上进行图像采集，使得图像数据更符合业务场景，模型使用这些图像数据进行训练会更符合实际场景。并且采集图像无需更换现有的视频设备，减少了升级大量视频设备的巨大成本。
　　43、步骤s2：将待处理图像输入预设的ai算法模型，通过ai算法模型得到待处理图像的推理结果；
　　44、步骤s3：根据推理结果对待处理图像进行筛选，得到待处理图像的分类结果，并存储。
　　45、可选的，通过ai算法模型得到待处理图像的推理结果，包括：
　　46、ai算法模型获取预设的图像分类规则和评分规则，根据图像分类规则和评分规则，得到待处理图像的分类结果。
　　47、在本实施例中，图像分类规则和评分规则可以根据实际需要进行设置。
　　48、例如，预设评分规则定义为：推理得分为100分，如果待处理图像的目标不在待处理图像的中心位置，则扣50分，推理分值为50分，或者待处理图像的图像分辨率小于预设分辨率，再扣20分，推理分等于满分减去扣除的推理分，即，推理分数=100-50-20=30分。
　　49、可选的，ai算法模型采用yolov5模型，通过yolov5模型得到待处理图像的推理结果，存储推理结果，将推理结果作为其他ai模型的训练样本。
　　50.需要说明的是，yolov5模型起源于cnn的基本思想从分类任务到检测的扩展。它由主干网络、颈部和头部组成。实现步骤包括将数据输入模型，获取推理信息；nms处理获取Forecast信息，此时会获取到所有的预测帧；遍历预测信息，同时获取标签信息进行统计。
　　51. 在实际实现中，承载AI算法模型的硬件设备具体可以包括gpu芯片、计算内存、本地硬盘存储、计算机的通用配置。GPU芯片和计算内存承载AI模型进行推理和使用，本地硬盘用于存储图像数据。.
　　52、具体地，所述推理结果包括所述待处理图像的推理目标类型、所述推理目标在所述待处理图像中的位置、以及所述目标对应的推理分数中的一种或多种。
　　53、可选地，根据推理结果对待处理图像进行滤波得到待处理图像的分类结果并存储，包括：
　　54、去除待处理图像推理结果中目标类型不满足预设类型范围的待处理图像，去除推理得分小于预设阈值得分的待处理图像，然后分类剩余待处理图像按目标类型存储。
　　55、具体实施时，如果待处理图像的推理结果中的目标类型不在预设的类型范围内，则丢弃该待处理图像。
　　56、例如，预设类型范围为人物图像，而待处理图像的推断结果中的目标类型为花卉，则确定待处理图像不满足预设类型范围。
　　57、例如预设阈值分值为60分，如果待处理图像的推理分值为30分，则该待处理图像将被淘汰，不进入分类存储类别；
　　58、如果待处理图像的推理得分为80分，目标类型为人物图像，且预设类型范围为人物图像，则可将待处理图像分类为人物图像并存储.
　　59、可选地，步骤s1可以包括：
　　60、步骤s11：每隔一定时间采集视频设备输出的视频数据；
　　61、步骤s12：通过抓图获取视频数据的图像或者通过分析视频流获取图像；
　　
　　62、在本实施例中，图像抓取可以使用视频设备交付时附带的设备厂商的设备截图能力，视频流获取图像是对视频流进行解析后从视频流中截取图像的能力。
　　63、步骤s13：将采集到的图像存储到本地，并向本地消息队列推送图像采集消息。
　　64、本实施例中，推送图片获取消息具体可以包括图片本地存储地址和设备信息。
　　65、上述实现过程中，定时从视频设备采集待处理图像，将待处理图像输入到预设的ai算法模型中，通过获取待处理图像的推理结果ai算法模型，根据推理结果筛选待处理图像，得到待处理图像的分类结果，并存储；其中，在采集待处理图像的过程中，视频设备可以为实际场景中的视频设备，实际场景中的视频设备采集图像，使图像数据更符合业务场景，而使用这些图像数据训练出来的模型会更符合实际场景。并且无需更换现有视频设备即可获取图像，可减少升级大量视频设备的巨大成本；通过使用AI算法模型获取待处理图像的推理结果，进而进行图像筛选，一方面可以减少人工操作。筛查费用；另一方面，可以将推理结果保留为图像标注信息，例如可以将推理结果中待处理图像中的目标位置保留为图像标注信息，这样可以减少巨大的人力成本标注图像，也可以用于其他AI模型训练。通过使用AI算法模型获取待处理图像的推理结果，进而进行图像筛选，一方面可以减少人工操作。筛查费用；另一方面，可以将推理结果保留为图像标注信息，例如可以将推理结果中待处理图像中的目标位置保留为图像标注信息，这样可以减少巨大的人力成本标注图像，也可以用于其他AI模型训练。通过使用AI算法模型获取待处理图像的推理结果，进而进行图像筛选，一方面可以减少人工操作。筛查费用；另一方面，可以将推理结果保留为图像标注信息，例如可以将推理结果中待处理图像中的目标位置保留为图像标注信息，这样可以减少巨大的人力成本标注图像，也可以用于其他AI模型训练。
　　66. 下面结合具体实施例对本发明的方法进行说明：
　　67. 1. 自动采集视频设备图像；请参阅图2，为本发明视频设备自动获取图像的方法流程示意图。
　　68.1。视频访问；
　　69.2。定时图像采集；
　　70.3。本地存储；
　　71.4。将图像信息发送到消息队列。
　　72. 2.通过AI算法对图片进行分类；请参考图。图3为本发明AI算法对图像进行分类的方法流程示意图；
　　73.1。获取算法启动时需要采集的图像类型规则和评分规则；
　　74.2。得到推理结果后，判断推理结果中收录
的目标类型是否在目标规则规定的范围内，如果不在，则丢弃该图像；
　　75.3。判断推理结果中收录
的目标的推理分数是否高于评分规则设置，若低于规则则丢弃该图像；
　　76.4。根据目标类型对通过目标规则和评分规则规定范围的图像进行分类存储。
　　77.实施例二：
　　78.请参考图4，图4为基于本发明AI算法的图像自动采集分类系统，包括：
　　79、图像获取单元10，用于定时从视频设备获取待处理图像；
　　80、推理单元20，用于将待处理图像输入预设的ai算法模型，通过ai算法模型得到待处理图像的推理结果；
　　81、分类单元30，用于根据推理结果对待处理图像进行筛选，得到待处理图像的分类结果，并存储。
　　82、具体地，图像获取单元10包括：视频访问模块、定时执行模块、图像获取模块、图像存储模块、本地消息队列模块；其中，
　　83、视频接入模块，用于将视频设备的视频数据连接到图像采集模块；
　　84、定时执行模块，用于按照一定的时间间隔调用图像采集模块，通过对视频数据进行图像采集或分析视频流来获取图像；
　　85、图像存储模块，用于将获取的图像存储在本地；
　　86、本地消息队列模块，用于接收和发送待处理的图像信息。
　　87、具体地，推理单元20和分类单元30具体可以包括图像接收模块、ai算法推理模块、图像分类模块、数据存储模块、数据服务器和本地消息队列。获取图像信息，AI算法推理模块将图像信息输入AI模型进行推理并得到推理结果，图像分类模块根据推理结果对图像进行筛选，数据存储模块存储将所选图像的推理信息存入数据服务器。
　　88.实施例三：
　　89、图5为本技术实施例提供的一种电子设备的结构示意图。在本技术中，可以用图5所示的示意图来描述一个基于本技术实施例的AI算法的自动采集。以及图像分类方法的电子设备100。
　　90、如图9所示的电子设备的结构示意图。如图5所示，电子设备100包括一个或多个处理器102、一个或多个存储设备104，这些部件之间通过总线系统和/或其他形式(未示出)互连。值得一提的是，图1所示的电子装置100的组件及结构仅由图1所示的电子装置100构成。
　　如果需要，电子设备可以具有图1所示的一些部件。也可以具有图5中未示出的其他部件和结构。5.
　　91、处理器102可以是中央处理器(cpu)或其他形式的具有数据处理能力和/或指令执行能力的处理单元，并且可以控制电子设备100中的其他组件执行期望的功能。
　　92.存储设备104可以包括一个或多个计算机程序产品，其可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器可以包括例如随机存取存储器（ram）和/或高速缓冲存储器（cache）。非易失性存储器可包括例如只读存储器(rom)、硬盘、闪存等。计算机可读存储介质上可以存储有一个或多个计算机程序指令，处理器102可以执行该程序指令以实现下述技术实施例中描述的功能（由处理器实现）和/或其他期望的功能。各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据，
　　93.本发明还提供了一种计算机存储介质，其上存储有计算机程序。本发明的方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机存储介质中。基于此理解，本发明实现了上述实施例的方法中的全部或部分过程，也可以通过计算机程序指令相关硬件来完成。该计算机程序可以存储在一个计算机存储介质中，该计算机程序在处理器执行时，可以实现上述各方法实施例中的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以是源代码、目标代码、可执行文件或某种中间形式。计算机存储介质可以包括：任何能够承载计算机程序代码的实体或设备、记录介质、U盘、移动硬盘、磁盘、光盘、计算机存储器、只读存储器(rom, read-only memory), Random access memory (ram, random access memory), 电载波信号, 电信信号, 软件分发介质等。需要注意的是，计算机存储介质中收录
的内容可以适当根据司法管辖区的立法和专利实践的要求增加或减少。例如，在一些司法管辖区，根据立法和专利惯例，计算机存储介质不包括电载波信号和电信信号。
　　94、对于本领域的技术人员来说，根据上述技术方案和思想，还可以做出其他各种相应的变化和变形，这些变化和变形均应收录
在本发明的权利要求的保护范围之内。
　　解决方案:NLP之文本匹配及语义匹配应用介绍
　　
　　Pytorch-based Chinese semantic similarity matching model Pytorch-based Chinese semantic similarity matching model 本项目会持续更新，对比目前业界主流的中文文本匹配模型。运行环境：python3.7、pytorch1.2、transformers2.5.1 数据集使用LCQMC数据（对一个句子对进行分类，判断两个句子的语义是否相同（两个分类任务））。因为怀疑数据，所以不提供下载。有需要的可以向官方提交数据申请，解压数据。到数据文件夹。模型评价指标有：ACC、AUC和预测总耗时。Embedding：本项目的输入统一采用分词策略，所以通过维基百科中文语料库，词向量被训练为嵌入。训练语料、向量模型和词汇可通过百度网盘下载。链接： ： 提取码：s830 模型文件：本项目训练的模型文件（不一定是最优的，可以通过超参继续调优），或者通过网盘下载。链接：： 提取码：s830测试集结果对比：模型ACC AUC耗时（s
　　 查看全部

　　解决方案:百度号称人脸识别算法国内第一？安防厂商表示不服...
　　1月20日晚，万众瞩目的“人机大战”在《最强大脑》的舞台上演。最终的结果是，百度的人工智能机器人“小度”战胜了“水哥”王玉衡。游戏规则是两名玩家同时观察3个人的模糊影像，然后从30人中找出将要被选中的3人。然而节目一播出，就遭到不少网友的质疑，“黑幕”、“百度公关广告”之声甚嚣尘上。即使魏医生和王禹衡澄清直播中没有黑幕，也依然无法打消网友的疑虑。
　　视频数据显示，人们戴着口罩和帽子，周围光线昏暗
　　也是人机大战，也是机器打败人类。为什么AlphaGo在世界上取得了震撼的效果，小度却不断被质疑？一个重要的原因是广播方式不同。即使有科学属性，《最强大脑》也只是一档综艺节目，经过后期制作，播放效果远没有直播带来的震撼和真实。
　　事实如何我们不得而知，这也不是我们今天讨论的重点（有兴趣的朋友可以上网搜索，网友和百度都给出了相关解释）。今天我们要说的是，百度号称是国内人脸识别算法第一。有效依据是什么？并且，在安防领域，人脸识别技术到底走到了多远。
　　1个
　　LFW 和 FDDB 排名有意义吗？
　　相信研究过人脸识别算法的同学对LFW和FDDB也有一定的了解。LFW（Labeled Faces in the Wild）和FDDB（Face Detection Data Set and Benchmark）是全球权威的人脸识别检测平台。做人脸识别算法的公司或多或少都会用到LFW和FDDB做检测。
　　LFW 数据库共有 5749 个人的 13233 张图像，其中 1680 个人有两张或更多图像，4069 个人只有一张图像。FDDB和LFW一样，是马萨诸塞大学的人脸数据库。收录
2845张图片，共5171张人脸作为测试集。测试集的范围包括：不同姿势、不同分辨率、旋转和遮挡的图片。
　　
　　百度号称人脸识别算法第一，因为2015年百度在LFW上的准确率达到了99.77%，排名第一。2016年，小米和大华分别获得了FDDB和LFW数据集的第一名。
　　LFW和FDDB的权威性毋庸置疑，但值得说明的是，由于LFW和FDDB的样本是固定的，相当于一场考试。您已经知道这些问题，然后不断改进您的答案。这种计分意义不大。
　　2个
　　人脸识别在安防领域有多厉害
　　当我们谈论人脸识别时，会出现两个常见且重要的概念，即 1:1 和 1:N。
　　简单来说，1:1就是一对一的人脸“核对”，解决的是“这个人是你吗？”的问题。1：N是从众多对象中找出目标人物，解决“这个人是谁”的问题。
　　人脸识别考勤、安检时的身份验证等应用，都是1:1概念下的人脸识别应用。
　　1:N更多的用在安防行业，比如在人多的地方安装人脸识别防控系统。它与1:1最大的区别是1:N采集的是动态数据，会根据位置、环境、光线等不同影响识别的准确性和效果。
　　一个基本的人脸识别布控系统将具备以下功能：
　　
　　(1)人脸抓拍追踪功能
　　人脸抓拍是指在一张图片或一帧视频流中检测到人，并将人从背景中分离出来，并自动保存。人像追踪是指利用人像抓拍技术，在指定人像在相机抓拍范围内移动时自动进行跟踪。
　　(2)人脸识别计算
　　人脸识别分为验证型和搜索型两种比对计算方式。验证方法是指将拍摄的人像或指定的人像与数据库中注册的对象进行比对，判断是否为同一人。搜索式比对是指搜索数据库中所有已注册的人像，查找是否存在指定的人像。
　　(3) 人脸的建模与检索
　　可以对注册的人像数据进行建模，提取人脸特征，生成的人脸模板保存在数据库中。在进行人脸搜索时，对指定的人像进行建模，然后与数据库中所有人的模板进行比对识别，最后根据比对的相似度值列出最相似的人物列表。
　　因此，数据成为提高人脸识别算法性能的关键因素。许多应用更关注低误报条件下的识别性能。比如刷脸支付需要将错误接受率控制在0.00001以内，所以未来的算法改进也会着重于提高低误报的识别率。对于安防监控，可能需要控制在0.00000001以内（比如几十万人的登记库），安防领域的人脸识别技术更具挑战性。
　　随着深度学习的演进，基于深度学习的人脸识别将取得突破性进展。它所需要的只是越来越多的数据和样本。数据和样本越多，重复训练的次数越多，就越容易捕捉到准确的结果，给你准确的答案。因此，当一套人脸识别系统设备全面引入深度学习算法后，几乎完美解决了以往长期存在的各种变化。
　　但即便如此，人脸识别技术仍面临实际应用等诸多挑战。如何在各种复杂场景下成功应用，还需要众多安防厂商的共同努力。
　　解决方案:超智能的AI伪原创工具是？
　　不知道大家有没有注意到，大家在网上看到的伪原创工具，大多只是用于伪原创文章。不过今天要分享的智能AI文章伪原创工具，不仅可以用于文章伪原创，还可以搜索文章。网上这种智能AI伪原创工具的文章应该不多，至少我没见过多少，所以今天想把这个好东西分享给大家，让大家有更便捷的工作方式。就是这款智能伪原创AI软件优采云
，你只需要在优采云
的全网素材中搜索一篇你想写的文章，系统就会对整篇文章进行语义分析软文文字实现智能伪造原创，您可以重新创建一篇新文章。应该只需要正常时间的四分之一，节省大量时间。
　　
　　我们以前在网上找的工具有：搜索文章和伪原创文章是两种不同的工具。但是想要得到伪原创文章，首先要采集
文章，然后再找一个可用的伪原创工具对伪原创文章进行处理。也就是说，如果你想对采集
文章做伪原创处理，但是又没有好的工具，只能直接使用采集
文章。但这往往是无效的，发出文章收录的效果并不好。
　　
　　所以最好的办法是：搜索到的文章可以同时伪原创。如今，随着大家需求的不断涌现，网络上诞生了那种采集
伪原创的工具，也就是今天要说的智能AI文章伪原创工具。有了这样一款智能的AI文章伪原创工具，大家解决文章搜索和文章伪原创问题就方便多了。行动不如心动，赶紧百度一下。 查看全部

　　总结:自动机器学习综述
　　自动化机器学习概述
　　自计算机时代开始以来，科学家和工程师就一直在思考如何像人类一样为计算机注入学习能力。艾伦·图灵（Alan Turing）是最早提出智能理论的科学家之一，该理论设想有一天计算机可以达到与人类相同的智能水平。从那时起，机器学习领域发生了一系列巨大的飞跃。我们已经看到机器学习在许多情况下击败或至少匹配特定的人类认知能力，例如在ResNet，深度残差网络架构或微软的语音转录系统几乎达到人类水平的情况下，在图像识别方面超越人类的表现。
　　机器学习的好处：机器学习的最大好处之一是它可以应用于人类今天面临的几乎所有问题。然而，有了这些好处，也存在一些挑战。
　　痛点：机器学习算法需要针对每个不同的现实场景进行配置和优化。这使得手工工作非常密集，并且需要监督开发的人员花费大量时间。这种手动过程也容易出错、效率低下且难以管理。更不用说缺乏配置和优化不同类型算法的专业知识。自动化
　　机器学习：如果配置、调优和模型选择是自动化的，则部署过程更加高效，人们可以专注于更重要的任务，例如模型可解释性、道德规范和业务成果。因此，机器学习模型构建过程的自动化具有重要的现实意义。
　　转到自动化机器学习
　　注意：在自动化机器学习的定义中，包括：
　　这篇文章将探讨目前可用于上述每个自动化流程的框架，以帮助读者了解当今自动化机器学习的可能性。在探索每个过程之前，让我们简要讨论端到端机器学习过程，并指出每个过程在该过程中发生的位置。
　　从上图中可以清楚地看出，机器学习过程不仅仅包括建模阶段。它还包括问题定义、数据采集
和部署。这篇博文的重点仍将放在“建模”和“部署”阶段。这就是我们想要从自动化角度探索的内容。如果建模和部署阶段可以自动化，专家可以更多地关注问题定义、数据理解、遵守道德标准，并确保部署的模型在不引发任何道德问题的情况下为业务生成有影响力的见解。
　　对于建模和部署阶段的每个部分，我们将探索来自开源社区、谷歌、微软和亚马逊等供应商以及其他参与者的框架。
　　自动特征工程
　　
　　通常，机器学习算法的良好性能在很大程度上取决于模型使用的特征的质量。对于数据科学家来说，特征工程是一项非常手动和劳动密集型的任务，涉及大量的试错、深厚的领域知识，以及（目前）机器不擅长的东西：直觉。自动化特征工程的目的是迭代地创建新的特征集，直到 ML 模型达到令人满意的准确性分数。现在让我们构建我们试图自动化的过程。
　　功能工程过程通常是这样的：例如，从电子商务网站采集
有关客户行为的数据集。作为数据科学家，如果您的数据中还没有新功能，您通常会喜欢创建新功能，例如
　　目的是创建一种算法，从数据自动生成或合成这些类型的特征。现在我们将列出并简要描述一些自动化特征工程的框架。请注意，在称为深度学习的特殊形式的机器学习中，通常通过深度学习模型层中的多个矩阵转换自动从图像、文本和视频中提取特征。我们在这篇文章中讨论的特征工程类型主要涉及结构化事务和关系数据集，尽管我们还将简要讨论深度学习中的特征工程。
　　框架：
　　自动化特征工程仍然是一项艰巨的任务。还有很多争论不支持自动化特征工程，因为它会产生不正确的结果或以不透明的方式使用错误标签对观察进行分类。因此，需要谨慎对待自动化特征工程，尤其是在金融服务等高度监管的环境中，其中可解释性和可解释性在每个决策过程中都至关重要。
　　自动模型选择和超参数调整
　　一旦功能
　　经过预处理后，您需要找到一种机器学习算法来训练这些特征并能够预测新观测值的目标值。与功能工程不同，模型选择具有丰富的选择和选项。有聚类模型、分类和回归模型、基于神经网络的模型、基于关联规则的模型等。每种算法都应用于某一类问题和自动模型选择 对于该模型，我们可以过滤所有适合特定任务的模型的空间，选择产生最高精度（例如最低AIC）或最低误码率（例如RMSE）的模型。可以理解的是，没有机器学习算法在所有数据集上表现最佳（无免费午餐理论），有些算法需要超参数调优。事实上，在选择模型时，我们倾向于尝试不同的变量、不同的系数或不同的超参数。在回归问题中，有一种方法可以使用 F 检验、t 检验、ajdusted R 平方等技术自动选择最终模型中使用的预测变量。这种方法称为逐步回归。但这种方法很容易出错。
　　自动选择模型的框架：
　　
　　神经网络结构选择
　　在机器学习领域，最繁琐的任务之一是设计和构建神经网络架构。通常，人们花费数小时或数天的时间尝试使用不同的超参数迭代不同的神经网络架构，以优化手头任务的目标函数。这既耗时又容易出错。谷歌引入了使用进化算法和强化学习来实现神经网络搜索的想法，以设计和找到最佳的神经网络结构。从本质上讲，这是训练创建一个层，然后堆叠这些层以创建深度神经网络架构。近年来，该领域的研究引起了很多关注，并提出了许多研究论文。以下是该领域所有研究论文的最新列表： 值得注意的研究论文是：
　　自动化部署
　　机器学习的大部分注意力
　　社区专注于学习算法的开发，而不是端到端机器学习过程中最重要的部分，即ML模型的部署和商业化。将机器学习模型部署到生产环境存在许多固有的挑战。
　　有些公司和开源项目正试图自动化这一过程，并最大限度地减少数据科学家的痛苦，因为他们不一定具备DevOps技能。以下是在该领域工作的框架和公司列表：
　　引用：
　　[1] J. M. Kanter 和 K. Veeramachaneni，“深度特征合成：迈向自动化数据科学工作”，IEEE 国际数据科学与高级分析会议，2015 年，第 1-10 页。
　　[2] 自动选型的危险 /743/自动选型的危险/
　　[3] 查找数据中的重要变量 /603/变量重要性/
　　摄影：Rafael Zamoraon Unsplash
　　解决方案:自动网站seo诊断_是否可靠？
　　我们在做SEO的过程中，需要不断管理网站，其实这是在网站的诊断上，有时候
　　因为网站排名的问题，有时候也是定期诊断，防止预防的需要，而这些操作，可以算作自动网站SEO诊断方法，我们经常自己做，而且是补充工具，但有时候，我们也在想，网站SEO自动诊断靠谱吗？
　　1. 常用的网站SEO自动诊断工具有哪些常用
　　的网站SEO自动诊断工具有很多，主要是根据SEOER的使用习惯，所以我们就只讲解一些常用的类型：
　　（1）百度诊所站百度
　　推出百度诊所入口，我们
　　只需要搜索百度诊所就可以登录，就可以显示网站的各种公开信息，包括：浏览器性能、网站证书信息、网站安全信息等，通过这些信息我们可以大致判断网站的健康状况，当然还有很多类似的免费或付费的自动网站SEO诊断工具， 但是我们还是推荐百度诊断站，毕竟老师出门，信息会更准确。
　　
　　（2）资源平台
　　比较权威的也是一个资源平台，在其中我们可以诊断网站最近的抓取、收录、关键词排名等数据，这个数据我们认为是可信的，我们做网站SEO自动诊断，不仅可以仅限于方便，还可以追求数据的准确性。
　　（3） 统计工具
　　做网站SEO自动诊断也可以从数据入手，通过网站统计来
　　做诊断，常用的工具有：站长统计、51拉统计、百度统计等，通过工具更新数据我们可以分析网站流量相关信息。
　　（4） 查询工具
　　SEO查询工具很多，一般常用：站长首页、爱站工具、5118等，
　　
　　这些工具各有优势，如：站长首页权威、爱站工具信任、5118数据全面，因此我们建议大家全面使用，然后再做出判断。
　　以上只是我们常用的自动网站SEO诊断工具，那么这些工具靠谱吗？
　　2.网站SEO自动诊断是否可靠
　　要讨论自动网站SEO诊断是否可靠，我们还需要澄清一个问题，我们网站诊断的目的是什么，如果只是常规诊断，
　　我们认为以上工具完全可以满足我们的需求，而且仍然是免费的，但如果是诊断网站排名，选择上述工具只能说有帮助，并不能有明显的改善，就好像你只有仪器而没有医生，不能完全治疗疑难杂症， 所以我们必须对网站进行深入诊断 你不能选择声称可以自动进行网站诊断的工具，而且这些工具中的大多数都是收费的。SEO诊断
　　是一项思考和体验的工作，不是自动网站SEO诊断就能做的事，所以做网站诊断还是寻求人工诊断。
　　总结：网站SEO自动诊断，是否是靠谱的问题，我们这里讨论一下，以上内容，仅供参考。 查看全部