采集器的自动识别算法(说明书基于图像识别的餐饮行业的自动收费方法及系统技术领域)

　　采集器的自动识别算法(说明书基于图像识别的餐饮行业的自动收费方法及系统技术领域)

　　四、使用说明

　　基于图像识别的餐饮业自动收费方法及系统

　　技术领域

　　[0001] 本发明涉及一种基于图像识别的餐饮行业自动收费方法及系统。

　　背景技术

　　[0002] 目前餐饮计费有3种方式：

　　[0003] 1、全人工计费

　　[0004] 2、 预储值卡计费（即吃饭时申请预储值卡，消费后退卡结算费）

　　[0005] 3、 RFID芯片识别（RFID是一种射频识别芯片。每个碗的底部都贴有一个RFID芯片。用碗的颜色或大小来区分价格。需要预先根据碗的大小和颜色一一预先定价）。这是目前唯一可以实现无人计费的解决方案。这种方案的缺点是成本高。每个碗底都需要贴一个RFID芯片，但RFID只能给碗定价，不能让识别器识别出是什么菜，然后对菜收费。而且并不是所有的食物都能贴上RFID芯片，比如一次性纸杯里的饮料或者一些零散的食物，因为RFID芯片的成本很高，如果不回收，就会造成巨大的浪费。所以，现有技术的缺点非常明显。总结起来就是：使用成本高，灵活性极差，维护麻烦，管理成本高，应用范围很窄。尤其是第三种，作为目前可行的无人收费方案，还不能完全解决计费问题。所以适用范围很窄，很少见到有餐厅。

　　[0006] 针对上述不足，设计者积极研究和创新，以创造一种基于图像识别的餐饮行业自动收费方法和系统，使其在行业中更具价值。

　　发明内容

　　[0007] 为解决上述技术问题，本发明的目的是解决目前快餐行业必须依靠人工充电和充电的问题，即解决提供一种全自动无人餐饮行业基于图像识别的收费收费 自动收费方法及系统。

　　[0008] 本发明的基于图像识别的餐饮行业自动收费方法包括：

　　[0009] 将待支付的食物放置在预设的图像采集区域，通过具有深度检测功能的*敏*感*词*获取食物图像；

　　[0010] 对食品图像进行分析，分离出收录

食品价格的识别图像；

　　[0011] 对识别图像进行图像增强，对识别图像进行分类，通过相应类型的识别图像识别方法对识别图像进行识别，确定相应的食品价格，其中，识别图像的类型包括：食品包装上的二维码或条形码，盛放食品的餐具的形状和颜*敏*感*词*像，以及食品本身的图像；_

　　[0012] 消费者使用微信、支付宝或其他自助支付方式进行支付。

　　[0013] 进一步地，所述识别图像的识别方法包括：

　　[0014] 若识别图像为二维码或条形码，则通过可识别条形码或二维码的开源软件库获取待支付食品的价格信息；

　　[0015] 如果识别图像为盛放食物的餐具的形状、彩*敏*感*词*像或食物本身的图像，则将识别图像与图像价格对应数据库中预先存储的模板图像进行匹配，如果found 如果匹配到匹配图片，则获取匹配图片对应的价格信息；如果没有找到匹配的图像，则发出告警信息，并将识别图像和识别图像对应的价格信息更新到图像-价格对应数据库中。

　　[0016] 进一步地，还包括使用谷歌的TensorFlow开源软件库对盛放食物的餐具的形状、彩*敏*感*词*像或食物本身的图像进行数据训练。具体训练步骤包括：

　　[0017] 将食物或带有食物的餐具置于*敏*感*词*下方，*敏*感*词*从至少两个不同的角度获取食物或带有食物的餐具的图像，并获取食物在餐具中放置的至少两种不同方式的图像。对同一种食物或同一种餐具与食物一起拍摄5-8张不同的图像；

　　[0018] 使用1^?, 0 must(^, 0£00、11:(: 特征采集算法来采集特征数据；

　　[0019] 为得到的识别图像和特征数据设置相应的标签，并输出到TensorFlow软件。TensorFlow软件用于自动完成无监督训练和建模；其中，如果在训练过程中出现冲突，也就是无法区分两种食物。如果率出来，根据TensorFlow的冲突解决规则重新拍照并重新训练或添加更多维度和更多类型的特征数据。

　　[0020] 进一步地，“霍夫寻圆算法”用于找出所有具有圆形嘴的餐具，“霍夫寻线算法”用于将找到的线条闭合，并在闭合图形中找出所有矩形。轮廓，可以确认方形餐具。餐具确认后，使用相同坐标从彩*敏*感*词*像中提取餐具中的彩*敏*感*词*像，将识别出的图像添加到提取的特征数据中，提交给TensorFlow进行识别，确认支付食品价格信息。[0021] 进一步地，还包括防作弊处理，防作弊处理包括：判断待支付的食物是否完全放置在预设的图像采集区域内，

　　[0022] 如果待支付的食物在预设的图像采集区域内，则获取待支付的食物的食物图像，并判断获取到的食物中是否存在食物以外的异物图像。食品图片，如果是，则发出报警信息，如果不是，则存储待支付食品的食品图片；

　　[0023] 如果待支付的食物不在预设的图像采集区域内，则发出声光报警信息。

　　[0024] 进一步地，还包括防盗处理，具体包括：在取餐盘处设置单向入口门，在出口处设置单向出口门，将出口门连接到*敏*感*词*注册电脑，每次支付成功，可以派一个人到闸口，强行突破只能导致闸口报警；

　　[0025] RFID芯片贴在食品的外包装或盛放食品的餐具上，所有计费食品RFID都会被记录下来。如果未付款的食物通过大门，警报就会响起。

　　[0026] 本发明的基于图像识别的餐饮行业自动收费系统包括：

　　[0027] 一种具有深度检测功能的*敏*感*词*，将待支付的食物放置在预设的图像采集区域，通过具有深度检测功能的*敏*感*词*获取食物图像；

　　[0028] 用于获取待收费食品的食品图像，对食品图像进行分析，分离出收录

食品价格的识别图像；

　　[0029] 图像预处理单元，用于对食物图像进行分析，分离出收录

食物价格的识别图像；

　　[0030] 食品价格确定单元，用于对识别图像进行图像增强，对识别图像进行分类，采用相应类型的识别图像识别方法对识别图像进行识别，并确定相应的食品价格，其中，识别图像包括：食品外包装上的二维码或条形码、盛放食品的餐具的形状和颜*敏*感*词*像、食品本身的图像；

　　[0031] 支付单元用于消费者通过微信、支付宝或其他自助支付方式进行支付。

　　[0032] 进一步地，还包括特征数据训练单元，用于使用谷歌的TensorFlow开源软件库对盛放食物的餐具的形状、彩*敏*感*词*像或食物本身的图像进行数据训练。具体训练步骤包括：

　　[0033] 将食物或带有食物的餐具置于*敏*感*词*下方，*敏*感*词*从至少两个不同的角度获取食物或带有食物的餐具的图像，并获取将食物放入餐具中的至少两种不同方式的图像。对同一种食物或同一种餐具与食物一起拍摄5-8张不同的图像；

　　[0034] 使用LBP、Gabor、CEDD、LCC特征采集算法对每幅图像采集特征数据；

　　[0035] 为得到的识别图像和特征数据设置相应的标签，并输出到TensorFlow软件。TensorFlow软件用于自动完成无监督训练和建模；其中，如果在训练过程中出现冲突，也就是无法区分两种食物。如果率出来了，根据TensorFloww的冲突解决规则重新拍照并重新训练或添加更多维度和更多类型的特征数据。

　　[0036] 进一步地，还包括防作弊单元，用于判断待支付的食物是否完全放置在预设的图像采集区域中，其中计算食物边缘或用于盛放食物的餐具的边缘来确定食物的完整性 待付款食物是否放置在预设图像采集区域内，通过计算食物与*敏*感*词*的距离，判断待付款食物是否放置在预设图像采集区域内；

　　[0037] 若待支付的食物在预设的图像采集区域内，则获取待支付的食物的食物图像，并判断所获取的食物中是否存在食物以外的异物图像。食品图片，如果是，则发出报警信息，如果不是，则存储待支付食品的食品图片；

　　[0038] 如果待支付的食物不在预设的图像采集区域内，则发出声光报警信息。

　　[0039] 进一步地，还包括防盗单元，防盗单元包括：设置在取餐盘处的单向入口门，设置在出口处的单向出口门，以及出口闸机与收银机电脑相连，每次支付成功后，可在闸机内放置一个人，强行闯入只会导致闸机报警；其中，食品包装或盛放食品的餐具上有RFID芯片，所有账单已支付，食品RFID将被记录下来，未支付的食品通过闸机时会发出警报。

　　[0040] 采用上述方案，本发明至少具有以下优点:

　　[0041] 1、 本发明的成本非常低，远低于RFID。如今，餐厅一般都配备至少一台家用电脑。这项技术只需要再增加一个*敏*感*词*，没有其他成本。

　　[0042] 2、 本发明具有很强的灵活性。商家只需要在后台系统操作，自己定义菜品，占地面积小，只有电脑主机+显示器+*敏*感*词*的占地面积。

　　[0043] 3、 本发明的维护成本非常低。只需要维护电脑主机和*敏*感*词*没有问题，系统本身不需要维护

　　[0044] 4、 本发明的集成系统成本低。无需购买一套收银软件，系统将拥有自己的收银和会计财务管理功能。

　　[0045] 以上描述仅为本发明技术方案的概述。为使本发明的技术手段有更清楚的理解，并能根据说明书的内容实施，下面结合详细说明对本发明的优选实施例进行说明。

　　详细说明

　　[0046] 下面结合实施例对本发明的具体实施作进一步详细说明。以下实施例用于说明本发明，但不用于限制本发明的范围。

　　示例 1

　　[0048] 本实施例中基于图像识别的餐饮行业自动收费方法包括：

　　[0049] 将待支付的食物放置在预设的图像采集区域，通过具有深度检测功能的*敏*感*词*获取食物图像；

　　[0050] 对食品图像进行分析，分离出收录

食品价格的识别图像；

　　[0051] 对识别图像进行图像增强，对识别图像进行分类，通过相应类型的识别图像识别方法对识别图像进行识别，确定相应的食品价格，其中，识别图像的类型包括：食品包装上的二维码或条形码，盛放食品的餐具的形状和颜*敏*感*词*像，以及食品本身的图像；

　　[0052] 消费者使用微信、支付宝或其他自助支付方式进行支付。

　　[0053] 本实施例中，识别识别图像的方法包括：

　　[0054] 若识别图像为二维码或条形码，则通过可识别条形码或二维码的开源软件库获取待支付食品的价格信息；

　　[0055] 如果识别图像为盛放食物的餐具的形状、彩*敏*感*词*像或食物本身的图像，则将识别图像与image_price对应数据库中预先存储的模板图像进行匹配，如果找到匹配匹配图像，得到匹配图像对应的价格信息；如果没有找到匹配的图像，则发出告警信息，并将识别图像和识别图像对应的价格信息更新到图像-价格对应数据库中。

　　示例 2

　　[0057] 本实施例的基于图像识别的餐饮行业自动计费方法，在实施例1的基础上，还包括使用谷歌的TensorFlow开源软件库来确定餐具或食物的形状、颜*敏*感*词*像本身。图像数据训练的具体训练步骤包括：

　　[0058] 将食物或带有食物的餐具置于*敏*感*词*下方，*敏*感*词*从至少两个不同的角度获取食物或带有食物的餐具的图像，并获取将食物放入餐具中的至少两种不同方式的图像。对同一种食物或同一种餐具与食物一起拍摄5-8张不同的图像；

　　[0059] 使用1^, 6&1)〇1^£00(:(:特征采集算法来采集每幅图像的特征数据；

　　[0060] 为得到的识别图像和特征数据设置相应的标签，并输出到TensorFlow软件。TensorFlow软件用于自动完成无监督训练和建模；其中，如果在训练过程中出现冲突，gp的两种食物无法区分，如果率出来了，根据TensorFloww的冲突解决规则重新拍照重新训练或者增加更多维度和更多类型的特征数据。

　　[0061] “霍夫寻圆算法”用于找到所有圆口餐具，“霍夫寻线算法”用于将找到的线条闭合，并找到闭合图形的所有矩形轮廓，即即，方型餐具可以确认。餐具确认后，使用相同坐标从彩*敏*感*词*像中提取餐具中的彩*敏*感*词*像，将识别图像添加到提取的特征数据中，然后发送到TensorFlow进行识别，食物的价格为被支付的是确定的信息。

　　实施例三

　　[0063] 本实施例的基于图像识别的餐饮业自动收费方法，在实施例1的基础上，还包括防作弊处理，防作弊处理包括:判断待支付的食物是否完全放置在预设的图像采集区域中，通过计算食物边缘或盛放食物的餐具边缘的完整性来判断待支付的食物是否放置在预设图像采集区域中，以及通过计算食物与*敏*感*词*的距离来判断待支付的食物是否放置在预设的图像采集区域内；

　　[0064] 如果待支付的食物在预设的图像采集区域内，则获取待支付的食物的食物图像，并判断是否存在食物以外的异物图像获取到的食物图片，如果有则发出告警信息，如果没有，则存储待支付食物的食物图片；

　　[0065] 如果待支付的食物不在预设的图像采集区域内，则发出声光报警信息。

　　[0066] 本实施例还包括防盗处理。防盗处理具体包括：在取餐盘处设置单向入口门，在出口处设置单向出口门，将出口门连接到收银机。电脑，每次支付成功，可以派一个人到闸口，强行突破只能导致闸口报警；

　　[0067] RFID芯片贴在食品的外包装或盛放食品的餐具上，所有计费食品RFID都会被记录下来。如果未付款的食物通过大门，警报就会响起。

　　[0068] 为了防止消费者逃避餐费，还包括防作弊处理，包括：计算食物与*敏*感*词*的距离，推断食物的放置位置是否准确；或通过计算食物边缘的完整性并识别非预设食物异物来报警。

　　[0069] 同时，还包括：在取餐盘的地方设置单向入口门，在出口设置单向出口门，将出口门与收银计算机连接。每次支付成功一次，闸机可以放一个人过去，强行突破只能导致闸机报警；

　　[0070] RFID芯片贴在食品的外包装或盛放食品的餐具上，所有计费食品RFID都会被记录下来。如果未开票的食物通过大门，警报就会响起。

　　[0071] 本实施例共包括图像分析、特征识别、图像分类、计费、计费5个步骤，即5个技术方案。此外，还有反作弊程序。

　　[0072] 图像分析：分析是否有需要充电的食物完全进入*敏*感*词*下方。这个分析过程主要是通过形状识别（圆形、椭圆形、方形等碗盘）和颜色分离（碗盘与食物的分离）来实现的。[0073] 特征识别：特征识别过程将识别分离图像的前一步。特征，寻找明显的特征信息，例如带有二维码或条形码的食物、预先设定价格的碗（如红碗5元、红碗8元、绿碗。碗10元一碗，与碗内内容无关），以及其他不符合以上两个特征的食物图片

　　[0074] 图像分类：对特征识别过程中发现的识别图像进行增强，擦除与识别图像无关的所有内容，然后利用深度学习技术对识别图像进行分类，确定对应的食物种类到每组特征

　　[0075] 计费：根据图像分类器的分类结果，如果是二维码或条码，则对条码进行计费。图像分类器输出的分类是收费的。[0076] 防作弊解决方案：

　　[0077] 1)，算法部分。例如，如果顾客堆放了两块食物，前一块完全覆盖了下一块，算法可以通过双目*敏*感*词*计算出食物与*敏*感*词*之间的距离，并猜测食物是否放置准确（计算基于板的放置）相机和相机之间的相对高度是固定的）。或者顾客用一张纸盖住食物，算法可以通过计算盘子上食物边缘的完整性并识别非预设食物以外的异物来报警。

　　[0078]2)，按照流程不收费的部分。只需要在取餐盘的地方设置一个入口大门，大门只能进不能出。并在出口处设置一个出入口，只能出去不能进去。出入口与收银电脑相连，每次支付成功，一个人可以通过。强行冲撞只能导致闸机报警。

　　[0079]3)，防止计费部分被恶意规避。这个预防方案是使用RFID辅助，将rFID芯片贴在餐盘和碗底，所有计费食品RFID都会被记录下来。如果未付款的食物通过大门，警报就会响起。此计划是销售时的可选补充计划，并非强制性的。

　　示例 4

　　[0081] 本实施例中基于图像识别的餐饮行业自动收费系统包括：

　　[0082] 一种具有深度检测功能的*敏*感*词*，将待支付的食物放置在预设的图像采集区域，通过具有深度检测功能的*敏*感*词*获取食物图像；

　　[0083] 用于获取待收费食品的食品图像，对食品图像进行分析，分离出收录

食品价格的识别图像；

　　[0084] 图像预处理单元，用于对食物图像进行分析，将收录

食物价格的识别图像划分为i$r 3±zi 仍然没有米；

　　[00K] 食品价格确定单元，用于对识别图像进行图像增强，对识别图像进行分类，采用相应类型的识别图像识别方法对识别图像进行识别，并确定相应的食品价格，其中，识别图像包括：食品外包装上的二维码或条形码、盛放食品的餐具的形状和颜*敏*感*词*像、食品本身的图像；

　　[0086] 支付单元用于消费者通过微信、支付宝或其他自助支付方式进行支付。

　　[0087] 本实施例购买普通中端（或以上）配置级别的家用电脑，配置双目（并支持深度检测）*敏*感*词*。

　　[0088] 准备一个大于*敏*感*词*最大可视区域的桌面。摄像机可以从天花板吊起，也可以使用悬臂或支架进行安装。一般固定在离桌面35~60厘米的高度（具体高度取决于相机的视角和餐厅购买的盘子的大小）。用于放置识别盘的桌面颜色必须与盘有明显对比。如果餐盘是深色的，桌面必须是白色的；如果餐盘是白色的，桌面必须是黑色的。

　　[0089] 电脑的放置位置是任意的，只要电脑的显示器和*敏*感*词*可以正常连接电脑即可。旋转门的购买由餐厅自行选择。如果餐厅认为顾客更有意识，则无需购买旋转门。否则，您需要购买旋转门。

　　[0090] 本发明采用电脑加*敏*感*词*，将*敏*感*词*固定在某个位置，对收银台进行拍照。顾客将所选食物的盘子放在*敏*感*词*下的指定范围内，计算机识别图像中的物品，结算完成，盘子上的食物品种名称和支付总额显示在盘子上显示屏。客户使用微信/支付宝等无*敏*感*词*方式扫描二维码进行支付。

　　示例 4

　　[0092] 本实施例的基于图像识别的餐饮行业自动收费系统，在实施例1的基础上，还包括特征数据训练单元，用于利用谷歌的TensorFlow开源软件库检查盛放食物的餐具的具体训练步骤包括：

　　[0093] 将食物或带有食物的餐具置于*敏*感*词*下方，*敏*感*词*从至少两个不同的角度获取食物或带有食物的餐具的图像，并获取将食物放入餐具中的至少两种不同方式的图像。对同一种食物或同一种餐具与食物一起拍摄5-8张不同的图像；

　　[0094] 使用LBP、Gabor、CEDD、LCC特征采集算法对每幅图像采集特征数据；

　　[0095] 为得到的识别图像和特征数据设置相应的标签，并输出到TensorFlow软件。TensorFlow软件用于自动完成无监督训练和建模；其中，如果在训练过程中出现冲突，也就是无法区分两种食物。如果率出来了，根据TensorFlcmw的冲突解决规则重新拍照重新训练或者增加更多维度和更多类型的特征数据。

　　例 5

　　[0097] 在本实施例中，一种基于图像识别的餐饮行业自动收费系统，在实施例1的基础上，

　　[0098] 还包括防作弊单元，用于判断待支付的食物是否完全放置在预设的图像捕获区域中，其中计算食物边缘或用于盛放食物的餐具的边缘来确定待支付的食物是否完整放置在预设的图像采集区域中，通过计算食物与*敏*感*词*的距离，确定待支付的食物是否放置在预设的图像采集区域内；

　　[0099] 如果待支付的食物在预设的图像采集区域内，则获取待支付的食物的食物图像，并判断获取到的食物中是否存在食物以外的异物图像食品图片，如果是，则发出报警信息，如果不是，则存储待支付食品的食品图片；

　　[0100] 如果待支付的食物不在预设的图像采集区域内，则发出声光报警信息。

　　[0101] 本实施例还包括防盗单元，防盗单元包括：设置在取餐盘处的单向入口闸门，设置在出口处的单向出口闸门，以及出入口连接 收银台处的电脑，每次支付成功，可传递一个人到出入口。强行破坏只能引起闸门报警；其中，RFID芯片贴在食品的外包装或盛放食品的餐具上，所有的开票都会对通过的食品RFID有一个记录，如果通过*敏*感*词*口就会发出警报。如果机器没有充电。

　　[0102] 本发明利用计算机和*敏*感*词*将*敏*感*词*固定在某个位置，对收银台进行拍照。顾客将所选食物的盘子放在*敏*感*词*下的指定范围内，计算机识别图像中的物品，结算完成，盘子上的食物品种名称和支付总额显示在盘子上显示屏。客户使用微信/支付宝等无*敏*感*词*方式扫描二维码进行支付。

　　[0103] 本发明的防作弊技术由三部分组成：

　　[0104] 1)，算法部分。例如，当顾客堆叠两块食物时，前一块完全覆盖下一块。该算法可以计算食物与*敏*感*词*之间的距离，从而预测食物是否放置准确（计算是根据盘子和*敏*感*词*的放置位置，它们之间的相对高度是固定的）。或者顾客用一张纸盖住食物，算法可以通过计算盘子上食物边缘的完整性并识别非预设食物以外的异物来报警。

　　[0105]2)，不按流程收费的部分。只需要在取餐盘的地方设置一个入口大门，大门只能进不能出。并在出口处设置一个出入口，只能出去不能进去。出入口与收银电脑相连，每次支付成功，一个人可以通过。强行冲撞只能导致闸机报警。

　　[0106]3)，防止计费部分被恶意规避。这个预防计划是使用RFID辅助。RFID 芯片贴在盘子和碗的底部。所有计费食品 RFID 都将被记录。如果未付款的食物通过大门，警报就会响起。此计划是销售时的可选补充计划，并非强制性的。

　　[0107] 本发明的食品类别识别方式有三种，分别是：碗型识别、预包装包装上的条码/二维码识别、图像直接食品识别。

　　[01 08]上述方法可以通过本系统实施例实现，该系统也可以应用于本方法实施例。

　　[0109] 以上仅为本发明的优选实施例而已，并不用于限制本发明。需要说明的是，对于本领域普通技术人员来说，还可以进行一些改进和修改，这些改进和修改也应视为本发明的保护范围。