比正则快M倍以上!Python替换字符串的新姿势

优采云 发布时间: 2022-05-16 01:11

  比正则快M倍以上!Python替换字符串的新姿势

  

  FlashText 算法是由 Vikash Singh 于2017年发表的*敏*感*词*关键词替换算法,这个算法的时间复杂度仅由文本长度(N)决定,算法时间复杂度为O(N)。

  而对于正则表达式的替换,算法时间复杂度还需要考虑被替换的关键词数量(M),因此时间复杂度为O(MxN)。

  简而言之,基于FlashText算法的字符串替换比正则表达式替换快M倍以上,这个M是需要替换的关键词数量,关键词越多,FlashText算法的优势就越明显。

  下面就给大家介绍如何在 Python 中基于flashtext模块使用FlashText算法进行字符串查找和替换,如果觉得对你的项目团队很有帮助,请记得帮作者转发一下哦。

  1.准备

  开始之前,你要确保Python和pip已经成功安装在电脑上,如果没有,可以访问这篇文章:进行安装。

  (可选1)如果你用Python的目的是数据分析,可以直接安装Anaconda:,它内置了Python和pip.

  (可选2)此外,推荐大家用VSCode编辑器,它有许多的优点:。

  请选择以下任一种方式输入命令安装依赖:

  1. Windows 环境 打开 Cmd (开始-运行-CMD)。

  2. MacOS 环境 打开 Terminal (command+空格输入Terminal)。

  3. 如果你用的是 VSCode编辑器 或 Pycharm,可以直接使用界面下方的Terminal.

  pip install flashtext

  2.基本使用

  提取关键词

  一个最基本的提取关键词的例子如下:

  from flashtext import KeywordProcessor<br mpa-from-tpl="t" /># 1. 初始化关键字处理器<br mpa-from-tpl="t" />keyword_processor = KeywordProcessor()<br mpa-from-tpl="t" /># 2. 添加关键词<br mpa-from-tpl="t" />keyword_processor.add_keyword('Big Apple', 'New York')<br mpa-from-tpl="t" />keyword_processor.add_keyword('Bay Area')<br mpa-from-tpl="t" /># 3. 处理目标句子并提取相应关键词<br mpa-from-tpl="t" />keywords_found = keyword_processor.extract_keywords('I love Big Apple and Bay Area.')<br mpa-from-tpl="t" /># 4. 结果<br mpa-from-tpl="t" />print(keywords_found)<br mpa-from-tpl="t" /># ['New York', 'Bay Area']

  其中add_keyword的第一个参数代表需要被查找的关键词,第二个参数是给这个关键词一个别名,如果找到了则以别名显示。

  替换关键词

  如果你想要替换关键词,只需要调用处理器的replace_keywords函数:

  from flashtext import KeywordProcessor<br mpa-from-tpl="t" /># 1. 初始化关键字处理器<br mpa-from-tpl="t" />keyword_processor = KeywordProcessor()<br mpa-from-tpl="t" /># 2. 添加关键词<br mpa-from-tpl="t" />keyword_processor.add_keyword('New Delhi', 'NCR region')<br mpa-from-tpl="t" /># 3. 替换关键词<br mpa-from-tpl="t" />new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.')<br mpa-from-tpl="t" /># 4. 结果<br mpa-from-tpl="t" />print(new_sentence)<br mpa-from-tpl="t" /># 'I love New York and NCR region.'

  关键词大小写敏感

  如果你需要精确提取,识别大小写字母,那么你可以在处理器初始化的时候设定sensitive参数:

  from flashtext import KeywordProcessor<br mpa-from-tpl="t" /># 1. 初始化关键字处理器, 注意设置大小写敏感(case_sensitive)为TRUE<br mpa-from-tpl="t" />keyword_processor = KeywordProcessor(case_sensitive=True)<br mpa-from-tpl="t" /># 2. 添加关键词<br mpa-from-tpl="t" />keyword_processor.add_keyword('Big Apple', 'New York')<br mpa-from-tpl="t" />keyword_processor.add_keyword('Bay Area')<br mpa-from-tpl="t" /># 3. 处理目标句子并提取相应关键词<br mpa-from-tpl="t" />keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.')<br mpa-from-tpl="t" /># 4. 结果<br mpa-from-tpl="t" />print(keywords_found)<br mpa-from-tpl="t" /># ['Bay Area']

  标记关键词位置

  如果你需要获取关键词在句子中的位置,在extract_keywords的时候添加span_info=True参数即可:

  from flashtext import KeywordProcessor<br mpa-from-tpl="t" /># 1. 初始化关键字处理器<br mpa-from-tpl="t" />keyword_processor = KeywordProcessor()<br mpa-from-tpl="t" /># 2. 添加关键词<br mpa-from-tpl="t" />keyword_processor.add_keyword('Big Apple', 'New York')<br mpa-from-tpl="t" />keyword_processor.add_keyword('Bay Area')<br mpa-from-tpl="t" /># 3. 处理目标句子并提取相应关键词, 并标记关键词的起始、终止位置<br mpa-from-tpl="t" />keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.', span_info=True)<br mpa-from-tpl="t" /># 4. 结果<br mpa-from-tpl="t" />print(keywords_found)<br mpa-from-tpl="t" /># [('New York', 7, 16), ('Bay Area', 21, 29)]

  获取目前所有的关键词

  如果你需要获取当前已经添加的所有关键词,只需要调用处理器的get_all_keywords函数:

  from flashtext import KeywordProcessor<br mpa-from-tpl="t" /># 1. 初始化关键字处理器<br mpa-from-tpl="t" />keyword_processor = KeywordProcessor()<br mpa-from-tpl="t" /># 2. 添加关键词<br mpa-from-tpl="t" />keyword_processor.add_keyword('j2ee', 'Java')<br mpa-from-tpl="t" />keyword_processor.add_keyword('colour', 'color')<br mpa-from-tpl="t" /># 3. 获取所有关键词<br mpa-from-tpl="t" />keyword_processor.get_all_keywords()<br mpa-from-tpl="t" /># output: {'colour': 'color', 'j2ee': 'Java'}

  批量添加关键词

  批量添加关键词有两种方法,一种是通过词典,一种是通过数组:

  from flashtext import KeywordProcessor<br mpa-from-tpl="t" /># 1. 初始化关键字处理器<br mpa-from-tpl="t" />keyword_processor = KeywordProcessor()<br mpa-from-tpl="t" /># 2. (第一种)通过字典批量添加关键词<br mpa-from-tpl="t" />keyword_dict = {<br mpa-from-tpl="t" />    "java": ["java_2e", "java programing"],<br mpa-from-tpl="t" />    "product management": ["PM", "product manager"]<br mpa-from-tpl="t" />}<br mpa-from-tpl="t" />keyword_processor.add_keywords_from_dict(keyword_dict)<br mpa-from-tpl="t" /># 2. (第二种)通过数组批量添加关键词<br mpa-from-tpl="t" />keyword_processor.add_keywords_from_list(["java", "python"])<br mpa-from-tpl="t" /># 3. 第一种的提取效果如下<br mpa-from-tpl="t" />keyword_processor.extract_keywords('I am a product manager for a java_2e platform')<br mpa-from-tpl="t" /># output ['product management', 'java']

  单一或批量删除关键词

  删除关键词也非常简单,和添加类似:

  from flashtext import KeywordProcessor<br mpa-from-tpl="t" /># 1. 初始化关键字处理器<br mpa-from-tpl="t" />keyword_processor = KeywordProcessor()<br mpa-from-tpl="t" /># 2. 通过字典批量添加关键词<br mpa-from-tpl="t" />keyword_dict = {<br mpa-from-tpl="t" />    "java": ["java_2e", "java programing"],<br mpa-from-tpl="t" />    "product management": ["PM", "product manager"]<br mpa-from-tpl="t" />}<br mpa-from-tpl="t" />keyword_processor.add_keywords_from_dict(keyword_dict)<br mpa-from-tpl="t" /># 3. 提取效果如下<br mpa-from-tpl="t" />print(keyword_processor.extract_keywords('I am a product manager for a java_2e platform'))<br mpa-from-tpl="t" /># ['product management', 'java']<br mpa-from-tpl="t" /># 4. 单个删除关键词<br mpa-from-tpl="t" />keyword_processor.remove_keyword('java_2e')<br mpa-from-tpl="t" /># 5. 批量删除关键词,也是可以通过词典或者数组的形式<br mpa-from-tpl="t" />keyword_processor.remove_keywords_from_dict({"product management": ["PM"]})<br mpa-from-tpl="t" />keyword_processor.remove_keywords_from_list(["java programing"])<br mpa-from-tpl="t" /># 6. 删除了java programing关键词后的效果如下<br mpa-from-tpl="t" />keyword_processor.extract_keywords('I am a product manager for a java_2e platform')<br mpa-from-tpl="t" /># ['product management']

  3.高级使用

  支持额外信息

  前面提到在添加关键词的时候第二个参数为其别名,其实你不仅可以指示别名,还可以将额外信息放到第二个参数中:

  from flashtext import KeywordProcessor<br mpa-from-tpl="t" /># 1. 初始化关键字处理器<br mpa-from-tpl="t" />kp = KeywordProcessor()<br mpa-from-tpl="t" /># 2. 添加关键词并附带额外信息<br mpa-from-tpl="t" />kp.add_keyword('Taj Mahal', ('Monument', 'Taj Mahal'))<br mpa-from-tpl="t" />kp.add_keyword('Delhi', ('Location', 'Delhi'))<br mpa-from-tpl="t" /># 3. 效果如下<br mpa-from-tpl="t" />kp.extract_keywords('Taj Mahal is in Delhi.')<br mpa-from-tpl="t" /># [('Monument', 'Taj Mahal'), ('Location', 'Delhi')]

  这样,在提取关键词的时候,你还能拿到其他一些你想要在得到此关键词时输出的信息。

  支持特殊单词边界

  Flashtext 检测的单词边界一般局限于 \w [A-Za-z0-9_] 外的任意字符,但是如果你想添加某些特殊字符作为单词的一部分也是可以实现的:

  from flashtext import KeywordProcessor<br mpa-from-tpl="t" /># 1. 初始化关键字处理器<br mpa-from-tpl="t" />keyword_processor = KeywordProcessor()<br mpa-from-tpl="t" /># 2. 添加关键词<br mpa-from-tpl="t" />keyword_processor.add_keyword('Big Apple')<br mpa-from-tpl="t" /># 3. 正常效果<br mpa-from-tpl="t" />print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))<br mpa-from-tpl="t" /># ['Big Apple']<br mpa-from-tpl="t" /># 4. 将 '/' 作为单词一部分<br mpa-from-tpl="t" />keyword_processor.add_non_word_boundary('/')<br mpa-from-tpl="t" /># 5. 优化后的效果<br mpa-from-tpl="t" />print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))<br mpa-from-tpl="t" /># []

  4.结尾

  个人认为这个模块已经满足我们的基本使用了,如果你有一些该模块提供的功能之外的使用需求,可以给 flashtext 贡献代码:

  附 FlashText 与正则相比查询关键词所花费的时间之比:

  

  附 FlashText 与正则相比替换关键词所花费的时间之比:

  

  这篇文章如果对你有帮助的话,记得转发一下哦。

  我们的文章到此就结束啦,如果你喜欢今天的Python 实战教程,请持续关注Python实用宝典。

  近期文章<p style="outline: 0px;max-width: 100%;color: rgb(63, 63, 63);font-size: 15px;letter-spacing: 0px;white-space: normal;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">视频专栏课 | Python网络爬虫与文本分析

  读完本文你就了解什么是文本分析<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />

  综述:文本分析在市场营销研究中的应用<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />

  Pandas库 | 高速读取csv文件的方法<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />

  如何在DataFrame中使用If-Else条件语句创建新列<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />

  BERTopic 主题建模库 | 建议收藏<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />

  Top2Vec | 主题建模和语义搜索库<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />

  案例实战 | 企业信息数据采集<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />

  使用文本相似度可以识别变化的时间点<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />

  PNAS | 文本网络分析&文化桥梁Python代码实现<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />

  tomotopy | 速度最快的LDA主题模型

  dvt | 视觉文化分析的Python工具包

  Stargazer库 | 创建漂亮可发表的多元回归表

  人文社科类Python免费教程列表

  量化历史语言学-贝叶斯语言谱系分析

  Python与文化分析入门

  Backtrader库 | 均线买入卖出策略实现

  在会计研究中使用Python进行文本分析<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />

  文本分析方法在《管理世界》(2021.5)中的应用

  hiResearch 定义自己的科研首页

  SciencePlots | 科研样式绘图库

  Wow~70G上市公司定期报告数据集<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;" />

  漂亮~pandas可以无缝衔接Bokeh  

  YelpDaset: 酒店管理类数据集10+G</p>

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线