规则在自然语言处理领域的重要地位

前言：

昨天晚上有个之前在培训机构任教时期的学生，和我沟通自己做了2年Python后端开发了，想向算法方向转型，有哪些需要准备的？

• 接下来呢，我就针对他的这个问题，简单聊一聊；
  1、扎实的代码功底和较强的排BUG能力，是进入算法岗位的最基本要求；
  2、三年前，在我从后端开发岗位转入自然语言处理工程师岗位初期，天真的认为纯粹的依赖算法就可以在自然语言处理工程师岗位上游刃有余，但是随着时间的是深入，我发现我的认知是错误的，针对简单的数据来说，针对bert、textcnn、fasttext、RNN等算法确实游刃有余，但是工作中可不只是简单的数据和简单的任务，更多的是较为复杂且稀缺的数据，以金融领域数据和医疗领域数据为典型代表；最近做了很多华泰证券的自然语言处理任务，才真切的发现，少年不知规则香；
  3、针对规则领域的众多方法，我极力推荐大家重点关注正则，如果是实用角度，建议重点关注search、findall、finditer、compile。
  学习链接：https://www.runoob.com/python/python-reg-expressions.html
  4、规则应用示例代码

    def find_another_name(self, block_dic_ls):
        """
        抽取doc中的别名，添加到dict中
        """
        for block_dic in block_dic_ls:
            block_content = block_dic["block_content"]
            results = self._another_name.findall(block_content)
            for target_content in results:
                mo = re.finditer(r"“[u4e00-u9fa5]{3,6}”", target_content)
                if mo:
                    for ret in mo:
                        if ret.group() in ["“公司”", "“该公司”", "“申请人”", "“本公司”"]:
                            continue
                        else:
                            key = ret.group()[1:-1]
                            if key not in self.dict:
                                self.dict[key] = "ORG"
        self._lac_module.add_user_dict_items(self.dict)

5、以本人在自然语言处理领域三年多的工作经历来看，在目前至少在金融领域内，短期算法为主规则为辅的大格局依然将持续下去。

仅以此篇博客写给励志在自然语言领域有所突破的有缘人，重视算法的同时，适当重视规则的应用，还是那句话，少年不知规则香。