这里确实没有很好的解决方案。您猜对了，因为您怀疑Python可能是最好的启动方式，因为它对正则表达式的强大支持。
为了实现这样的功能，对SEO（搜索引擎优化）的深入了解会有所帮助，因为有效地优化搜索引擎网页可以告诉您搜索引擎的行为方式。我将从SEOMoz这样的网站开始。
至于识别“关于我们”页面，您只有两个选项：
a）对于每个页面，获取关于我们页面的链接，并将其提供给您的搜寻器。
b）解析页面的所有 链接 以获得某些关键字，例如“关于我们”，“关于”，“了解更多信息”或诸如此类。
在使用选项b时，要小心，因为您可能陷入无限循环，因为网站将多次链接到同一页面，尤其是如果链接位于页眉或页脚中，则页面甚至可能会链接回自身。为避免这种情况，您需要创建一个已访问链接的列表，并确保不要重新访问它们。
最后，我建议您在
robot.txt文件中包含关于爬虫的说明，最好不要遵循标记
rel="nofollow"为链接的链接，因为这些链接主要用于外部链接。同样，通过阅读SEO来学习更多内容。
问候，
