恭喜,您偶然发现了最大的语言问题之一!什么字 有人说,单词是唯一真正代表其含义的单词。语言学的整个领域都涉及词/意义单元-形态学。
我认为您的问题与计算英语单词有关。但是,由于语言上的差异,几乎不可能创建与语言无关的单词计数器/解析器。例如,人们可能认为仅处理由空格分隔的字符组就足够了。但是,如果您使用日语查看以下示例,则会发现该方法不起作用:
语日本语の例文です。
本示例包含3个不同的词,并且没有一个用空格分隔。通常,日语单词边界是使用基于字典的方法来解析的,为此可以使用许多商业库。我们很幸运能有英文空格!我相信印度语,中文和韩文也有类似的问题。
如果将以任何可能的多语言输入方式实际部署此解决方案,那么根据所解析的语言,能够插入不同的字数统计方法就很重要。
我认为第一个答案是一个很好的答案,因为它使用Java的Unipre空格值知识作为分隔符。它通过使用以下正则表达式进行匹配来标记化:
p{javaWhitespace}+


