Keras Tokenizer方法到底能做什么？

从源代码：

1. fit_on_texts

   根据文本列表更新内部词汇。 该方法根据词频创建词汇索引。因此，如果您给它类似“猫坐在垫子上”的字样。它将创建一个字典，

   word_index["the"] = 1; word_index["cat"] = 2

   它是单词->索引字典，因此每个单词都会获得一个唯一的整数值。0保留用于填充。因此，较低的整数表示更频繁的单词（通常前几个是停用词，因为它们出现的次数很多）。

2. texts_to_sequences

   将文本中的每个文本转换为整数序列。 因此，它基本上接受文本中的每个单词，并将其替换为

   word_index

   字典中相应的整数值。仅此而已，当然也不会涉及任何魔术。

为什么不合并它们？ 因为您几乎总是适合 一次 并 多次
转换为序列。您将适合您的训练语料库，并

word_index