tokens是什么意思，tokens是什么意思中文

1、在语料库语言学中，会计算文本的tokens和typestokens指的是“形符”，就是文本中出现的所有词的个数types指的是“类符”，就是文本中出现的不重样的词的个数比如，有一个两句话的文本IamaboyIamaboy那么这个文本里面有8个tokens，有4个types两个数值可