Мне это понятно. Токенизируйте мысли вместо слов. Затем преобразуйте окончательные мысли в слова для интерпретации.