关于Qwen3 Embedding系列的句子表征
#15
by
Jay-v2
- opened
技术报告中的原话：“文本嵌入方面,我们使用具有因果注意力的LLM,在输入序列的末尾附加一个[EOS]标记。最终嵌 入是从与该[EOS]标记对应的最后一层的隐藏状态中得出的”
但是我实测发现，模型并没有新增标记，仅仅就是取的最后一个token的embedding作为句子表征。比如，对文本“你好”进行embedding，那么这个文本的embdding就是“好”这个token对应的embedding。
因此，请问技术报告中描述的是否有误？因为我发现gte-qwen2系列的Embedding模型，确实是取的[EOS]标记对应的最后一层的隐藏状态中得出的，但Qwen3并没有新增标记。
最新版本的模型我们更新了tokenizer.json 文件，会自动在结尾添加<|eodoftext|> token作为embedding。之前的版本需要手动添加<|eodoftext|> token。