分词和嵌入的关系

前言

2025-04-04 11:41:32 Friday

参考博客：

• 通俗易懂讲解 word2vec
• 从 NNLM 到 word2vec
• NNLM 详细的代码实现

分词和嵌入的关系

• 分词和嵌入是上下游关系： 分词决定如何拆解文本，嵌入决定如何用数字表示拆解后的单元
• 现代模型（如 BERT）是端到端的： 分词和嵌入通常被封装在同一个框架中，用户只需输入原始文本
• 流程示例：原始文本 → Tokenization → [token_id1, token_id2, ...] → Embedding 查找 → [embedding1, embedding2, ...]