1. RNN歌词生成器中的词表构建实战
上周用RNN做了个歌词生成器,在构建词表环节踩了不少坑。今天就把这个看似简单实则暗藏玄机的关键技术点拆解清楚,尤其针对中文歌词这种特殊文本的处理技巧。
提示:词表质量直接影响模型对歌词风格和语义的理解能力,建议在构建阶段投入至少30%的预处理时间
1.1 为什么需要专门构建词表
在常规NLP任务中直接调用现成的tokenizer看似方便,但生成歌词时需要特别处理三个问题:
- 押韵保留:中文歌词的"了"、"着"等虚词对押韵至关重要。通用分词器会将其合并为[UNK],而我们需要保留为独立token
- 专有名词识别:歌手常创造独特词汇(如周杰伦的"哎呦"),需要人工校验加入词表
- 标点符号策略:歌词中的"~"、"..."等符号影响节奏感,需作为特殊token保留
我采用的解决方案是组合使用jieba分词与人工规则:
python复制import jieba
from collections import Counter
# 添加歌手专属词典
jieba.load_userdict("custom_words.txt")
def build_vocab(texts, min_freq=3):
words = []
for text in texts:
# 保留原始标点
seg_list = jieba.lcut(text, cut_all=False)
words.extend([w for w in seg_list if w.strip()])
# 过滤低频词
word_counts = Counter(words)
vocab = {word:i for i,(word,count) in enumerate(word_counts.items())
if count >= min_freq}
# 强制保留高频虚词
must_keep = ['了', '着', '过', '的', '地']
for word in must_keep:
if word not in vocab:
