大语言模型输入表示：从字节到语义的革新方法

1. 从字节到语义：重新思考大语言模型的输入表示

在自然语言处理领域，文本表示一直是核心挑战。传统方法通过分词器（tokenizer）将文本转换为离散符号，但这种做法存在诸多限制。本文将介绍一种基于Unicode字节组合的嵌入方法，它直接处理原始字节流，让模型自行学习文本的组合规律。

关键突破：不再依赖外部分词器，而是让Transformer架构直接处理UTF-32编码的字节序列，通过组合基础字节嵌入来构建语义表示。

1.1 传统分词的问题

当前主流大语言模型（如GPT系列）普遍采用Byte Pair Encoding（BPE）分词算法。这种方法存在三个本质缺陷：

1. 组合性缺失：将"running"拆分为"run"和"ning"后，模型无法感知原始单词的形态变化规律
2. 语义割裂：分词后的索引与Unicode编码完全脱节，数字"201"与其相邻数值"200"、"202"在嵌入空间可能毫无关联
3. 扩展困难：遇到新词或专业术语时，必须修改分词器词汇表

python复制# 典型BPE分词结果示例
text = "2014年GDP增长7.8%"
tokens = tokenizer.encode(text)  # 可能输出[201, 4, 年, GDP, 增长, 7, ., 8, %]

1.2 Unicode作为基础表示

Unicode标准已经为所有现代文字系统建立了完整的编码体系。我们的方案直接使用UTF-32-BE编码的字节流作为模型输入：

1. 每个字符对应4个字节（32位）
2. 字节值范围在0-255之间
3. 保留完整的文字组合信息

code复制字符 "A" → UTF-32-BE → 00 00 00 41(十六进制)
汉字 "语" → UTF-32-BE → 00 08 A1 9D

2. 组合嵌入架构设计

2.1 输入处理管道

输入文本经过以下转换流程：

1. 编码阶段：

   • 文本→UTF-32-BE→字节序列（如"A"→[0,0,0,65]）
   • 序列长度扩展为4倍（每个字符→4字节）

2. 嵌入阶段：

   • 建立256×E的字节嵌入矩阵（E=单个字节的嵌入维度）
   • 每组T个字节对应一个"token"的嵌入表示
   • 通过拼接得到最终嵌入：T×E → 模型维度D

python复制class CompositeEmbedding(tf.keras.layers.Layer):
    def __init__(self, embed_dim=64, token_length=32):
        super().__init__()
        self.byte_embed = tf.keras.layers.Embedding(256, embed_dim)
        self.token_length = token_length
        
    def call(self, inputs):
        # inputs: [batch, seq_len] of byte values
        batch_size = tf.shape(inputs)[0]
        seq_len = tf.shape(inputs)[1]
        
        # 重塑为[batch, seq_len//token_length, token_length]
        reshaped = tf.reshape(inputs, [batch_size, -1, self.token_length])
        
        # 获取每个字节的嵌入[batch, chunks, token_length, embed_dim]
        byte_embeds = self.byte_embed(reshaped)
        
        # 拼接为[batch, chunks, token_length*embed_dim]
        return tf.reshape(byte_embeds, [batch_size, -1, self.token_length * self.embed_dim])

2.2 超参数选择

关键参数需要根据模型规模调整：

经验法则：在27B参数量级的模型中，T=32、E=144的组合表现良好，相当于用32字节（8字符）作为一个处理单元。

3. 二进制预测输出层

3.1 传统softmax的局限

常规语言模型使用softmax输出层预测token概率，存在两个问题：

1. 计算代价高：词汇表尺寸通常达10万量级
2. 预测不连续：错误预测可能完全偏离语义

code复制传统预测：
词汇表["apple", "banana", "cat", ...200k项]
预测"apple"时出错可能得到"zebra"

3.2 逐比特预测方案

我们改为预测每个字节的8个比特位：

1. 将目标字节转换为8位二进制（如65→01000001）
2. 使用8个独立的sigmoid单元预测每个比特
3. 通过自回归方式建模比特间依赖关系

python复制def bytes_to_bits(byte_tensor):
    # byte_tensor: [batch, seq_len]
    bits = tf.bitwise.right_shift(
        tf.expand_dims(byte_tensor, -1),
        tf.range(8, dtype=tf.int32)
    )
    return tf.cast(tf.bitwise.bitwise_and(bits, 1), tf.float32)

class BinaryHead(tf.keras.layers.Layer):
    def __init__(self):
        super().__init__()
        self.dense = tf.keras.layers.Dense(8, activation='sigmoid')
        
    def call(self, hidden_states):
        # hidden_states: [batch, seq_len, hidden_dim]
        return self.dense(hidden_states)  # [batch, seq_len, 8]

3.3 预测误差分析

与传统方法相比，二进制预测具有误差局部性优势：

4. 性能对比与实现考量

4.1 内存与计算效率

在序列长度32,768字符的设定下：

实测显示：组合嵌入可减少输入输出层90%以上的参数，但需要增加约50%的中间层维度来维持相同表现力。

4.2 多语言支持优势

传统分词器对非拉丁语系处理不佳：

1. 中文需要较大词汇表（通常5万+token）
2. 罕见文字（如藏文、彝文）覆盖率低
3. 混合文本（如中英混杂）效率下降

而组合嵌入方案：

1. 统一处理所有Unicode字符
2. 自动支持新引入的文字系统
3. 保持一致的字节级组合规律

code复制中文示例：
"自然语言处理" → UTF-32-BE → 
[0x81, 0x71, 0x72, 0x79, 0x00, 0x8A, 0x8D, 0x8E, ...] (每个汉字4字节)

4.3 实际部署建议

1. 批处理优化：

   • 将短文本填充到相同字节长度
   • 使用掩码标记无效字节（通常为0x00）

2. 训练技巧：

   • 初始学习率降低为传统方法的1/5
   • 使用梯度裁剪（max_norm=1.0）
   • 预热期延长至10,000步

3. 推理加速：

   • 对前8个字符使用完整比特预测
   • 后续字符可改用直接字节预测
   • 缓存频繁出现的字节组合嵌入

5. 扩展应用与未来方向

这种组合嵌入方法不仅适用于自然语言：

1. 代码建模：

   • 直接处理源代码字节流
   • 无需特殊处理不同编程语言语法
   • 示例：Python和C++混合代码文件

2. 多模态扩展：

   • 将图像像素视为"字节"
   • 用相同架构处理视觉patches
   • 实现真正的统一模态建模

3. 动态组合：

   • 让模型自行决定T的大小
   • 类似人类阅读时的眼动注视点调整
   • 可能通过强化学习实现

我在实际项目中发现，这种架构特别适合需要精细组合规律的场景。例如在化学分子式生成任务中，模型能准确学习CH₃COOH这类子结构的组合方式，而传统tokenizer会将其拆解为无意义的片段。

一个有趣的副作用是模型展现出对数字的天然理解力。在金融数据预测任务中，直接处理ASCII编码的数字比传统方法在数值连续性上表现更好——这验证了保持原始字节组合关系的重要性。