有监督指令微调 (SFT)：让无监督基座听懂人话

===================================================================================
                     SFT 训练中的 Prompt 掩码对齐示意图
===================================================================================

完整输入序列 (X):
  [BOS]  请  以  秋  天  写  首  诗  [SEP]  空  山  新  雨  后  [EOS]

目标标签 (Target Labels Y):
  原始标签:   请   以   秋   天   写   首   诗  [SEP]   空   山   新   雨   后  [EOS]
  SFT掩码:  -100 -100 -100 -100 -100 -100 -100 -100   空   山   新   雨   后  [EOS]
            \_______________________________/        \___________________________/
                     人类提问部分 (Prompt)                  模型回答部分 (Response)
                     全部填入 -100！                        保留真实 Token ID！
                     损失梯度 = 0！                         正常反向传播计算 Loss！

<|im_start|>system
你是一位精通古典诗词创作的文学导师。<|im_end|>
<|im_start|>user
请以《春夜喜雨》为题，为我作一首诗。<|im_end|>
<|im_start|>assistant
好雨知时节，当春乃发生。随风潜入夜，润物细无声。<|im_end|>

PROMPT_TEMPLATES = [
    # 1. 现代自然口语（不带任何书名号，接地气、容错率高）
    "请以{title}为题，创作一首古风诗词。",
    "帮我写一首关于{title}的诗，要有{author}的意境风格。",
    "请模仿{author}的笔触，写一首{title}。",
    "我想读一首关于{title}的诗词，作者偏向{author}。",
    "请围绕{title}赋诗一首，作者风格：{author}。",
    "请为我创作一首古诗，题目叫{title}。",
    "写一首{author}的{title}。",

    # 2. 双引号 / 括号等日常标点
    "请以“{title}”为题作诗一首。",
    "请帮我以【{title}】为题，写一首古诗，风格仿照{author}。",

    # 3. 正式书名号（兼顾严谨公文体裁）
    "请以《{title}》为题，创作一首古典诗词。",
    "假若你是古代诗人{author}，请为我挥毫作一首《{title}》。",

    # 4. 键值格式
    "题目：{title}，作者：{author}",
]

import json
import random

def build_sft_dataset(raw_poetry_list, output_path, max_samples=30000):
    """
    将原始诗词转换为标准的 Alpaca/ChatML 指令微调格式
    """
    sft_data = []
    
    # 随机采样 30,000 首精品诗词（做 SFT 质量远重于数量）
    sampled_poems = random.sample(raw_poetry_list, min(len(raw_poetry_list), max_samples))
    
    for poem in sampled_poems:
        title = poem.get("title", "无题")
        author = poem.get("author", "无名氏")
        dynasty = poem.get("dynasty", "古")
        content = poem.get("content", "")
        
        template = random.choice(PROMPT_TEMPLATES)
        instruction = template.format(title=title, author=author, dynasty=dynasty)
        
        sft_data.append({
            "instruction": instruction,
            "input": "",
            "output": content
        })
        
    with open(output_path, "w", encoding="utf-8") as f:
        json.dump(sft_data, f, ensure_ascii=False, indent=2)
        
    print(f"✅ 成功生成 {len(sft_data)} 条高质量指令微调样本！")

import torch
from torch.utils.data import Dataset

class SFTDataset(Dataset):
    def __init__(self, data_list, tokenizer, max_seq_len=512):
        self.tokenizer = tokenizer
        self.max_seq_len = max_seq_len
        self.samples = []
        
        for item in data_list:
            # 1. 编码人类提示词与模型回答
            prompt = f"问：{item['instruction']}\n答："
            response = item['output']
            
            prompt_ids = tokenizer.encode(prompt, add_bos=True, add_eos=False)
            response_ids = tokenizer.encode(response, add_bos=False, add_eos=True)
            
            input_ids = prompt_ids + response_ids
            # 2. 构造目标标签：Prompt 区域全置为 -100，Response 区域保留原词！
            labels = [-100] * len(prompt_ids) + list(response_ids)
            
            # 3. 截断至最大长度
            if len(input_ids) > max_seq_len:
                input_ids = input_ids[:max_seq_len]
                labels = labels[:max_seq_len]
                
            self.samples.append((input_ids, labels))

    def __len__(self):
        return len(self.samples)

    def __getitem__(self, idx):
        input_ids, labels = self.samples[idx]
        return torch.tensor(input_ids, dtype=torch.long), torch.tensor(labels, dtype=torch.long)

def sft_collate_fn(batch, pad_token_id=0):
    input_ids_list, labels_list = zip(*batch)
    max_len = max(len(x) for x in input_ids_list)
    
    batch_input_ids = []
    batch_labels = []
    
    for input_ids, labels in zip(input_ids_list, labels_list):
        pad_len = max_len - len(input_ids)
        # 输入张量用 pad_token 补齐
        batch_input_ids.append(torch.cat([input_ids, torch.full((pad_len,), pad_token_id, dtype=torch.long)]))
        # 标签张量必须用 -100 补齐！
        batch_labels.append(torch.cat([labels, torch.full((pad_len,), -100, dtype=torch.long)]))
        
    return torch.stack(batch_input_ids), torch.stack(batch_labels)

# ❌ 反面教材：充满机械套话与分布漂移的随机插槽
GREETINGS = ["AI助手，", "劳驾，", "大师，", "诗仙，", "请问你能否"]
SUFFIXES = ["，谢谢！", "？", "。"]
# 生成结果形如：“AI助手，吟诵一首以‘阌乡寓居木塔偶题’为主题的七言律诗，谢谢！”

===================================================================================
                       同一提示词下：基座模型 vs SFT 模型的真实表现
===================================================================================

用户输入Prompt:
  "请帮我模仿李白的风格，写一首关于秋天喝酒的五言绝句。"

【阶段一：预训练 Base 模型输出】
  "请帮我模仿李白的风格，写一首关于秋天喝酒的五言绝句。李白字太白，号青莲居士，
  唐代伟大的浪漫主义诗人，被后人誉为诗仙。他的代表作有《望庐山瀑布》《行路难》
  《蜀道难》……（无休止百度百科式胡话）"

【阶段二：SFT 指令微调模型输出】
  "秋风吹落叶，把酒对青山。
  举盏邀明月，浮生尽醉欢。<eos>
  [模型成功击中结束符，优雅停机]"