mally的技术笔记mally的技术笔记
AIGC相关
关于作者
AIGC相关
关于作者
  • AIGC相关
  • 长文

    • 长文
    • MoE 梳理
    • Tokenization 分词
    • VERL 框架看 GRPO 过程
  • 细碎大模型知识

    • 细碎大模型知识
    • clip-higher 为什么有效
    • F1 分数是什么
    • 温度 temperature 是什么
    • 分词和嵌入的关系
    • SwiGLU 激活函数
    • 拒绝采样微调是什么
    • 策略熵和交叉熵
    • GRPO 流程
    • DPO 公式推导
  • 论文阅读

    • 论文阅读
    • Demons in the Detail: On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert
    • Scaling Relationship on Learning Mathematical Reasoning with Large Language Models
    • switch transfomer 论文
    • RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning
    • Mixture of Experts Explained
    • Demons in the Detail: On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert

      • Demons in the Detail: On Implementing Load Balancing Loss for Training Specialized Mixture-of-Expert
      • 背景知识

F1 分数是什么

F1 是一个常用的分类模型评估指标,叫 F1 分数(F1 Score),它综合了精确率(Precision)和召回率(Recall)。

具体来说:

  • 精确率(Precision):预测为正例的样本中,真正是正例的比例。

    extPrecision=True PositivesTrue Positives+False Positives
  • 召回率(Recall):所有真实正例中,被模型正确预测出来的比例。Recall=True PositivesTrue Positives+False Negatives

  • F1 分数:精确率和召回率的调和平均值,公式:F1=2×Precision×RecallPrecision+Recall

直观理解:

  • 精确率高:预测对的比错的多(不乱猜)。
  • 召回率高:该找的都找到了(不漏掉)。
  • F1 分数:在不偏向某一方的情况下平衡这两者,值越高表示模型越好(最高 1.0)。
Prev
clip-higher 为什么有效
Next
温度 temperature 是什么