LLM Token 长度限制 llmai

现在的生成式 AI,也就是大语言模型,基本都是基于 Transformer 架构。Transformer 的自注意力机制一次性处理输入序列中的所有词 ,计算每个词和其他词之间的权重,因此需要一个上限来限制输入的大小,称为「上下文大小」

上下文越大,生成的效果越好,需要的算力也越高

TODO test org-capture

根据鼠标动态调整 frame 的位置

结构化 prompt

结构化 prompt 旨在通过明确、有序的方式组织输入信息,从而提高模型理解和执行任务的能力。结构化指的是遵循特定的模式和规则组织信息,而没有限定于某种特定的格式,你可以使用常规的标记语言,比如 markdown、 xml 、json、 yaml ,比如 OpenAI 就使用 markdown 编写系统 prompt 模板

tip:使用和模型训练数据中相同的语言格式,可以提高回答质量

DONE test callouts

  • State “DONE” from [2025-01-22 Wed 17:05]

TL;DR

测试