LLM Token 长度限制 llmai
现在的生成式 AI,也就是大语言模型,基本都是基于 Transformer 架构。Transformer 的自注意力机制会 一次性处理输入序列中的所有词 ,计算每个词和其他词之间的权重,因此需要一个上限来限制输入的大小,称为「上下文大小」
上下文越大,生成的效果越好,需要的算力也越高
TODO test org-capture
根据鼠标动态调整 frame 的位置
结构化 prompt
结构化 prompt 旨在通过明确、有序的方式组织输入信息,从而提高模型理解和执行任务的能力。结构化指的是遵循特定的模式和规则组织信息,而没有限定于某种特定的格式,你可以使用常规的标记语言,比如 markdown、 xml 、json、 yaml ,比如 OpenAI 就使用 markdown 编写系统 prompt 模板
tip:使用和模型训练数据中相同的语言格式,可以提高回答质量
DONE test callouts
- State “DONE” from
一个示例
这是一个示例
TL;DR
测试