ref: https://my.oschina.net/IDP/blog/11054793
提示词优化是一项需要经验和时间(不断调整和改进提示词)的工作,如果可以借助 LLM 使这项工作自动化,对于经验不足的使用者来说非常有价值
提示工程到底是艺术还是科学?
取决于使用 LLM 去解决的问题,可以归为两大类:解决现有问题( solving )和创造性任务( creating )
在解决问题方面,比如解答数学问题、实现代码、翻译等等,这类任务的训练数据集中输入和输出具有清晰明确的关联关系,人们可以客观判断 LLM 是否很好地完成了任务。在这种场景下提示工程更接近「科学」
在创造性任务方面,我们需要 LLM 解决的问题相当主观和模糊,比如写文章、写诗、写报告。由于我们往往缺乏一个更客观的标准来说明我们希望 LLM 如何回应,因此创造性任务的性质和需求通常不太适合将提示词看作是可以像超参数一样进行调整和优化的参数。在这一场景下,提示词工程更接近「艺术」,具有更多的不确定性