两篇LLM入门文章的一些学习和总结.

1.GPT-4 Technical Report

GPT-4 Technical Report

We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios,...

https://arxiv.org/abs/2303.08774

本文描述了 GPT-4 的开发，这是一种大规模的多模式模型，可以接受图像和文本输入并生成文本输出。该模型经过预先训练，可以预测文档中的下一个Token，并通过利用人工反馈进行微调的过程与人类意图保持一致。作者报告说，GPT-4 在各种专业和学术基准上表现出人类水平的表现，包括通过模拟律师资格考试，分数约为应试者前 10%。本文还讨论了基础设施和优化方法的开发，这些方法在各种规模上均具有可预测的表现。

2.Lora - Low-Rank Adaptation of Large Language Models.

LoRA: Low-Rank Adaptation of Large Language Models

An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full...

https://arxiv.org/abs/2106.09685

本文讨论了自然语言处理中的一种范例，在这种模式下，对一般域数据进行大规模预训练，然后适应特定的任务或领域。但是，随着预训练的模型变得越来越大，由于大量可训练的参数，完全微调变得不可行。为了解决这个问题，本文提出了一种名为Low-Rank Adaption（LoRa）的方法，该方法冻结了预训练的模型权重，并将可训练的等级分解矩阵注入Transformer架构的每一层，从而大大减少了下游任务的可训练参数的数量。尽管可训练参数更少、训练吞吐量更高且没有额外的推理延迟，但LoRa在各种语言模型上的模型质量的表现与微调相当，甚至更好。该论文还对语言模型适应中的排名不足进行了实证研究，这揭示了LoRa的功效。