[論文速記] Adapt-LLM: When to Retrieve: Teaching LLMs...

關於 https://arxiv.org/abs/2404.19705 “When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively” 的閱讀速記

「重點不在 inference 流程，重點在把流程放入訓練之中」

比較複雜的 inference 流程 (或比較一般性地說，Agent 做事) 有例如

• 全靠 LLM 發想的 (e.g. ReAct, multiple thought-action-observation steps)
• 固定流程，先執行，再靠 LLM 事後評估決定走哪個分支的 (e.g. https://www.youtube.com/watch?v=-ROS6gfYIts )

而這篇焦點放在單一個 LLM 本身「要 RAG 還是要直接 inference」– 把這件事用訓練的方式去教 LLM。期望這微調過的 “Adapt-LLM” 在無法自己直接回答而需要外部 Retrieval 的情況下，回傳 <RET> 特殊 token，已進行第二次 inference (RAG)

微調的訓練資料是

• 拿既有 QA dataset，先讓 LLM zero shot inference
• 如果回答得好，加一筆訓練資料 prompt 類似「解決Q, 如果你需要幫助, 回答<RET>。Q:.., A:…」
• 如果回答不好，加兩筆資料類似「解決Q, 如果你需要幫助, 回答<RET>。Q:.., A: <RET>」以及「用 context C 解決Q,。Q: …, C:…, A:…」

實驗還沒有仔細看，不過概念算有趣