2025/5/13，LangChain 主辦 Interrupt 開發者大會，創辦人 Harrison Chase 發表了一場具前瞻性的主題演講，直指 AI 業界的核心挑戰，值得你花點時間學習。以下是我的整理：
Building an LLM app is easy at first… but getting to production is hard
建構一支 LLM 應用程式，開始很容易… 產品化卻很難
Chase 說，目前整個 AI 應用開發面臨一個痛點：原型很容易做出來，但真正部署到產品、穩定產生價值卻很困難。
容易的原因是大型語言模型 (LLM) 很強大 (powerful) 而且令人驚豔 (amazing)，Chase 說：
It’s easy to get something working, that’s the magic of of these LLMs. They’re powerful and and amazing . But it’s hard to get that to something that’s reliable enough to actually move the lever in real business applications.
困難的關鍵點在於難以達到足夠穩定可靠 (not reliable enough)，因此在商業應用上會是一個大挑戰。
這真是一語中地，正是我這一年來的體會：入門很簡單，有手就行；精通要耗費洪荒之力；量產工程化卻像是異世界的冒險。
Chase 強調，原型建構的簡易性與進入生產階段的困難性之間的差距 (delta)，正是促使他們將 LangChain 這個開源專案轉變為一家公司的主要原因：
This delta between the ease of prototyping and the difficulty of getting to production is really what led us to turn what was an open- source project into something more than that into a company.
而這個差距也是你我在進入 AI 應用開發要記住的第一條原則。
Agents are here, today
Agent 確實已經到來
Chase 提到，雖然人們可能會說 2025 年是 Agent 元年，但他認為實際上在 2024 年就開始看到許多 Agent 上線。
這跟我 2024 年 5 月去見投資人 Pitch，要打造教育 Agent 的觀察一致。只不過，那時的投資人追著我問：這個 Agent 需要多少「算力」？有多少參數？有機會跟 ChatGPT 一樣嗎？沒有答案，他就不知道他要投資多少錢。雖然我說我要開發的是 Agent，但投資人顯然以為是要打造 LLM。
不過，正如 Chase 說的，2024 年所建構的 Agent，已經獲得越來越多的關注：
… that we see happening this year is, agents that were built last year are starting to get more and more traction.
這趨勢表明一件事，Agent 不僅僅是已經到來，而且正在被持續使用，並為人們提供價值。
The ingredients of building agents
優秀 Agent Engineer 的四個關鍵技能
成功打造 AI Agent 應用，需要具備跨領域的專業能力，這也是所謂 Agent Engineer 不可或缺的素養：
精準的提示詞設計能力 (Prompting)
Chase 認為 Prompting (即 Prompt Engineering，提示詞工程) 是建構 Agent 的核心組成部分。由於 Agent 是透過大型語言模型 (LLMs) 實現的，而與 LLM 互動的方式就是發送文字給它 (即 Prompt，提示)，並從中獲得回應。因此，擅長使用精準的 Prompt 是建構這些代理的核心要素。
扎實的工程實作能力 (Engineering)
建構穩定可靠的 Agent 需要大量的工程技能。這包含了 Agent 使用的工具 (tools)、處理數據以便在正確的時間點將上下文 (context) 帶給 LLM，以及部署等各個方面。
敏銳的產品思維 (Product)
更清楚的說明應該是產品思維和產品技能 (Product Sense and Product Skills)。Agent 被設計的目的就是執行通常是由個人或群體完成的工作流程，因此，能夠理解這些流程，並嘗試用 Agent 複製流程的產品思維、直覺 (intuition) 和技能，是一個非常重要的能力。
套句設計思考課程中常會聽到的一句話：理解使用者需求與業務流程，並能將其轉化為可執行的 AI 解決方案。
核心的機器學習知識 (Machine Learning)
能掌握全部機器學習知識當然很好，但如果不行，至少要瞭解模型效能評估 (evals)，因為 Evals 是測試和衡量這些 Agent 的方法，並用一些指標來捕捉隨著時間的推移而產生的不確定性 (capture the the non-determinism with with some metrics over time)。其他方面還包括針對特定任務進行模型微調 (fine-tuning) 等層面。
全能選手去單打獨鬥或跨域協作的團隊運動
Chase 強調，理想情況下，Agent Engineer 會擁有所有這些技能。然而，由於這個領域尚處於早期階段，因此建構 Agent 目前仍然是一項團隊運動 (team sport)，由不同技能背景的人協作完成。
Reliable agents start with the right context
可靠的 Agent 始於正確的上下文脈絡
Chase 特別強調這一點，他認為這是成功建構 Agent 的基本原則。
這一段非常精彩，值得你仔細思考。
關鍵的基礎認知：上下文脈絡 (即提示詞 prompts) 決定 Agent 的行為
Prompting is really important. The prompt that you construct to pass into the LLM will determine what comes out of the LLM, that will determine the behavior of the agent.
你所寫的 Prompt 決定 LLM 的輸出；LLM 的輸出決定 Agent 的行為。
但是，一般人以為 Prompts 看起來像是平鋪直述的字串。
其實它是由來自許多不同部分的組成。
粉紅色的事件背景、紫色的需求、紅色的研究報告…。
而且這些部分可能是不同的來源，例如：
- 系統訊息 (system message)
- 使用者輸入 (user input)
- 工具 (tools)
- 檢索步驟 (retrieval steps)
- 對話歷史記錄 (conversation history)
Full control over the cognitive architecture of your application, so you can get the right context
完全控制應用程式的認知架構，以便獲得正確的上下文脈絡
正因為上下文脈絡 (以 prompt 呈現) 是由多個部分組成，並直接影響 LLM 的輸出和 Agent 的行為，Chase 認為，在建構傳遞給 LLM 的上下文脈絡時，能夠全面精確控制其中包含的內容，是非常非常重要的 — 因為這將直接影響最終的輸出結果。
LangChain 提供了以下五種基礎功能來達到全面精確控制 (full control)：streaming, human in the loop, short term /long term memory, durable execution。
其中 human in the loop 可以完全不牽涉技術，而是可以當作一種設計理念。
Agent 常常是不穩定或易失敗的 (they’re flaky in a bunch of different ways)。這不僅因為呼叫 LLM 可能會失敗，也因為 LLMs 可能不會按照人類的預期行事，因此，需要 human in the loop，確保這些 LLM 的行為在不可預測的失敗狀況下，可以人為介入。
LangChain 的作法是讓 Agent 具備狀態性 (statefulness)，藉由提供用於 human in the loop 的 API 端點，在 Agent中整合人為介入的可能性。
結語
Agent 時代已然來臨，它只會越來越強大，越來越讓你感到驚艷，沒有回頭路。
如果你是使用者，那就好好培養和它互動的技能。
如果你是開發者，那就好好訓練這四個素養技能：精準的提示詞設計能力 (Prompting)、扎實的工程實作能力 (Engineering)、敏銳的產品思維 (Product) 和 核心的機器學習知識 (Machine Learning)。你不必成為全能選手，但至少要有一個秘技，當作上場比賽的選手吧！
