生成式 AI 工程

大語言模型 LLM 應用開發工作坊

你已經會寫程式、串過 Web API,也用過 ChatGPT,接下來呢?這門工作坊專為軟體工程師設計,從 Prompting、RAG 到 Agent 循序推進,用大量實作帶你掌握以 LLM 打造 AI 應用的完整工程方法,把生成式 AI 真正變成你的產品能力。

敬請期待下一期全新開課,歡迎訂閱電子報接收開課通知。

課程特色

知識全面

涵蓋範圍廣且深入,兼顧理論與實務,從 Prompt Design, Prompt Engineering, RAG 到 Agent 面面俱到

課程精實

上課無冷場無灌水、各種進階內容、實戰內容、參考資料、補充資料,以及最新生成式 AI 業界消息

範例通用

範例程式碼使用 Python 和 OpenAI 官方 Python SDK 和 Agents SDK,無論熟悉何種程式語言,都可以理解其運作原理

講師介紹

ihower

ihower

我是 ihower,2002年開始從事 Web App 軟體開發工作,2018年成立愛好資訊科技有限公司,專長是 AI Engineering 和 Ruby on Rails 技術。

除了軟體開發,也經常做技術分享和教育訓練,在 ALPHACamp 擔任多年程式講師,並在各大型技術研討會擔任講者,參與過 COSCUP、MOPCON、RubyConf Taiwan、RubyConf China、WebConf 等。

我經營的 AI 工程主題電子報《愛好 AI Engineer》,定期分享技術文章、實作經驗與應用案例,已成為眾多 AI 工程師與開發者的重要知識來源。

同時,我也是 OpenAI Agents SDK 的開源貢獻者(詳見 Commits 和 Pull Requests 成果),與全球開發者共同完善 LLM 應用開發框架,推動 AI 工程實務發展。

更多資訊

部落格: https://ihower.tw | Linkedin | Facebook | Threads | Twitter

專業證照

課程內容

全面了解如何使用 OpenAI API 來開發基於 LLM 的各種 AI 應用開發的知識。簡要內容可以參考這份公開投影片: 淺談 Generative AI Engineer 和 LLM 應用開發 Roadmap

每次開課都會依最新技術進展更新,由於 AI 世界技術進展迅速,本課綱有可能隨時調整。

Part 1: Prompting 篇

OpenAI API

  • Completion API 和 Chat API 的差異
  • 什麼是 Temperature 和 Tokenization
  • 常見用法: 摘要、推理、文本轉換、擴寫
  • 結構化 JSON 輸出和使用 Pydantic 工具
  • 幻覺 Hallucination 現象

Multimodal 多模態

  • 影像解讀、OCR 文字辨識
  • 語音辨識與語音合成
  • 圖片生成

Prompt Design 提示詞設計

  • 撰寫 Prompt (提示詞) 的最佳實務
  • LLM 的運作原理
  • Few-Shot 範例設計
  • Chain of Thought 思維鏈推理

Reasoning Model 推理模型

  • 推理模型與一般模型的差異和適用場景
  • 如何調整推理強度 Reasoning Effort

Prompt Engineering 提示工程

  • 如何做 Evaluation (評估)
  • 如何用 Metaprompt 工具做 Prompt 最佳化
  • 示範評估框架 Braintrust 和 promptfoo

LLM Ecosystem

  • 概述各種模型和服務提供商: OpenAI、Anthropic Claude、Azure OpenAI、Google Vertex AI、AWS Bedrock
  • 開源模型的發展
  • 如何看 LLM 評測排行榜
  • LLM 相關的 Ecosystem 工具介紹
Part 2: 工具串接 RAG 篇

Chaining Prompts 和 Agentic Workflow

  • Chaining Prompts 提示鏈串接外部工具
  • 路由 Routing 流程
  • 反思 Self-Reflection 流程
  • 平行 Parallelization 流程: 長文本摘要
  • 協調工作者 Orchestrator-workers 流程: 長文自動拆分子主題進行搜尋和寫作
  • Whisper 語音轉文字,以處理 Podcast 為例

Embeddings 和 RAG 檢索增強生成

  • 使用詞嵌入做語意搜尋和分類
  • 如何選擇 Embedding 模型
  • Naive RAG 的問題和進階 RAG 實務
  • 索引階段的 Chunking 如何切
  • 如何處理包含表格和圖表的 PDF
  • 向量資料庫 Vector Stores 的選擇

Advanced RAG 進階檢索技術

  • 混合檢索 Hybrid Search
  • Context Enrichment 生成策略
  • Multi-Vector 多重索引策略
  • Contextual Embeddings 策略
  • 多模態 RAG: 如何處理圖片的索引
  • 查詢理解 Query Understanding,包括 Query Rewrite、Query Expansion、HyDE、Sub-Questions 等
  • 使用 Reranker 模型實作二階段檢索
  • Agentic RAG、Iterative RAG 和 Deep Search
  • Long Context RAG 的發展
Part 3: Agent 篇

Function Calling 和 Agent

  • 使用 Function Calling 串接多個外部工具
  • 什麼是 ReAct Prompting
  • 使用 Function Calling 打造 Agent 元件
  • 撰寫 Agent Instructions 的最佳實務,如何增強模型呼叫工具的規劃能力
  • 實作知識庫 RAG Agent,包括處理複雜的多跳問題
  • 實作深度搜尋 Deep Search Agent

Conversational Agent 對話式代理人

  • Chatbot 和 Streaming 串流輸出、如何用串流處理結構化輸出
  • 實作購物車結帳 Chatbot,引導用戶完成結帳
  • 提供 Production-Ready 等級 FastAPI Server 範本程式碼: 非同步、串流處理結構化輸出、前後端分離

Agent using Reasoning Model and Responses API

  • OpenAI Responses API 和 Chat Completions API 的差異
  • 推理模型應用在 Agent 上的注意事項
  • 使用 OpenAI Agents SDK 搭配 FastAPI 開發 Agent

Multi-Agent Patterns 多代理人架構

  • 三種基本架構: Handoffs、Sub-agents (Agents as Tools) 和 Agentic Workflow
  • Single-Agent 和 Multi-Agent 的選擇判斷、Context 隔離與共享
  • 使用 OpenAI Agents SDK 實作多代理人架構
  • 常見 Anti-Patterns: 擬人化分工、Router 誤用、視覺化 workflow builder 的反模式
  • Token 預算,以及 Prompt Cache 對多輪對話的影響

Security 安全性

  • Content Safety 和 Jailbreaking 越獄手法
  • Prompt Injection: Direct、Indirect、Prompt Leaking 和指揮鏈 Chain of Command
  • 致命三要素 Lethal Trifecta 和 Agents Rule of Two
  • RAG 的權限控管,以及檢索內容被當成指示的風險
  • OWASP Top 10 for LLM Applications 和 for Agentic Applications
  • 三層防禦: Prompt 層、Guardrail 層,以及架構層的設計模式 (Action-Selector、Plan-Then-Execute、Dual LLM 等)
  • 人在迴圈 Human-in-the-loop 和自動核准的設計原則
Part 4: 進階主題

TTFT 和 Prompt Caching

  • TTFT (Time To First Token) 延遲最佳化
  • Prompt Caching 的運作原理和成本效益

Context Engineering 上下文工程

  • Context Window 管理和壓縮策略
  • Context Editing 技巧的 Agent 範例

MCP (Model Context Protocol)

  • 實作 MCP server 以及 MCP client
  • MCP 的痛點,以及仍然適用的場景

Code Actions

  • Code Interpreter 和各家 API 實現的對比
  • 為什麼 Agent 需要沙箱,以及隔離技術的取捨
  • CodeAct: 把計畫直接寫成程式碼
  • Code Mode 和 Programmatic Tool Calling (PTC)
  • 有檔案系統的沙箱,以及跨 session 的工作區

Agent Skills 和 CLI

  • Skill 的定義和三層漸進式揭露
  • SKILL.md 的結構和 Frontmatter 規格
  • Skill 的設計模式和常見反模式
  • Skills、MCP、CLI 的分工,以及如何為 Agent 設計 CLI

Agent Evaluation 評估

  • 三種評分方式: 程式打分、人工打分、LLM as Judge
  • 合成資料的維度設計和資料集切分
  • 錯誤分析 Error Analysis 和人工標註
  • Binary Classification Judge、TPR 和 TNR 指標
  • RAG 檢索評估: Precision、Recall、RAG Triad 和 Ragas
  • Text-to-SQL 評估
  • Online Eval: Traces 取樣和生產環境監控

Harness Engineering

  • Prompt、Context、Harness Engineering 的三層演進
  • Guides (前饋) 和 Sensors (回饋)、Generate → Verify → Fix 流程
  • 四個介入時機: 工具執行內、Request 之間、單輪結束 Stop Hook、外層 Loop

上課形式

課程適合對象

若您沒有任何 App 應用程式開發經驗、沒有串接過 Web APIs、甚至看不懂程式碼的話,不建議報名此課程。本工作坊內容非常密集、資訊量巨大,非資訊專業的程式初學者恐跟不上進度。

課程定位

課程定位 - AI Engineer
以 API 為界,這張圖(出處)描述四種職位,左側偏向機器學習,右側偏向產品應用開發。本課程的定位是 AI Engineer 工程師、需要開發 AI App 的從業人員。我本身是 Fullstack Engineer 出身,特別了解哪些是開發軟體應用時,需要哪些 AI 知識。
AI Stack
這張圖(出處)描述了 AI Stack 包括有四層: 應用層、開發層、模型層、基礎設施。本課程明確定位在 Application development 應用開發,如何寫 code 呼叫模型 API 來打造 app 應用。因此不包括如何使用 AI 工具、Transformer 模型理論、模型訓練、模型部署等內容不在課程範圍內。

FAQ

Q: 市面上 AI 課程很多,這門課有什麼不同?

雖然都跟 AI 有關,但具體差異很大。市面上的 AI 課程大致可以分成幾種類型:

1. 教你使用現成的 AI 工具:針對一般大眾與企業數位轉型,學會操作 ChatGPT 等工具

2. 教你 Vibe Coding 做自己的工具:針對 AI 深度用戶,用 AI 快速打造個人專屬的小工具

3. 教你用 AI Coding 提升開發效率:針對軟體工程師,將 AI 融入日常開發流程

4. 教你開發 LLM-based 的 AI 軟體產品:不是做給自己用的小工具,而是給多人使用的專業產品——不只要做出來,還要做得專業、做得好

本課程屬於第 4 種。專注在如何打造專業級的 LLM 應用產品,涵蓋 AI 工程架構設計、品質優化與工程實務。

Q: 本課程不包含什麼?
本課程聚焦 LLM AI 應用程式開發所需要的 Prompt Engineering、RAG、Agents 知識以及 API 串接,因此不會教 ChatGPT 入門使用、機器學習理論、LLM 歷史沿革、深度學習 Transformer 架構、模型訓練、AI 趨勢案例、企業 AI 工具導入、AI 個人工作提升、AI 產品設計、AI UX、AI Coding、Vibe Coding 等等不是本課程內容。本課程會教如何直覺看待 LLM 模型的思維,但就像寫應用程式不需要先學會做出編譯器,寫 LLM AI 應用也不需要先學會如何做出深度學習模型。
Q: 課程用什麼程式語言? 是否需要先會 Python?
會用 Python,但不需要事先學習沒關係。Workshop 會提供線上的 Google Colab 範本做練習,上課只要有筆電+瀏覽器就可以,無需煩惱安裝環境。只會用到簡單的 Python 語法。只要有寫過 JavaScript, Ruby, PHP, Java, C# 等語言,並有串接 HTTP API 的經驗,上課就沒有問題。
Q: 需要有機器學習和深度學習基礎嗎?
不需要,只要會寫程式,無論是何種程式語言專長均可。
Q: 會教 LangChain 或 Llamaindex 框架嗎?
不會,本課程偏好直接呼叫 LLM API,以及使用 OpenAI 官方提供的 Python SDK。不依賴第三方例如 LangChain、LlamaIndex 等應用框架。這些複雜的框架經常過度抽象和封裝,不但限制了修改彈性,也增加了除錯的難度。花時間學習框架,你只是花大部分的時間在學習框架專屬的 API 如何使用,而非確實了解 Prompt 和 Chaining Prompts 的原理。
Q: 會教地端開源模型嗎? 需要自備 GPU 嗎?
不會,本課程主要使用 OpenAI API,不需要自備 GPU。本課程不會教如何使用地端開源模型,因為目前自架開源模型來開發 AI 應用,在效能和 API 功能上仍有不少限制,往往事倍功半。現階段建議使用線上的 LLM API 服務,例如 OpenAI API、Azure OpenAI、Google Gemini API、Amazon Bedrock 這種根據 Token 用量計費的雲端服務。
Q: 會教如何微調大型語言模型嗎?
不會教微調技術(PEFT, LoRA 等),也不會教自行部署開源模型做微調,例如透過 PEFT 自己寫 code 來做微調這種不會教,這是機器學習工程師才需要的技能。
Q: 這些知識不是 ChatGPT 或網路就能找到嗎?為何要付費?

內容更新即時: 課程內容緊跟 AI 工程最新實務,很多技巧網路上還沒有,更不在大模型 LLM 的訓練資料裡面。

過濾錯誤與迷思: 網路資訊良莠不齊,太多內容只是紙上談兵。錯誤和過時做法也非常多,一年前的 AI 開發做法可能已經過時,課程會給你最新驗證過的最佳實務。

實戰經驗與系統化整理: 來自真實專案的經驗與取捨,系統化整理,節省你反覆試錯的時間。

本課程特別適合想要深入了解各種做法的優缺點、想比較不同實作策略的開發者。針對同一個問題,課程會講解並示範多種思路,帶你理解為什麼這樣設計、何時該用哪種方式,幫助你靈活應用在自己的開發專案中。相對地,本課程不適合只想「無腦安裝一個開源套件,學如何設定,能跑就好」的工程師,這門課可能會不太符合你的期待。

生成式 AI 工程是近幾年的全新領域,和已經發展數十年的 App 應用開發不同,最佳實務只有親身實作過的人才知道。這堂課讓你少走彎路、快速全面理解上手。

過往開課紀錄

學員課後評價

2025/4 公開班 學員回饋

這門LLM 應用開發工作坊真的讓我收穫超多。最大的感受是內容很紮實,每一段都講重點,學起來很踏實。最棒的是可以直接實作,邊學邊做,學到的東西馬上能應用在自己的專案上,完全不是那種聽了很熱血但事後忘光的課。老師也超有戰鬥力,問問題幾乎都是即時回覆,還會給你延伸的建議,讓人很有繼續學下去的動力。再來,這次因為是老師獨立開課,課程安排上感覺多說了很多細節,對上班族超讚,也提供錄影檔案回放,想到就能回來補課、複習,不怕被時間追著跑。過程中,學到很多額外的新知識,像是進階RAG、最新的OpenAI Agent結構、多代理人、MCP這些以前不熟的概念,老師都講得清楚又實用,真的很推這門課。如果你對 AI 應用開發有興趣,這門課值得花時間深耕!
課程內容很豐富,老師也很即時地解答學員的問題。教材和工具涵蓋了各種應用,還有老師的經驗分享,還有一些新技術的介紹,真的很實用!
課程內容十分充實,收穫總比預期的更多,真的是很棒的課程
謝謝老師, 真的收穫滿滿, 希望以後還有機會多聽老師的課充實 AI 和 LLM 的新知
這三天下來收穫很多,不管是 LLM 的介紹,Prompt 的應用,還是最後結合 Agent 的使用,老師的講解非常仔細。雖然三天下來都超時,但能保證老師沒有馬虎,都盡量提供我們最新和最完整的內容,期待下次老師能帶給我們更棒的課程!
ihower老師的課程絕對讓你值回票價,滿滿的實作技巧絕對讓你上完課就能立即上手
課堂中讓我印象最深的,是一個結合 agent 與 function calling 的線上書店 AI 客服機器人。它能夠協助並引導用戶選書、查詢庫存、解決問題,像是補齊送貨地址等情況,幾乎不用人工介入。這個例子看似簡單,卻反映出一個常見且具體的現實需求。從互動體驗來看,技術上已經相對成熟,能有效處理整個服務流程。即使身為開發者,看到這樣的應用實作,仍然感到十分驚艷!
非常實用 把目前很零散的東西都整理得很棒 理論跟實務都有兼顧 比起一些只教langchain 的課程值得太多囉
老師的教材整理得很詳盡,搭配程式碼的說明,非常好!
感謝完全無私奉現自己的心得和經驗,內容超充實,收獲良多。
上過好幾位老師的LLM串接,是目前看到最完整的且提供詳細Colab範例程式的
課程非常豐富,建議預留好課前自習、課後複習的時間。非常適合工程師更進一步瞭解LLM及相關趨勢的一門課,同學程度由淺到深都有。

歷屆課後問卷截圖

2024/5 公開班

2024/5 評價

2024/3 公開班

2024/3 評價

2024/1 公開班

2024/1 評價

2023/11 公開班

2023/11 評價

2023/11 精誠資訊 企業內訓

精誠資訊評價

2023/10 公開班

2023/10 評價

學員公開貼文分享

企業包班、企業內訓

請 E-mail 來信聯繫洽詢報價: hi@aihao.tw

企業內訓照片 企業內訓照片

愛好 AI Engineer 電子報

歡迎訂閱 Generative AI Engineer 電子報,值得閱讀的內容會發這裡。

訂閱電子報

過往期數

歡迎加入 Telegram 討論群

歡迎加入愛好 LLM 公開群,一起討論生成式 AI 技術最新消息和八卦。

加入 Telegram 討論群