OpenAI

讓 AI 做摘要是現在很常見的 AI 應用，但現在就算都使用 OpenAI，各家摘要的品質參差不齊。主要原因有兩個： AI 摘要結果不如預期的兩個原因 1. Prompt 這可能是最關鍵的問題。「摘要」這件事不如大家想得這麼單純，它要考慮的東西不少。 舉例來說，同樣一則台積電新聞，一般大眾和投資人關注的重點就不同。如果站在一般大眾的角度摘要重點，對投資人來說無用資訊太多，該講的重點沒講；如果站在投資人角度摘要，對一般大眾來說又省略太多前提，看不懂，也不了解為什麼這是重點。 「重點」是什麼，這很因人而異。一個人認為的重點，可能是另一個人眼中的廢話。所以你不能單純用「幫我摘要重點」作為 prompt。而要針對不同情境、不同使用者，特製該情境下的 prompt。 這也是為什麼大家會讓 ChatGPT 在做廣泛閱讀時做摘要，但回到自己專業領域，通常不會信任 ChatGPT 的摘要。因為前者就算是泛泛之論仍會有點收獲，但後者對摘要的品質要求變得很高。 2. 技術選擇 這邊要先了解一下目前技術的限制。現在最強的語言模型還是 OpenAI 的 GPT-4 和 GPT-3.5。 GPT-3.5 目前在摘要上最大的問題是一次能塞的內容少。他的限制是 4096 token，如果是寫滿字的 pdf，大概就是一頁半，而且理解能力較差。 GPT-4 的優點是理解能力強，但它的速度慢，如果閱讀長一點的文章，甚至會花到 2 分鐘以上。試想，你叫 AI 幫你摘要一篇文章，結果在那邊乾等 2 分鐘，顯然並不是很愉快的閱讀體驗。更別說 GPT-4 目前價格是 GPT-3.5 的 15 倍。就算你有錢有閒，基本的 GPT-4 token 上限是 8k (三頁 pdf)，更貴的可以到 32k (12 頁 pdf)，針對真的需要摘要的大量內容，這都是杯水車薪。 所以，針對超過字數限制的文件，有哪些摘要方法呢？ 如何摘要大量內容 為了解決字數上限的問題，網路上有各式各樣的應對方法，這邊是我目前看到的幾種： 只拿開頭 有一款很紅的瀏覽器擴充功能——「YouTube & Article Summary powered by ChatGPT」，之前叫做「YouTube Summary with ChatGPT」，就是用這個方法。...