Michael Chen | 內容策略師 | 2023 年 12 月 6 日
在流行文化中,AI 有時會被貼上負面標籤。電影常將 AI 描繪成機器人末日的來臨,而新聞則總是報導 AI 將取代所有工作崗位的故事。事實上,AI 已經存在一段時間,而這些最壞的情況並不太可能在短期內發生。
基本上,AI 會使用資料進行預測。這項技術可支援串流服務中的「您可能會喜歡」推薦,也可以支援能理解自然語言問題並給出正確答案的聊天機器人,以及透過臉部識別來分析照片,並猜測照片中人物的應用程式。然而,要實現這些預測,則需要有效的 AI 模型訓練,而依賴 AI 的最新應用程式可能需要略為不同的學習方法。
AI 模型的核心是所選演算法的集合,也是用來訓練這些演算法的資料,使它們能夠做出最準確的預測。在某些情況下,簡單模型僅使用單一演算法,因此兩個術語可能會重疊,但模型本身是訓練後的輸出。
在數學意義上,演算法可以被視為具有未定義係數的方程式。當選定的演算法消化資料集以確定最適合的係數值時,模型就會逐步形成,進而用來進行預測。「AI 模型訓練」一詞是指此流程:饋送演算法資料、檢查結果,以及調整模型輸出以提高準確性和效率。為了達到這個目標,演算法需要大量的資料來涵蓋所有可能的輸入情況。
異常值、意外、不一致、乍看之下沒有意義的模式……演算法必須在所有傳入資料集中反覆處理所有這些問題。此流程是學習的基礎,能夠辨識模式、瞭解情境並做出適當的決策。經過充分的 AI 模型訓練,模型中的一組演算法將能夠作為數學預測程式,針對特定情況進行預測,並在保持預測能力的同時,為不確定因素留出容錯空間。
重點精華
AI 模型訓練是一個反覆進行的過程,其成效取決於輸入資料的品質與深度,以及訓練人員能否識別並彌補其中的不足。通常,資料科學家負責訓練過程,但即使是在一些低程式碼或無程式碼的環境中,業務使用者也能參與其中。事實上,這個處理、觀察、提供反饋和改進的循環,與教導孩子學習新技能的過程類似。對於 AI 模型訓練而言,目標是建立一個數學模型,能準確地生成輸出,同時平衡資料中眾多變數、異常值和複雜因素。如果仔細想想,為人父母的過程也有些相似,但無疑要更加混亂。
考慮孩子如何學習技能。例如,假設您想要教導幼兒來識別狗與貓之間的差異。這從基本圖片和鼓勵開始。接著,會引入更多的變數,如平均大小、狗叫和貓叫的區別,以及行為模式等。根據孩子可能面臨的困境,您可以更重視某個領域,以協助學習。經過這個過程後,孩子應該能夠辨認各種狗和貓,從常見的寵物到野生動物。
訓練 AI 模型類似。
AI:選取模型的演算法和初始訓練資料集。
孩子:使用基本的照片來確定狗和貓之間的一般差異。
AI:評估輸出準確度並調整模型,以減少或消除某些錯誤。
孩子:根據答案給予孩子讚美或糾正。
AI:提供具有特定不同輸入的其他資料集,以自訂和微調模型。
孩子:作為學習過程的一部分,突顯不同的特徵、形狀和大小。
就像教孩子一樣,初期的 AI 模型訓練會對後續的結果產生重大影響,甚至可能需要進一步的調整來改正不良影響。這凸顯了優質資料來源的重要性,無論是對於初期的訓練,還是模型上線後持續的反覆學習。
大多數組織都已經在工作流程和流程中受益於 AI,這要歸功於產生分析的應用程式、突顯資料極端值或使用文字辨識和自然語言處理。例如,將紙張收據與文件轉錄至資料記錄。然而,許多組織都希望開發 AI 模型,以滿足特定、迫切的需求。開發流程本身可能會從短期價值 (例如加速流程) 到長期收益 (例如找出先前隱藏的洞察分析,甚至可能啟動新產品或服務) 獲得更深入的優勢。
企業投資能夠支援 AI 的基礎架構,其核心原因之一源自於企業的發展方式。簡而言之,資料無處不在。有了來自所有方向的大量資料,幾乎可以為組織中的每個部分產生新的洞察分析,包括內部作業、銷售績效和行銷團隊。因此,適當的訓練和周到的應用程式可讓 AI 在幾乎任何情況下提供商業價值。
要考慮如何讓企業訓練 AI 以獲得最大效益,第一步是識別輸入資料及做出穩妥決策的關鍵因素。例如,考慮製造供應鏈。適當訓練的 AI 系統提供所有相關資料後,即可計算運費、預測出貨時間和品質 / 瑕疵費率、根據市場條件建議價格變更,以及執行更多任務。大量的傳入資料和資料驅動決策的需求,促使供應鏈採用 AI 來解決問題。相比之下,在重視軟技能的環境下,AI 可以提供支援資訊,但不太可能帶來革命性的改變。例如經理人員在年度考核期間對員工績效的評估。在這種情況下,AI 可能可以簡化指標收集過程,但它無法取代基於人與人之間互動做出的評估。
為了充分利用 AI 投資,組織必須考量下列事項:
透過建立這些參數,組織可以識別最有可能從 AI 中獲益的業務領域,然後開始採取步驟來實現這些目標。
雖然每個專案都有自己的挑戰和需求,但訓練 AI 模型的一般程序仍然相同。
這五個步驟包括訓練 AI 模型的概要。
準備資料:成功的 AI 模型訓練從正確且一致地代表真實世界和真實情況的品質資料開始。若缺乏這樣的資料,那麼由此得出的結果就毫無意義。若要成功,專案團隊必須精心挑選合適的資料來源,建立手動與自動資料收集的流程與基礎架構,並制定適當的資料清理/轉換流程。
選取訓練模型:如果策劃資料為專案提供基礎,則模型選擇會建立機制。此決策的變數包含定義專案參數與目標、選擇架構,以及選取模型演算法。由於不同的訓練模型需要不同的資源量,因此必須根據運算需求、期限、成本和複雜性等實際元素來衡量這些因素。
進行初期訓練:就像上面教孩子區分貓和狗的例子一樣,AI 模型訓練從基礎開始。使用過於廣泛的資料集、過於複雜的演算法或錯誤的模型類型可能會導致系統僅僅處理資料而不是學習和改進。在初期訓練期間,資料科學家應專注於在預期範圍內取得結果,同時留意可能破壞演算法的錯誤。透過避免過度訓練,模型可以有條不紊地且穩定地改進。
驗證訓練:一旦模型通過初始訓練階段,便能以關鍵條件可靠地建立預期結果。訓練驗證代表下一個階段。在這裡,專家提出對模型進行適當挑戰,以揭露演算法中的問題、意外或差距。這一階段使用與初期階段不同的資料集,通常這些資料集比訓練資料集具有更大的範圍和更高的複雜度。
當資料科學家執行通過這些資料集時,會評估模型的效能。雖然輸出準確度很重要,但過程本身也同樣關鍵。過程中的優先事項包括精確度 (準確預測的百分比) 和召回率 (正確分類的百分比) 等變數。在某些情況下,結果可以使用測量結果值來判斷。例如,F1 分數是一個分配給分類模型的指標,它綜合考慮了不同類型的假陽性和假陰性的權重,從而提供對模型成功的更全面解釋。
測試模型:使用策劃且適合用途的資料集驗證模型之後,即可使用即時資料來測試效能與準確性。此階段的自老集應來自真實世界的情境,這就像是象徵性的「摘掉輔助輪」,讓模型能夠自主運行。如果模型能夠在測試資料上產生準確的結果 (更重要的是預期的結果),那麼就準備好上線了。如果模型以任何方式顯示缺失,則訓練處理程序會重複執行,直到模型符合或超過效能標準為止。
上線是重要里程碑,達成該階段並不代表模型訓練的結束。根據模型的不同,每一個處理過的資料集都可能成為 AI 的「課程」,進一步改善和完善演算法。資料科學家必須繼續監控效能和結果,尤其是當模型處理非預期的異常值資料時。如果出現不準確的結果,即使只是偶爾發生,模型可能仍需進行微調,以免影響未來的輸出。
AI 訓練有多種不同形式,範圍包括複雜性、結果類型、功能和運算能力。其中一種方法可能會需要比必要更多的資源,而在其他情況下,某些方法可能只提供二元反應,例如在貸款審批中給出「是」或「否」,然而實際情況可能需要更具質化的結果,例如「否」,但需要在提供更多文件後才能重新考慮。
選擇 AI 模型訓練方法時,必須考量目標和資源;如果沒有仔細規劃,可能會導致資料科學團隊不得不從頭開始,浪費時間和金錢。
雖然部分 AI 模型使用規則和輸入來做出決策,但深度神經網路仍能根據不同的資料關係來處理複雜的決策。深度神經網路可搭配多層使用,識別資料點之間的模式和加權關係,以進行預測輸出或提供資訊評估。深度神經網路的範例包括使用語音功能的助理,例如 Apple 的 Siri 或 Amazon 的 Alexa。
在統計資料中,線性迴歸是用來決定輸入與輸出之間的關係。在最簡單的形式中,可以代數公式 y = Ax + B 表示。此模型使用資料集根據輸入、輸出及可能的變數係數建立該公式。用於預測的最終模型會假設輸入與輸出之間的線性關係。線性迴歸的使用案例範例是以先前銷售資料為基礎的銷售預測。
從統計資料領域取得,物流迴歸是二進位情況的有效模型。邏輯迴歸是基於邏輯函數,其為常用於計算機率的 S 曲線方程式。在人工智慧建模的情況下,物流迴歸會決定機率並提供二進位結果,最終做出預測或決定申請人是否應核准貸款。物流迴歸的使用案例範例是執行詐騙偵測的財務應用程式。
即使在 AI 領域之外,大多數人對決策樹都有一定的經驗。決策樹的運作方式與流程圖中的節點類似。在機器學習中,訓練過程會通過反覆的資料來「餵養」樹,識別何時新增節點,以及如何引導不同的節點路徑。決策樹的一個常見應用案例是金融貸款審批。
決策樹可能會因為過度擬合訓練資料而變得過深。隨機森林技術通過將多棵決策樹結合在一起來彌補這一點,因此稱為「森林」,並透過找到結果的最大共識或加權平均值來得出結論。隨機樹系的範例使用案例是根據客戶設定檔中不同元素的各種決策樹來預測客戶行為。
用兒童教育的比喻來說,監督式學習就像是讓孩子按照一套有條理的課程進行學習。對於 AI 模型製作而言,這表示使用已建立的訓練資料集和定義的參數來訓練模型,資料科學家則是負責策劃訓練資料集、執行測試資料集及提供模型意見的專業教師。監督式學習的使用案例範例是找出肺 X 光的異常細胞。訓練資料集包含異常和正常的 X 光,並告訴模型哪一個是異常的,哪一個是正常的。
繼續以兒童教育為例,非監督式學習類似於蒙特梭利教育理念,讓孩子們在一系列的可能性中,依據自己的好奇心自由探索,並自我引導。對於 AI 模型製作,這意味著擷取不含參數或目標的未標示資料集,而 AI 必須決定資料的模式。非監督式學習的範例使用案例是零售商饋送 AI 模型每季銷售資料,目標是尋找客戶行為中的關聯。
如果您曾經透過給予獎勵來強化期望的行為,那麼您其實參與了強化學習。在 AI 層級上,強化學習從實驗性決策開始,導致正面或負面強化。經過一段時間後,AI 會學習最佳決策,如同最準確或最成功的一樣,來處理情況並最大化正面強化。強化學習的範例使用案例是 YouTube 根據檢視歷史記錄所呈現的「您可能也喜歡」建議清單。
在應用於不同情況時,AI 模型可能會成功。移轉學習是指使用現有 AI 模型作為新模型起點的方法。當現有模型處理一般案例時,此重複使用效果最好;任何太具體的項目都可能難以重新訓練。傳輸學習的範例使用案例是根據現有影像分類模型的參數,針對特定類型的影像分類的新 AI 模型。
半監督式學習使用監督式學習和非監督式學習的原則,從訓練小型標籤式資料集上的模型開始。接著,模型會使用無標註和未整理的資料集來精煉模式並創造非預期的見解。一般來說,半監督式學習在最初的幾個步驟中只使用標註資料集,就像訓練輪一樣;之後,這一過程會依賴大量的無標註資料。半監督式學習的範例使用案例是文字分類模型,它使用經過策劃的集合來建立基本參數,然後才被饋送大量非監督式文字文件。
生成式模型是一種無監督的 AI 方法,使用非常大的範例資料集來建立提示的輸出。例子包括基於影像檔案元資料生成的 AI 圖像,或基於已輸入句子的資料庫生成的預測文本。與僅僅分類資料不同,生成模型的結果可能需要成千上萬,甚至數百萬條範例資料來學習並創造原始輸出。生成式模型的使用案例範例是聊天機器人,例如 ChatGPT。
為了正確訓練 AI 模型,它需要資料 - 許多資料。事實上,資料是 AI 模型訓練中最重要的元素。如果沒有,模型就無法學習。如果沒有高品質的資料,模型就會學習錯誤的東西。因此,資料科學家會刻意而謹慎地為其專案選擇資料集。
資料集策劃必須涉及下列因素,以進行最佳 AI 模型訓練:
AI 模型訓練隨附自己的獨特挑戰。其中一些挑戰是後勤方面的,包括基礎架構、運算能力,以及實際考量如何從起點順利走到終點。其他挑戰則需要資料科學家進行自我檢查,例如如何減少偏見並保持系統的客觀性。
對於任何 AI 模型訓練計畫,應考量下列挑戰:
資料偏差:若要從 AI 模型取得準確的結果,訓練需要品質資料。為了減輕資料偏差,資料科學家必須在策劃訓練資料集之前徹底審查資料來源。
正確的資料:訓練資料集需要大量資料,以代表適當的多樣性與最小性。這不僅需要團隊策劃大量品質資料,還帶來了許多實際考量。隨著資料集越來越大,儲存、清理/轉換、處理和一般品質控制都會變得越來越困難。
運算能力和基礎架構需求: AI 模型越複雜,需要更多的運算能力和基礎架構支援。在選擇模型方法時,需要考慮從訓練到實際執行所需的模型運行實際性。如果一個模型類型所需的資源超過了可行的提供範圍,整個專案將會崩潰。
過度擬合:當 AI 模型過於專注於訓練資料集時,就會鎖定細節,無法處理多樣性和意外情況。這種現象稱為「過度擬合」,它會阻礙未來的準確預測。過度擬合的一個例子是訓練資料集產生 99% 的準確率,但真實資料集僅產生 75% 到 85% 的準確率。請注意,人工智慧的準確性是指系統根據其目前能力的準確性表現如何。這是使用者或利害關係人觀察到的準確度。潛在準確度則是指在理想條件下,系統所能達到的最高準確度。瞭解感知準確度與潛在準確度之間的區別對於評估 AI 系統的表現、確定需要改進或未來發展的領域至關重要。
「過度擬合」和「過度訓練」這兩個術語經常互換使用,但它們的含義不同。如同所討論的,過度擬合是指 AI 在訓練資料上表現極佳,但無法很好地概括新資料。過度訓練是指模型經過過度訓練,導致訓練資料和新資料的表現都不佳。當訓練模型過長或複雜度過多,而導致模型難以進行一般化時,就會發生過度訓練。模型訓練程序需要避免兩個問題。
可解釋性: AI 建模中的一個突出問題是缺乏對決策過程的解釋性。使用者可以根據輸出進行推斷,但模型的推論過程可能仍然模糊不清。為了填補這一空白,一些開發人員建立了工具,包括具有更高透明度的可解釋性模型。但是,無論是對於輸入還是輸出而言,這些工具的實施、可用性、細節和可訪問性都會有所不同。
雖然 AI 自電腦誕生以來就已經以某種形式存在,但在過去二十年裡,演算法、中央處理器 (CPU) 功能、圖形處理器 (GPU) 功能以及雲端資源共享的進步,顯著推動了 AI 的發展。AI 已被嵌入到許多應用程式中,許多用戶在不知不覺中就使用了它。當您播放音樂時,AI 會透過分析您最喜歡的歌曲和藝術家來訂製播放清單。當您輸入文字訊息時,AI 會根據您常用的字詞提供預測建議。如果您看到了一部喜愛的新電視節目,這也得歸功於 AI 的自動推薦系統。
這就是 AI 的現狀,但未來又將如何發展呢?
人工智慧的潛力取決於模型訓練的發展能力。讓我們看看 AI 模型訓練的未來可能性。
如果您覺得 AI 的創新呈指數增長,這是有充分理由的:過去十年來資料和連接性的爆炸性增長,讓 AI 系統的訓練變得更加容易,並促使複雜模型的實現,新的和不斷改進的算法也在增強這一成功。因此,許多宏大的目標似乎在未來十年內是可以實現的,包括深度推論,讓 AI 能夠理解情況背後的「如何」與「為何」,提高訓練效率,使用更小的資料集進行訓練,以及從非監督式學習中成長出更高效且準確的模型。
對人員而言,可轉移技能可以更輕鬆地開始進行新任務,從而提高僱傭能力和生產力。同樣適用於 AI 中的轉移學習。不過,有效的轉移學習仍面臨許多挑戰。目前,轉移學習最有效的情況是在原始模型的相似領域中,這限制了其應用範圍。要擴大轉移學習的能力,將需要更多的運算能力和資源來支持更複雜的再訓練過程。如果沒有效率和處理方面的創新,那麼從頭開始建立模型可能會更容易。
AI 最強大的特點是它能夠比人類更快、更準確地執行任務,讓發貨員、會計師等人員不再需要執行重複的工作。當然,到達該點需要時間和精力策劃資料集、觀察輸出,以及調整模型。
各種 AI 模型訓練工具可加速開發和訓練流程。這些工具包括預建的模型庫、開源框架、編碼和環境輔助工具,以及梯度增強方法。有些工具依賴於所使用的模型類型,而其他工具則需要特定的運算資源標準。
為了確定哪些工具或工具組最適合您的專案,您可以根據以下問題來整理答案:
這些答案可以幫助您篩選出一系列有效的工具,在您的 AI 模型訓練過程中提供一臂之力。
訓練複雜的 AI 模型可能是一項資源密集型舉措,因為需要為數百甚至數千個獨立服務進行協調和共享資訊。Oracle Cloud Infrastructure (OCI) 提供透過高效能乙太網路連線的 GPU,以節省客戶的時間和金錢,同時最大限度地提高可用性和穩定性。透過 OCI,客戶可以取得簡單、快速的互連,以支援大規模訓練和部署高度複雜的模型。
人工智慧的前身——機器學習,建立在依賴高效能運算的複雜規則和機率之上。超級電腦「Deep Blue」就是以這種方式參加世界級的國際西洋棋比賽。不過,AI 不只使用外部資料提供的規則而已演進;而改用 AI 模型現在透過大量資料集訓練來產生內部洞察力。雖然部分 AI 模型仍使用以規則為基礎的決策樹,但其他模型則支援複雜的流程和預測,這要歸功於神經網路。
AI 的進展令人振奮,但此技術的未來取決於高品質的訓練。
無論企業在任何層級進行模型訓練,都需要確保相關的資料集和機構知識得到充分記錄。要實現這一目標,其中一個絕佳方法是建立 AI 卓越中心,它不僅能提供訓練支援,還能帶來眾多好處。
什麼是 AI 模型訓練?
AI 模型訓練是向 AI 模型提供精選資料集,以提高其輸出準確性的過程。這個過程可能很長,取決於 AI 模型的複雜性、訓練資料集的品質和訓練資料的數量。訓練過程通過預期成功的基準之後,資料科學家會繼續監控結果。如果準確度下降或模型難以處理某些類型的情況,則可能需要進一步訓練模型。
哪裡可以訓練 AI 模型?
任何擁有適當工具的人都可以使用任何電腦來訓練 AI 模型,前提是他們能夠獲取所需的資料。這些步驟包括找出問題、選取訓練模型、尋找訓練資料集,以及執行訓練處理程序。根據專案範圍和可用資源,這可以是小規模、本地規模,也可以是大型企業規模。新手或獨立開發人員可以利用雲端服務提供的 CPU 資源,這些服務支持多種編程語言,並且不受地理位置限制。
訓練 AI 模型需要多少費用?
AI 模型的訓練成本取決於專案的範圍。在整個產業中,隨著 CPU/GPU 能力和雲端存取提供更多資源,成本持續呈下降趨勢。事實上,根據史丹佛大學 Institute for Human-Centered Artificial Intelligence AI 指數顯示,2017 年圖像分類等小型項目的平均訓練成本為 1,000 美元,但在 2022 年這一成本僅為 5 美元。
相較之下,大型企業 AI 專案的成本實際上是增加的。例如,像 ChatGPT 這樣的訓練可能需要大約 300 萬到 500 萬美元的預算。這種差異歸結於專案的複雜性,以及不斷增長的資源使得越來越複雜,同時具突破性的專案變得可行,前提是企業能夠負擔得起這些費用。
如何學習 AI 模型製作?
若要瞭解如何執行 AI 模型訓練,則需要正式教育或在職培訓。在您具備專業知識之後,請從建立 AI 模型的四個步驟開始。
AI 模型有四種類型?
一般而言,以下是四種類型的 AI 模型:
一些資料科學家還會使用遷移學習,即將現有的 AI 模型作為新模型的起點,或使用半監督式學習,將監督式和非監督式學習相結合。