美國陸軍近日因生成式 AI 使用量暴增，被迫重新收緊原宣稱「不限量」的 token 配額。根據軍方信件顯示，陸軍戰鬥能力發展司令部（DEVCOM）人員被告知，AI token 消耗速度遠超預期，軍方 6 月中旬就用光陸軍 CIO 的 token 池，因此恢復限額，維持目前使用水位。但 10 月 1 日之後是否續補仍未知。
生成式 AI 在軍隊中的應用
美國國防部之前高調宣布，旗下近半數、約 350 萬名員工都能使用 AI。陸軍用的是 Ask Sage，可串接多種大型語言模型的多模態生成式 AI 平台，包括 Alphabet Gemini、Meta Llama 與 OpenAI ChatGPT。Ask Sage 支援陸軍企業級 LLM 工作區，並獲得可處理受控非機密資訊認證，國防部首席數位與 AI 辦公室也已列入採購名單。
陸軍 5 月宣布 token「不限量」，每員工至少有每月 20 萬 token 額度，若提前用完還會自動補充。系統甚至會寄信催促那些有註冊卻不常用 Ask Sage 的人，鼓勵他們多使用。然而，陸軍年度企業方案總量為 1 億個 token，單一 token 約等於 3.7 個字元。短短一個多月，陸軍與國防部就將整年配額消耗殆盡。
成本與管理壓力突顯
這次限縮也突顯了美軍在推動 AI 實用化過程中面臨的成本與管理壓力。陸軍曾將 Ask Sage 用於重新分類人員職務說明等行政工作，但有員工坦言，實務面不太可靠，甚至出現模型聲稱完成任務卻沒有做到的情況。
token 與運算成本已成為各界擴大應用的瓶頸，陸軍也不得不在推廣 AI 與管控預算之間重新拿捏平衡。根據匿名軍方人員的描述，整個陸軍幾乎為單一單位就燒掉了整年 token，這顯示出 AI 技術在實際應用中仍存在著不少挑戰。
從產業面來看，AI 技術雖然帶來了效率提升，但其高昂的運算成本和管理難度不容忽視。未來，如何在確保技術效益的同時控制成本，將是各機構需要深入思考的問題。
展望與影響
美軍此次 AI token 使用量的暴增，不僅暴露了成本控制的不足，也反映了 AI 技術在實際應用中的複雜性。未來，國防部需要在推廣 AI 技術與合理分配資源之間找到更好的平衡點。
對於其他機構而言，這也是一次重要的借鏡。在引入 AI 技術時，除了關注其帶來的效益外，還需充分考慮運算成本和管理難度，以避免出現類似的資源浪費現象。
面對 AI 技術的迅速發展，各機構應如何在確保技術效益的同時控制成本？歡迎在留言區分享您的看法。
本文改寫整理自公開新聞來源，原始報導由科技新報發布。
常見問題 FAQ
為什麼美軍會在 6 月就用光全年 AI token 配額？
美軍在 6 月中旬就用光全年 AI token 配額，主要是因為生成式 AI 的使用量遠超預期，導致 token 消耗速度過快。
Ask Sage 是什麼？
Ask Sage 是一個可串接多種大型語言模型的多模態生成式 AI 平台，支援陸軍企業級 LLM 工作區，並獲得可處理受控非機密資訊認證。
未來美軍如何解決 AI token 成本問題？
未來，美軍需要在推廣 AI 技術與合理分配資源之間找到更好的平衡點，可能包括優化使用策略、提高運算效率和加強成本控制。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。