AI 大模型的語言不平等：英語最便宜，其它語言要貴得多
發(fā)布時間：2023-07-31 11:28:57來源：
7 月 31 日消息，用戶所應用的語言對于大型語言模型（LLM）的費用有很大的影響，可能造成英語應用者和其它語言應用者之間的人工智能鴻溝。最近的一項研討顯示，由于 OpenAI 等服務所采取的的服務器成本權衡和計費的方法，英語輸入和輸出的費用要比其他語言低得多，其中簡體中文的費用大約是英語的兩倍，西班牙語是英語的 1.5 倍，而緬甸的撣語則是英語的 15 倍。
注意到，推特用戶 Dylan Patel（@dlan522p）分享了一張照片，展現了牛津大學進行的一項研討，該研討發(fā)現，讓一個 LLM 處置一句緬甸語句子須要 198 個詞元（tokens），而同樣的句子用英語寫只須要 17 個詞元。詞元代表了通過 API（如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2）拜訪 LLM 所需的盤算力成本，這意味著緬甸語句子應用這種服務的成本比英語句子高出 11 倍。
詞元化模型（即人工智能公司將用戶輸入轉換為盤算成本的方法）意味著，除了英語之外的其他語言應用和訓練模型要貴得多。這是因為像中文這樣的語言有著不同、更龐雜的構造（無論是從語法還是字符數量上），導致它們須要更高的詞元化率。例如，依據 OpenAI 的 GPT3 分詞器 ，“你的愛意（your affection）”的詞元，在英語中只須要兩個詞元，但在簡體中文中須要八個詞元。盡管簡體中文文本只有 4 個字符（你的愛意），而英文有 14 個字符。
（責編： admin）
免責聲明：本文為轉載，非本網原創(chuàng)內容，不代表本網觀點。其原創(chuàng)性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關內容。
