蘋果 推出小型語言模型 OpenELM
當地時間4月25日,蘋果在HuggingFace模型庫上發布了一系列小型語言模型,名為OpenELM(開源高效語言模型),意味著蘋果正為了在Apple設備端上運行生成式AI軟件做準備。
OpenELM參數量最低僅有2.7億個,是市面上最小的一組模型
蘋果新推出的OpenELM模型家族包括8個成員,4組參數量級別分別為2.7億、4.5億、11億和30億。這一參數規模小于市面上的主流模型,例如微軟的Phi-3模型最低為38億,而Google的Gemma可提供最少20億個參數的版本。小型語言模型的運行成本更低,優化后可內嵌于手機和筆記本電腦等移動設備中,無需借助云服務器。
OpenELM采用“層級縮放策略”這一技術在Transformer模型中更高效地分配參數。該模型的Transformer層具有不同的配置和參數,而非每層都是相同參數。與艾倫AI研究所今年2月推出的“真正開源且最先進的大語言模型”OLMo相比,OpenELM的準確率提高了2.36%,同時預訓練所需的Token數量減少了一半。
OpenELM系列模型現已加入Meta、Google和微軟的開源模型陣列。雖然這一開源模型可供開發人員使用,并且不禁止商業使用或修改,但如果任何基于OpenELM的衍生作品被指控侵權,Apple將保留提出專利索賠的權利。
蘋果想在端側AI上彎道超車
蘋果CEO庫克提到,生成式AI功能將出現在Apple設備中。此前2月,他曾透露,公司已在這一領域花費了「大量時間和精力」。然而,蘋果尚未透露其AI應用的具體細節,且仍未推出過商用模型。
在OpenELM系列之前,蘋果已推出多款有助于在Apple設備上調用AI能力的框架及模型:
ReALM:該模型可以理解手機屏幕上的信息、對話和上下文語境,使用戶與語音助手的互動更自然;
MGIE:該圖像編輯模型可以根據用戶指令修復照片;
Ferret-UI:該模型可用于手機智能導航;
MLX:一種機器學習框架,幫助AI模型更高效地在Apple Silicon系統上運行。
構建自研AI版圖的同時,蘋果還計劃找Google、OpenAI和百度合作,有可能授權它們的AI模型在iPhone上運行。