浆果儿 女同 压缩算法为大谈话模子“瘦身”

ai 萝莉

原标题：压缩算法为大谈话模子“瘦身”

据好意思国科学促进会旗下网站19日报说念，好意思国普林斯顿大学和斯坦福大学团队开荒出一种新压缩算法CALDERA，能精简大型谈话模子（LLM）的海量数据，为LLM“瘦身”。这项算法不仅有助保护数据阴私、量入制迁徙力、裁汰资本，还能鼓吹LLM在手机和札记本电脑上高效使用。

团队例如称，当东说念主们使用ChatGPT时，肯求会被发送到OpenAI公司的后端管事器进行科罚。这照旧由不仅资本不菲、能耗遍及，时时还很慢。如若用户思要使用销耗级图形科罚单位启动LLM，就需要对这些LLM进行压缩。

CALDERA算法通过减少LLM冗余并裁汰信息层的精度来进展作用。“瘦身”后的LLM愈加精简，可在手机或札记本电脑等建设上存储和拜谒，同期提供了与未压缩版块险些同样准确而神秘的性能。

天然CALDERA并非首个压缩LLM的算法，但其独到之处在于兼具“低精度”和“低排序”两种特质。其中，“低精度”减少了比特数，加速了数据存储和科罚速率。而“低排序”则裁汰了LLM数据中的冗余。

团队暗示，使用CALDERA压缩的LLM可能适用于那些对精度条件不是最高的场景。此外，用户可在智高东说念主机或札记本电脑等建设上对压缩后的LLM进行微调，这使其能把柄特定需求转机模子来增强阴私，而无需与第三方分享明锐数据。

不外团队也辅导说念浆果儿 女同，在智高东说念主机或札记本电脑上启动LLM，可能会占用建设内存。（记者 刘霞）