刚刚,一家名为 Liquid AI(液态 AI)的生成式东说念主工智能初创公司书记哥哥去,完成一轮价值 2.5 亿好意思元的早期融资,由芯片巨头 AMD 领投。 这项投资将撑合手 Liquid AI 进一步成立其 Liquid Foundation 模子(LFM),这是一种面向企业的轻量级、通用 AI 模子,旨在挑战传统的基于云表的 AI 模子,如 OpenAI、亚马逊 AWS 和谷歌云。 液态神经汇集:受大脑启发的翻新 Liquid AI 的 LFM 与传统基于变换器的模子架构不同,它们基于"液态神经汇集",这是一种受大脑启发的系统,即使在检修后也能保合手适合性和鲁棒性(褂讪力)。 这些模子绝顶相宜处理多数法规多模态数据,包括视频、音频、文本、时候序列和信号。在 MMLU-Pro 基准测试中,Liquid AI 的 LFM 模子跑赢了 Meta 和微软的流行模子,同期需要的内存更少。 LFM 具备多言语材干,包括西班牙语、法语、德语、中语、阿拉伯语、日语和韩语。此外,这些模子正在为英伟达、AMD、高通和苹果的硬件进行优化。 LFM 有三个模子可供汲取:LFM-1B 相宜资源受限的环境,LFM-3B 优化了边际部署,而 LFM-40B 民众夹杂模子(MoE)则假想用于复杂任务。 这些模子在常识容量、多步推理、长荆棘文回忆、推理成果和检修成果方面通晓出色。 STAR,专注性能与成果的均衡 Liquid AI 还推出了一种大致自动生成和优化 AI 模子架构的新框架(STAR,定制架构合成 ) 。STAR 框架诈欺进化算法和数字编码系统来处理深度学习模子中均衡质地和成果的复杂挑战。 凭据 Liquid AI 的计议团队(包括 Armin W. Thomas、Rom Parnichkun、Alexander Amini、Stefano Massaroli 和 Michael Poli)的说法,STAR 的门径代表着传统建筑假想门径的飘摇。 STAR 不依赖于手动转移或预界说模板,而是使用分层编码时期(称为" STAR 基因组")来探索架构的强大假想空间。这些基因组撑合手重组和突变等迭代优化进程,使得 STAR 大致合成和矫正针对特定目标和硬件条目的架构。 Liquid AI 对 STAR 的当先关心点是自归来言语建模,而传统的 Transformer 架构经久以来一直占据主导地位。 在计议期间进行的测试中,Liquid AI 计议团队展示了 STAR 生成架构的材干,其性能永恒优于高度优化的 Transformer++ 架构和夹杂模子。 举例,在优化质地慈详存大小时,STAR 演化架构与夹杂模子比拟完了了高达 37% 的缓存大小减少,与 Transformers 比拟则减少了 90%。尽管成果有所进步,但 STAR 生成的模子仍保合手致使超过了同类模子的量度性能。 相通地,在优化模子质地和大小时,STAR 将参数数目减少了多达 13%,同期仍进步了递次基准测试的性能。 丝袜小说该计议还强调了 STAR 膨大其假想的材干。STAR 演化模子的参数从 1.25 亿膨大到 10 亿,其终局与现存的 Transformer++ 和夹杂模子相配致使更优,同期显耀镌汰了推理缓存条目。 Liquid AI 默示,STAR 植根于一种和会了能源系统、信号处理和数值线性代数旨趣的假想表面。 这种基础门径使团队大致为筹办单位成立一个多功能的搜索空间,涵盖闪耀力机制、递归和卷积等组件。 STAR 的一大特质是其模块化哥哥去,这使得该框架大致跨多个眉目对架构进行编码和优化。此功能可潜入了解叠加出现的假想主题,并使计议东说念主员大致笃定架构组件的灵验组合。 |