【蚂蚁开源混合线性架构的万亿参数思考模型Ring-2.5-1T】
2月13日,蚂蚁发布并开源首个混合线性架构的万亿参数思考模型Ring-2.5-1T。据介绍,相比此前发布的Ring-1T,Ring-2.5-1T在生成效率、思考深度、长程执行上均有大幅提升,在超过32K生成长度下,访存规模降低10倍以上,生成吞吐提升3倍以上。
来源:东方财富
财经通是一个免费的中文多源财经快讯聚合站,7×24 小时把财联社、华尔街见闻、新浪财经等 12 家主流财经媒体的快讯汇集到同一条时间轴,按时间排好、去掉重复,覆盖宏观经济与央行政策、 A股、港股、美股、债券、外汇、大宗商品和加密货币。
2月13日,蚂蚁发布并开源首个混合线性架构的万亿参数思考模型Ring-2.5-1T。据介绍,相比此前发布的Ring-1T,Ring-2.5-1T在生成效率、思考深度、长程执行上均有大幅提升,在超过32K生成长度下,访存规模降低10倍以上,生成吞吐提升3倍以上。
来源:东方财富