设为首页
收藏本站
开启辅助访问
切换到宽版
快捷导航
登录
立即注册
快速发布信息
搜索
搜索
首页
Portal
社区
BBS
签到
本版
文章
帖子
用户
大秦说
»
社区
›
科技
›
科技前沿
›
研究人员推出xLSTM神经网络AI架构:并行化处理Token、有 ...
返回列表
发新帖
研究人员推出xLSTM神经网络AI架构:并行化处理Token、有望迎战Transformer
[复制链接]
3007
|
0
|
2024-5-14 18:54:29
|
发表时间:2024-5-14 18:54:29
|
显示全部楼层
|
阅读模式
1997年,Sepp Hochreiter和Jürgen Schmidhuber共同提出了长短期记忆(Long Short-Term Memory,LSTM)神经网络结构,以解决循环神经网络(RNN)长期记忆能力不足的问题。然而最近,Hochreuter在《arXiv》上发表了一篇论文,提出了一种名为xLSTM(Extended LSTM)的新架构。
据论文介绍,在新的xLSTM架构中采用了指数型门控循环网络,并引入了“sLSTM”和“mLSTM”两项记忆规则,使得相关神经网络结构能够有效地利用RAM并实现类Transformer的并行化操作。此外,团队还使用了150亿个Token对基于xLSTM及Transformer架构的两款模型进行测试,在评估后发现xLSTM表现最好,尤其是在“语言能力”方面。
根据研究人员的评估结果,“xLSTM有望与Transformer一战”。虽然目前尚不清楚这项技术是否会在未来实际应用到产品开发中,但可以肯定的是这种新型神经网络结构为人工智能领域带来了新的可能性。
回复
使用道具
举报
返回列表
发新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
星际
20
主题
70
帖子
70
积分
注册会员
注册会员, 积分 70, 距离下一级还需 130 积分
注册会员, 积分 70, 距离下一级还需 130 积分
积分
70
收听TA
发消息
回复楼主
返回列表
科技前沿
AI科技
科技快讯
大数据
热门排行
1
《AC影》揭日本玩家伤疤手办被重做引热议:接下该逼他们删了黑人
2
大神分享《最终幻想16》贝妮迪塔建模图 黑色内衣诱人
3
Epic喜加二:《Invincible Presents: Atom Eve》与《卡牌王:牌店模拟器》
4
朱鹤新:外汇储备将继续发挥维护国家经济金融稳定的“压舱石”作用
5
2024年双十一手机销量排行榜:小米第一,vivo第二,苹果仅排第五
6
淘宝重大决定!关闭全额仅退款评价入口 预计一年减少265万条中差评
7
美股前瞻 | 三大股指期货齐涨,阿斯麦盘前续跌超3%
8
卢伟冰:小米14用户中女性比例非常高 但更容易摔手机