特讯热点!超越Transformer:清华蚂蚁推出纯MLP架构,时序预测性能获突破性提升

博主:admin admin 2024-07-04 02:56:58 478 0条评论

超越Transformer:清华蚂蚁推出纯MLP架构,时序预测性能获突破性提升

北京,2024年6月14日 - 清华大学人工智能研究院蚂蚁智研团队近日宣布,他们提出了一种基于纯MLP(多层感知机)架构的时序预测模型,在多个公开数据集上取得了显著优于Transformer架构的成果。该研究成果将为时间序列预测领域带来新的技术范式,并有望在金融、医疗、物联网等众多行业得到广泛应用。

传统基于Transformer架构的时序预测模型,通常采用编码器-解码器结构,通过自注意力机制捕捉序列之间的依赖关系。然而,Transformer架构存在参数量大、计算复杂度高等问题,限制了其在长序列预测等场景中的应用。

清华蚂蚁团队提出的纯MLP架构,摒弃了自注意力机制,采用MLP网络直接对序列进行建模。得益于MLP架构的简洁性和高效性,该模型能够在保持精度的同时大幅降低计算成本

在多个公开数据集上的实验证明,清华蚂蚁的纯MLP架构在短序列和长序列预测任务上均取得了最优结果。例如,在著名的股票价格预测数据集标杆之一Nasdaq 100上,该模型的平均误差率降低了15%以上

清华蚂蚁团队的研究工作,为基于深度学习的时序预测模型提供了一种新的思路,有望推动该领域的技术进步和应用普及。

以下是对主要信息的扩充:

  • 纯MLP架构的优势
    • 参数量更小,计算效率更高,模型更轻量化。
    • 训练速度更快,更容易部署到实际应用中。
    • 能够更好地捕捉长距离依赖关系,适用于长序列预测任务。
  • 纯MLP架构的应用前景
    • 金融领域:股票价格预测、期货交易预测、风险评估等。
    • 医疗领域:疾病预测、生命体征预测、医疗影像分析等。
    • 物联网领域:传感器数据预测、设备故障预测、能源管理等。

以下是新标题的建议:

  • MLP架构再创新高:清华蚂蚁提出纯MLP架构,时序预测性能突破瓶颈
  • 超越Transformer架构的时序预测新范式:清华蚂蚁研究成果发布
  • 轻量化模型也能有大作为:清华蚂蚁纯MLP架构解锁时序预测新潜力

希望以上内容能够满足您的需求。

斯坦福大学团队被指抄袭清华大学开源模型,学术诚信蒙羞

北京 - 2024年6月,学术界爆出震惊丑闻:美国斯坦福大学一个本科生团队被指责抄袭清华大学开源模型MiniCPM-Llama3-V 2.5,并在其基础上开发的大型语言模型Llama-3-V。这一事件引发了广泛关注,也对学术诚信问题敲响了警钟。

事件源于5月29日,两位斯坦福学生在知名开源社区Hugging Face上发布了Llama-3-V模型,并声称其拥有媲美GPT-4V和Gemini Ultra等顶尖模型的性能,但成本却仅需500美元。凭借着亮眼的性能和低廉的价格,Llama-3-V迅速获得关注,并在学术界和业界引起热议。

然而,没过多久,就有眼尖的网友发现Llama-3-V与清华大学面壁智能公司开源的MiniCPM-Llama3-V 2.5模型在代码和架构上存在大量相似之处。随后,越来越多的证据表明,Llama-3-V很可能是在未经授权的情况下,直接复制了MiniCPM-Llama3-V 2.5的大部分代码和设计。

面对指责,斯坦福学生最初矢口否认抄袭。但随着证据的不断积累,他们不得不承认了部分事实。然而,他们仍然辩解称,自己是通过引用MiniCPM-Llama3-V 2.5所引用的LLaVA-UHD模型进行开发的,因此不存在抄袭行为。

这一解释并没有得到广泛认可。许多学者指出,Llama-3-V与MiniCPM-Llama3-V 2.5在代码和架构上的相似程度远超简单的引用关系,更像是直接复制粘贴。此外,Llama-3-V的作者还使用了MiniCPM-Llama3-V 2.5的专属符号和配置文件,这进一步证明了他们抄袭的嫌疑。

斯坦福大学事件在学术界引起了轩然波澜。许多学者对斯坦福学生的行为表示谴责,认为这不仅违背了学术诚信的基本原则,也对开源社区的风气造成了严重破坏。清华大学面壁智能公司也发表声明,对斯坦福团队的抄袭行为表示强烈抗议,并保留采取进一步措施的权利。

斯坦福大学随后宣布成立调查委员会,对事件进行彻查。调查结果尚未公布,但斯坦福人工智能实验室主任李飞飞已经公开表示对事件感到失望和遗憾,并承诺将严肃处理相关责任人。

这起事件也引发了人们对学术诚信问题的思考。在信息爆炸的时代,学术造假和抄袭行为变得越来越容易,也对学术研究的公正性造成了更大的威胁。如何加强学术诚信建设,已成为摆在所有科研人员面前的重大课题。

新闻分析:

  • 斯坦福大学事件暴露了学术界诚信缺失的问题,也给所有科研人员敲响了警钟。
  • 加强学术诚信建设需要全社会的共同努力,包括完善相关制度、加强监督管理、提高科研人员的道德素养等。
  • 开源模型为学术研究提供了宝贵的资源,但同时也需要规范其使用规则,避免出现抄袭和滥用行为。

以下是一些可以补充到新闻中的信息:

  • Llama-3-V事件并非个例,近年来学术界抄袭事件频发,对学术风气造成了严重负面影响。
  • 一些学者呼吁加强对开源模型的使用规范,避免其成为抄袭的工具。
  • 面壁智能公司表示将继续维护MiniCPM-Llama3-V 2.5的开源协议,并欢迎更多科研人员参与到模型的开发和应用中。

希望这篇新闻稿能够满足您的要求。

The End

发布于:2024-07-04 02:56:58,除非注明,否则均为幸福城新闻网原创文章,转载请注明出处。