据媒体报道，nvidia的最新研究可能彻底改变ai的未来，其研究团队提出了一种名为归一化transformer（ngpt）的新型神经网络架构。
这一架构在超球面（hypersphere）上进行表示学习，能够显著提升大型语言模型（llm）的训练速度，最高可达20倍，同时保持了模型的精度。
ngpt架构的核心在于将所有向量，包括嵌入、多层感知机（mlp）、注意力矩阵和隐藏状态，归一化为单位范数。
这种归一化处理使得输入的token在超球面表面上移动，每一层模型都通过位移来贡献最终的输出预测。
实验结果表明，ngpt在训练时所需的步骤比标准transformer模型减少了4到20倍，具体加速效果取决于序列长度。
例如，在1k上下文中，训练速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍。
研究人员指出，ngpt的优化路径从超球面上的点开始，通过位移来贡献最终的输出预测，其中位移量由mlp和注意力模块定义。
这种方法不仅提高了训练速度，还增强了模型的稳定性。
美东时间周三，美国芯片巨头高通发布最新财报显示，其上一财季财报表现好于预期，而且高通预测，受益于中国旗舰智能机的一波火热发布，当前季度的销售额和利润将超过华尔街的预期。高
据媒体报道，网易企业邮箱免费版用户的账号容量，已由原来的3gb缩减至1gb，超出容量后将无法正常接收和发送邮件。网易企业邮箱免费版原本提供每个子邮箱账号3gb的数据存储空间，对
据报道，网易游戏展开了一场针对内部贪腐的严格审查行动，该行动波及营销条线，并导致包括网易游戏市场部总经理向某在内的多名高层管理人员被相关部门带走接受调查。据知情人士透
harmonyos官方宣布，交通银行个人手机银行9.0版本焕新升级，现已全新发布并上架harmonyos next应用市场，为消费者带来触手可及的智慧高效移动金融服务体验！此次更新标志着交通银行
ps5 pro无疑是当下玩家群体讨论度最高的话题，各种二创也不断涌现。漫画推主@fukuzawaaaaa以此为题材绘制了插图“邻居送了我游戏机”，让人浮想联翩。评论区的网友纷
微软近日确认了经典版outlook存在的一个问题，当用户同时打开超过60封电子邮件时，可能会导致程序崩溃。这一问题虽然可能并不常见，但对于需要经常处理大量邮件的用户而言，也是一
今天晚间，腾讯wxg（微信事业群）员工客村小蒋微博发文，称鸿蒙版微信现在这个版本，算是比较稳定了，后面我们会继续努力迭代。客村小蒋表示，现在想邀请已经升级了鸿蒙next的用户来参加
英特尔正式发布了新的酷睿ultra 200系列cpu，也是桌面端首次用上ultra的命名，不过新的名字带来不少困扰，原来的酷睿i7/i5/i3没有了，取而代之的是ultra加上更加复杂的数字代号，那么
中国电信携手三星电子推出新一代超高端智能手机——心系天下三星w25 flip。售价方面，w25 flip 12gb 512gb售价9999元，即日起开启预约，11月15日正式发售。官方介绍，心
今晚，三星与中国电信联合推出的心系天下三星w25折叠屏手机正式发布，提供16gb 512gb和16gb 1tb两款配置，售价分别为15999元和17999元，将于11月15日10:08正式开售。自2008年12月起
cpu-z 2.12新版本刚刚发布，不但支持新发布的锐龙7 9800x3d、新出现的cudimm ddr5内存，还支持intel尚未发布的三大新系列处理器。一是arrow lake-hx，面向高端游戏本，包括酷睿ultr
台积电创始人张忠谋的自传下册将在11月29日上市，据取得授权的出版社放出的部分内容，张忠谋曾询问过nvidia创始人黄仁勋，是否愿意担任台积电ceo。张忠谋自2005年起便开始规划接
微信linuxd88尊龙官网手机app官网今日正式上线，提供了x86、arm及龙芯loongarch三种架构的测试版app下载，标志着微信在linux平台的官方支持迈出了重要一步。长期以来，linux下的微信体验一直是用户
阿里巴巴旗下的java excel工具库easyexcel近日宣布，将停止更新，未来将逐步进入维护模式，将继续修复bug，但不再主动新增功能。easyexcel以其快速、简洁和解决大文件内存溢出的能
中兴通讯旗下努比亚、红魔与京东方联合打造的全新一代真全面屏在成都举行了交付仪式。红魔品牌王汇表示，红魔10 pro系列首发搭载京东方和红魔联合搭载的新一代1.5k真全面屏，命
近日，由中国通信工业协会电子竞技分会指导开发的游戏职业技能认定考试平台正式上线。游戏职业技能认定考试平台是针对游戏相关从业者开展的技能认定项目，有需要的人员可登录游
昨晚，金摇杆奖“终极年度游戏”提名游戏公开后，国外reddit社区对可能获得该荣誉的游戏作品展开热烈讨论,纷纷发表自己的看法和预测。提名名单：《动物井》《宇宙机器
据媒体报道，在周一的《joe rogan experience》播客节目中，特斯拉ceo埃隆·马斯克对有关特斯拉手机的传闻进行了澄清。马斯克明确表示，尽管特斯拉完全有能力制造新手机，但
苹果在10月28日发布了ios 18.1，而在发布一周后，苹果便停止签署ios 18.0.1版本，阻止已升级至ios 18.1的用户降级至ios 18。这一操作并不罕见，通常苹果会在新版ios发布不久后停止
近日ffmpeg团队宣布，通过在视频处理工作负载中实施手写avx-512汇编代码，实现了最高94倍的性能提升。高级矢量扩展（avx）是x86指令集架构的一种“单指令、多数据”扩展，
锐龙7 9800x3d马上就要解禁上市了，这是第一款集成新一代3d缓存技术、第一款开放超频的x3d处理器，令人期待。geekbench 6数据库里提前出现了一份锐龙7 9800x3d的特殊跑分，显示频
苹果最新款iphone 16因未满足40%零部件当地生产的要求，而被禁止在印尼销售。据媒体报道，为了解决这一问题，苹果公司提出了在印度尼西亚投资近1000万美元的计划，以期解除销售禁令
红魔10 pro系列将于11月13日15点在北京发布，该机号称“屏幕技术破局者”。博主数码闲聊站放出了红魔10 pro系列渲染图，如图所示，红魔10 pro系列四周边框极窄，该机首发
知情人士透露，微信鸿蒙版在华为应用市场已开启大规模放量。自微信原生适配鸿蒙系统并开启公测以来，其已经历了多个版本的更新，功能逐步完善。近期微信鸿蒙版新增了转账、发红包
欧盟委员会表示，欧盟反垄断监管机构将对ipados进行评估，审查ipados操作系统是否符合欧盟的《数字市场法案》(dma)。此前，苹果发布了一份有关其ipad操作系统的合规报告，按照欧盟
之前我们曾报道，blg战队遗憾结束英雄联盟2024全球总决赛的征程后，队伍五位选手未来能否继续共同奋战成为了一个未知数。bin、lvmao、xun、elk四名选手的合同在今年的11月19日
今日，天翼终端宣布，心系天下三星w25、w25 flip新品发布会将于11月6日19:00举行。据了解，从2008年开始，三星就与中国电信合作，推出旗下“心系天下”w699手机，真正意义上
小米集团张国全与网友互动时表示，小米14 ultra已经推送澎湃os 2 beta版，稳定版已在内部进行测试，如果没有问题的话，下周就会推送。在小米15系列发布会上，小米集团金凡介绍了澎湃o
今日，openkylin（开放麒麟）官方宣布，微信全新公测版本微信4.0上架openkylin软件商店。更新后，微信linux版本与跨平台架构下的windows、macos公测版本将达到功能一致、更新同步。官
谷歌ceo桑达尔·皮查伊（sundar pichai）在近日的财报电话会议中宣称，谷歌内部新代码中有四分之一是ai生成，随后由工程师进行审核和验收。不过他的这一说法，很快就遭到了自家
据可靠线索，苹果计划将于明年推出一款外观经过重新设计、机身明显更薄的iphone 17。这款新机的命名尚未确认，国外媒体暂时将其称为iphone 17 air。本周，在与投资银行海通国际合
人工智能初创公司openai与其投资伙伴微软之间似乎早已出现裂痕：前者想改变与微软之间的排他性合作协议，而后者则是在自家技术日益成长中希望摆脱对openai的依赖。据美媒最新发
据媒体报道，日前有多位开发者称收到微软邮件表示，微软azure的openai api服务将于10月21日关停，未来只有企业客户才能继续使用这项服务。据了解，多数开发者是在17日早上收到这一
根据最新数据，nvidia在研发上的投入约为amd的两倍，但与intel和高通相比，nvidia和amd的研发支出相形见绌，而苹果的研发支出更是远超这些公司。数据显示，intel在2023年的研发支出超
oppo官方今日发布了一条预热消息，宣布coloros 15将会推出全新的oppo文档。据悉，这款应用将支持多项功能，包括“文件随心开”、“ai随心帮写”、“格
1999年10月11日，nvidia发布了geforce256。这是世界上第一款被定义为gpu的产品，nvidia也由此成为gpu的发明者，如今更是成为独一无二的gpu领导者。当时，pc游戏市场还没有专门的解
在旧金山举行的advancing ai 2024大会上，amd正式发布新一代gpu加速卡instinct mi325x，硬刚nvidia。根据官方展示的数据，mi325x支持八块并行组成一个平台，最高可达成2tb hbm3e内
amd发布了自己的首个小语言模型(slm)，名为“amd-135m”。相比于越来越庞大的大语言模型(llm)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署
据媒体周五报道，苹果公司已退出了openai融资轮的谈判，该轮融资预计将筹集65亿美元。媒体援引一位知情人士的话报道称，这家科技巨头最近退出了定于下周结束的这一轮谈判。目前，融
ai时代的基石是什么？是硬件与算力。ai时代的发展靠什么？靠合作与应用。英特尔的ai战略特点鲜明，一直坚持基于开放、可扩展的软硬件平台，打造全面覆盖云、边、端的kb88凯时官网登录的解决方案，cpu通
