继此前在2023年10月,发布基于自研千亿大模型打造的全球首个支持20万汉字超长文本输入的智能助手产品Kimi后,日前大模型创业公司月之暗面(Moonshot AI)方面宣布在大模型长上下文窗口技术上取得新的突破,目前Kimi已支持 200万字无损上下文输入,并表示“过去要10000小时才能成为专家的领域,现在只需要10分钟,Kimi就能接近任何一个新领域的初级专家水平”。
对此,月之暗面创始人杨植麟表示,“通往通用人工智能(AGI)的话,无损的长上下文将会是一个很关键的基础技术。从word2vec到RNN、LSTM,再到Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。上下文长度可能存在摩尔定律,但需要同时优化长度和无损压缩水平两个指标,才是有意义的规模化”。
月之暗面工程师副总裁许欣然则表示,大模型无损上下文长度的数量级提升,会进一步帮助大家打开对AI应用场景的想象力,包括完整代码库的分析理解、可以自主完成多步骤复杂任务的智能体Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等。
据了解,月之暗面方面还为Kimi智能助手提供了更多数据源。据许欣然介绍,当面对一个问题时,Kimi智能助手会尝试不同的方向搜索并据此做出回答,同时在回答速度上也有提升。据许欣然表示,基于infra层的优化,目前Kimi智能助手生成速度较2023年10月份提升了三倍。
此外,月之暗面联合创始人周昕宇还透露,目前团队正在持续探索优化产品的方案,会结合长文本等能力做出更好的设计,今年公司在自研的多模态大模型上会有新动向。
据悉,目前Kimi智能助手已上线了网页版、安卓、iOS、小程序应用。据SimilarWeb数据显示,Kimi智能助手网页版于今年2月的访问量为291.9万,同比上月增长104.99%。
值得一提的是,此前在今年2月,曾有消息称月之暗面或已完成新一轮10亿美元的融资,投资方包括老股东红杉中国,以及美团、阿里、小红书等互联网背景战投,其投后估值或已达到25亿美元。据悉,这也是国内大模型初创公司自ChatGPT出现以来,所获得的最大一笔单轮融资。
随后月之暗面方面对此回应称,“公司对具体融资信息暂不方便评论。月之暗面过去未来一直坚持推进中国AGI领域的底层关键技术进步及产品创新,也会持续匹配与公司发展阶段相应的资本策略,期待未来有更多好消息与大家分享”。
【以上内容转自“三易生活网”,不代表本网站观点。如需转载请取得三易生活网许可,如有侵权请联系删除。】
未经允许不得转载:零时古怪 - 中国第一时事资讯综合门户 » 月之暗面Kimi支持200万字长文输入,已开启内测