|
AI 创业公司 MosaicML 近日发布了其 70 亿参数模型 MPT-7B-8K,据悉,该模型一次可以处理 8000 字文本,相当擅长处理长文重点摘要和问答,还能在 MosaicML 平台上根据特定任务,进一步微调相关配置。 据悉,系列模型采用了 150 万个 Token,并以 256 块 H100 GPU 花 3 天完成模型训练而成。MosaicML 本次发布了 3 个版本模型,包括 MPT-7B-8k、MPT-7B-8k-Instruct 和 MPT-7B-8k-Chat。 其中,第一个版本 MPT-7B-8k、是以 Transformer 解码器为基础,并以 FlashAttention 和 FasterTransformer 机制来加速训练与推论,能一次处理 8000 字文本,MosaicML 公司表示,该模型开源、允许商用。 第二个版本 MPT-7B-8k-Instruct 是以第一个版本 MPT-7B-8k 微调而成,MosaicML 公司表示,MPT-7B-8k-Instruct 模型可处理长篇指令,特别注重于生成“摘要和问答”,该模型一样开源且可商用。 第三个版本 MPT-7B-8k-Chat 则是机器人对话式的 AI 模型,MosaicML 公司宣称,该模型额外多用了 15 亿个聊天数据 Token,在第一版模型 MPT-7B-8k 之上继续训练而成,该模型开源,但不允许商用。 据此前报道,MosaicML 公司也推出了一款号称训练成本仅为竞品零头的 MPT-30B 开源模型,该公司日前已将所有开源模型发布于 Huggingface 平台,感兴趣的小伙伴们可以前往进行相关了解,还可以在本地硬件上使用自己的数据,在下载后,对模型进行各种微调。
编 辑:章芳
|

关键词:新闻资讯:AI公司MosaicML推出70亿参数模型MPT-7B-8,号称“一次处理 8000 字长文本、可商用”,免费同城空降app入口在哪里_全国同城约会服务平台_同城快餐wx交流群_同城约茶服务网站,接私活,人到付款,同城服务,品茶,喝茶,过夜,酒店宾馆,qq,做完付款,新茶,微信.查询网上新闻,不限次数,00元,小时,约小姐,上门服务,小妹,100/200/300/400/500/6789,服务 ,喝茶工作室,可约可空降,快餐,联系电话,空降服务附近约茶,品茶,24小时,约会交友,附近喝茶,免费上门,上门服务,接单,小妹电话,上门卖身,个人接单上门服务,二维码,人到付款,微信,qq
网站管理