网易推出超大模型推理引擎EET：超速响应 3秒创作一首歌词

　　近日，网易旗下AI研究与应用机构网易伏羲推出新一代Transformer推理引擎Easy and Efficient Transformer（简称：EET引擎）。该引擎具有可扩展、性能高、易使用等特点，能够在自然语言处理和多模态领域，有效提升Transformed-based超大模型的推理效率，让AI算法产生更大的社会价值，助力中国在超大模型生态研发领域领先全球。

　　目前，EET引擎已经应用在网易云音乐、Lofter，以及《逆水寒》、《天谕》等游戏中，在情境对话、语义判别、故事生成、AI作词、AI作曲等场景中发挥效能。

　　近年来，国内外掀起了对Transformed-based超大模型的研发热潮。Google、OpenAI、华为、微软、NVIDIA等AI巨头纷纷投身其中，在多个领域展开“军备竞赛”。然而，超大模型庞大的参数量带来了巨大的计算压力，处在高速发展期的超大模型生态，急需好用、高效、具有扩展性的推理引擎，来助推工程落地。

　　而技术应用，正是网易伏羲的重点研究方向。据悉，此次推出的EET引擎相当于在超大模型和应用场景之间搭建了一座桥梁，把超大模型的算法成果运用到实际业务中，有效降低响应时间、增强用户体验、提高吞吐量、缓解线上部署压力。

　　在应用中，EET引擎主要解决两个问题：首先，针对AI线上服务的延迟问题，EET引擎可以在更短的时间内响应用户，提升用户体验。

　　举例来说，在网易伏羲研发的AI写歌产品中，用户可以通过设定关键词、韵脚、词格、段落属性等信息参数，在AI技术的帮助下，迅速创作一首歌词。由于其中涉及到海量参数的计算，一首歌词的创作大约需要20秒的时间。应用EET引擎的之后，同样一首歌词的创作时间被缩短到了3~4秒，用户体验大大提升。

　　第二，EET引擎还能降低硬件成本，提升线上模型的吞吐量。简单来说，假如完成一项计算任务需要部署10台服务器，在应用EET引擎之后，只需要2台服务器就能完成相同的任务。

　　与同类推理引擎相比，EET引擎的加速效果表现出色。在一组与字节跳动推理引擎LightSeq的比较实验中，EET引擎的加速效果在小规模情况下比LightSeq高0.819到1.64倍；在中等模型情况下，EET引擎的加速效果比LightSeq高1.46到2.9倍。

　　图注：EET在小模型(hidden_units=768, sequence_length=769)的情况下与LightSeq进行比较

　　图注：EET在中等模型(hidden_units=1024, sequence_length=1024)的情况下与LightSeq进行比较

　　目前，超大模型的规模已经发展到千亿级别，正在向万亿规模进发。网易伏羲也将进一步优化EET引擎，未来将支持千亿、乃至万亿规模的超大模型，为前沿技术发展和应用提供动力。

　　网易伏羲成立于2017年，是国内专业从事游戏和泛娱乐产业人工智能研究和应用的顶尖机构。网易伏羲的研究方向包括强化学习、图像动画、自然语言、虚拟人、用户画像、大数据平台、云计算平台、云游戏等领域。在为网易众多产品提供高质量和前沿AI技术的同时，网易伏羲正在进一步把AI技术和产品开放给更多合作伙伴，全面释放创作者的生产力，革新用户体验。

荒野行动官方合作专区 https://www.gaoshouyou.com/hy163

荒野行动官方最新版下载 https://www.gaoshouyou.com/youxiku/12918.html