NovelAI - 模型



自 2021 年 6 月 NovelAI 发布以来,其创作者已经引入了许多创新的故事创作 AI 模型等等。每个模型的名称都受到神话的启发,并配有手工制作的艺术作品。

卡利欧佩 (Calliope) 是 NovelAI 首个发布的模型,发布于 2021 年 7 月 16 日。该模型拥有 27 亿个参数,但在质量和我们今天使用的其他功能方面存在不足。现在,此模型已不再可用。

当前模型

NovelAI 中的一些当前模型包括 -

1. 爱拉托 (Erato)

爱拉托是最新发布的模型,基于 **Llama 3 70B 基础模型**,发布于 2024 年 9 月 23 日。该模型继续在 Nerdstash 预训练数据集的更新部分上进行令牌训练。该模型经过精心调整,尤其适用于讲故事的任务。为了让用户能够将更多故事内容融入上下文,采用了 Llama 3 分词器,取代了 Nerdstash V2 分词器。

2. 卡伊拉 (Kayra)

卡伊拉于 2023 年 7 月 28 日发布,是其中一个具有代表性的高级模型,拥有 130 亿个参数。该模型以其高质量的故事创作、文字冒险、指令和散文增强功能而闻名,有助于胜任各种任务,例如项目列表和视频转录。该模型拥有令人印象深刻的 8192 个令牌上下文窗口,是之前模型的四倍。

3. 克利俄 (Clio)

克利俄于 2023 年 5 月 23 日发布,是第一个在 Shoggy GPU 集群上训练的“从头开始”模型,拥有 30 亿个参数和 1.6 万亿个训练令牌。尽管该模型比其他模型更小,但它以速度弥补了这一点,因为它可以高效地执行文字冒险、指令和散文增强等任务。

4. 遗留模型

克拉肯 (Krake) 于 2022 年 3 月 11 日发布,是 NovelAI 微调并使用 EleutherAI 的 Neo-X 20b 模型开发的最大模型之一,旨在提供独特的讲故事体验。但是,它的生成速度较慢,拥有 2048 个令牌窗口,并且与模块 v2 不兼容。厄特佩 (Euterpe) 是另一个遗留模型,基于 Fairseq 家族的 13b 变换器模型,具有令人印象深刻的生成速度和与模块 V2 的兼容性。

西格德 (Sigurd) 是 NovelAI 的第二个模型,拥有 60 亿个参数,支持自定义和模块 V2,也以其闪电般的生成速度而闻名。源氏 (Genji) 和蛇 (Snek) 是从厄特佩派生的实验性模型,源氏专注于日语文本生成,而蛇专注于 Python 编码,但自从推出功能更强大的最新模型后,它们不再推荐用于故事生成。

广告