►
Keras 3 API 文档 /
KerasNLP
KerasNLP
KerasNLP 是一个模块化构建块的工具箱，范围从预训练的最先进模型到低级 Transformer 编码器层。有关该库的介绍，请参阅 KerasNLP 首页。有关 API 的高级介绍，请参阅我们的 入门指南。
预训练模型
- 艾伯特
- 巴特
- Bert
- 布鲁姆
- DebertaV3
- 蒸馏Bert
- 珍玛
- Electra
- 猎鹰
- FNet 是一种变换模型架构，它使用傅里叶变换代替标准深度神经网络中的注意力机制。傅里叶变换在理论和实践中是一种有效的工具，广泛应用于各种信号处理任务。在 FNet 中，这一变换被成功应用于文本处理任务，简化了计算并提高了模型的效率。
- GPT-2
- 羊驼
- Llama3
- 米斯特拉尔
- 优化 (Optimizer)
- 请提供具体英文内容以便我进行翻译。
- Phi3
- 罗伯塔
- XLM罗伯塔
模型API
分词器
预处理层
模型层
- TransformerEncoder层
- TransformerDecoder 层
- FNetEncoder层
- 位置嵌入层
- 旋转嵌入层
- 正弦位置编码层
- 可逆嵌入层
- TokenAndPositionEmbedding 层
- Alibi偏置层
- 掩码语言模型头层
- 缓存多头注意力层