Gemma-谷歌发布的最新开放模型，小尺寸可商用

文章目录

Gemma是什么？

Gemma是谷歌最新发布的一款轻量级开放模型，它采用了与创建Gemini模型相同的研究和技术，是一个小尺寸的大语言模型。Gemma是由Google DeepMind和Google其他团队合作开发的，并用拉丁语中意为“宝石”的gemma为其命名。

Gemma共有两个版本：Gemma 2B（20亿参数）和Gemma 7B（70亿参数），每种规模都提供了预训练和指令微调版本。这些模型尺寸相对较小，应用成本也更低，适合各种规模的组织（无论规模大小）进行商用和分发。未来，Gemma这个系列还会发布更大尺寸的模型。

在训练数据上，Gemma主要在大量英文文本数据上进行训练的，这些数据主要来源于网络文档、数学和代码。具体来说，Gemma 2B模型训练了大约2万亿（2T）个token，而Gemma 7B模型则训练了大约6万亿（6T）个token。

不过，Gemma没有接受过处理图像或视频等非文本数据的训练，也没有专门针对多语言任务进行优化。

为了方便开发者，谷歌不仅开源模型，还附带开发套装，包括全新的“负责任生成式AI工具包”，为基于Gemma开发安全的人工智能应用程序提供了必要指导和工具，以及跨主流框架（如JAX、PyTorch及原生Keras 3.0下的TensorFlow）的推理和监督微调（SFT）工具链。

各种设备也已经适配好。谷歌已经基于英伟达的GPUs和谷歌云TPUs等多个AI硬件平台，对Gemma进行优化，让模型可以直接在笔记本电脑或台式机上运行。

Gemma官网入口：https://ai.google.dev/gemma

Gemma的主要特点

以下是Gemma模型的一些主要特点：

模型大小：Gemma提供了两种大小的模型权重，分别是Gemma 2B和Gemma 7B，每种大小都有预训练和指令调整（instruction-tuned）的变体。
负责任的生成AI工具包：Google发布了一个新的工具包，提供指导和必要工具，帮助开发者使用Gemma创建更安全的AI应用。
工具链支持：Gemma模型支持在所有主要框架（JAX、PyTorch和TensorFlow通过原生Keras 3.0）上进行推理和监督式微调（SFT）。
易用性：提供了预制的Colab和Kaggle笔记本，以及与Hugging Face MaxText、NVIDIA NeMo TensorRT-LLM等流行工具的集成，使得开始使用Gemma变得容易。预训练和指令调整的Gemma模型可以在笔记本电脑、工作站或Google Cloud上运行，并且可以轻松部署在Vertex AI和Google Kubernetes Engine（GKE）上。
性能优化：Gemma模型在多个AI硬件平台上进行了优化，包括NVIDIA GPU和Google Cloud TPUs，确保了行业领先的性能。
负责任的设计：Gemma在设计时遵循了Google的AI原则。为了确保预训练模型的安全和可靠性，Google使用了自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。此外，通过人类反馈的强化学习（RLHF）对指令调整模型进行了广泛的微调，以确保模型行为的负责任性。Google还进行了包括手动红队测试、自动化对抗性测试和模型能力评估在内的严格评估。
跨框架、工具和硬件优化：Gemma模型可以在多种工具和系统上进行微调，以适应特定应用需求，如摘要或检索增强生成（RAG）。Gemma支持多种工具和系统，包括跨设备兼容性和与NVIDIA GPU的优化。
免费资源：为了支持开发者和研究人员，Google提供了Kaggle的免费访问、Colab笔记本的免费层级，以及首次使用Google Cloud的300美元信用额度。研究人员还可以申请高达50万美元的Google Cloud信用额度以加速他们的项目。