近期，我国科技巨头在人工智能领域再次推陈出新，推出了即时中文互动ChatGPT平台。该平台凭借优异的性能和便捷的操作，已在网页版中开放试玩接口，让用户体验到与智能助手实时对话的乐趣。
这一平台的推出，为用户带来了全新的互动体验。它不仅能够实现问答、对话等功能，还能根据上下文语境进行理解和生成。此外，即时中文互动ChatGPT平台在支持文本生成、信息抽取和理解等多种类型任务的同时，也兼容法律、新冠等领域的问题解答。
值得一提的是，该平台在中文环境中实现了零样本学习，用户只需提供prompt即可进行相关操作。而且，平台还兼顾了技术性和通用性，适用于各种场景和场合。
即时中文互动ChatGPT平台的诞生，基于先进的PromptCLUE-large模型进行训练。模型参数量高达7.7亿，显存需求约为6G，仅需一张民用显卡即可运行。目前，模型已对外开放下载，方便广大用户获取和使用。
PromptCLUE在1亿token的中文语料上完成了预训练，累计学习了15万亿个中文字词级别token。在此基础上，平台针对理解类任务如分类、情感分析、抽取等，可以实现自定义标签体系；针对多种生成任务，则可以进行采样自由生成。
如何使用？
用户可以通过以下方式使用即时中文互动ChatGPT平台：
1. Githb项目地址：https://githb.com/cle-ai/ChatYan
2. Hggingface项目地址：https://hggingface.co/CleI/ChatYan-large-v1
3. ModelScope项目地址：https://modelscope.cn/models/CleI/ChatYan
加载模型：
使用PaddlePaddle项目地址（https://aistdio.baid.com/aistdio/projectdetail/54418）进行模型下载，再通过以下路径获取模型地址：https://hggingface.co/CleI/ChatYan-large-v1-paddle。
使用自有数据训练模型：
首先，将数据组织成统一的格式，包括输入（Inpt）和输出（Otpt）。针对单轮问答或生成：输入（Inpt）：任务描述+输入文本；输出（Otpt）：系统预测的文本。对于多轮对话，则在前者基础上增加上文。
举个例子：
示例1：用户：“你能干什么？”平台回复：“您好！我是小智。”
示例2：用户：“写一个关于春天的诗。”平台回复：“春风拂面暖阳照，花开花落又一年。春日里的阳光温暖如春，让我们感受生命的美好。”
……
（以下省略）
技术与训练过程：
即时中文互动ChatGPT平台在PromptCLUE基础上进行进一步训练和优化。它去掉了文本理解、信息抽取类任务，加强了问答、对话和各种生成式任务的学习和训练；同时，针对多轮对话易受上下文干扰的问题，加入抗干扰数据，提升模型在必要时忽略无关上下文的 capability。
平台还引入用户反馈数据进行学习，使其不仅具备一定的通用语言理解和生成能力，更能准确响应用户意图。PromptCLUE的训练过程包括以下几个方面：
1. 章节统一：采用text-to-text框架；
2. 的大规模预训练：基于t5-large版基础，使用数百G中文语料进行训练，累积约1.5万亿个中文字词级别token；
3. 大规模任务数据：覆盖16种任务类型，包含数百种任务，累计亿级任务数据；
4. 混合预训练：将下游任务作为预训练语料，同时与预训练语料一起训练，减少任务灾难遗忘及缩短预训练和下游任务的距离；
5. 平滑采样：在训练batch内对各种任务按照比例采样，根据任务数据量进行平滑采样，并限制任务数据量采样池的上限，降低任务训练偏差危害，减少异质任务之间训练负迁移；
6. 分阶段训练：涉及预训练分阶段（序列长度）和下游训练分阶段（学习率、序列长度变化及递减式对数据量的限制），提高预训练速度和适应不同任务的性能；
7. 增加语言模型训练：使用SpanCorrption构建无监督训练，并通过prefixLM方式增强生成任务能力；
8. 训练模式选择：根据下游任务数据分别构建Data_text、Data_target等语料，加入预训练中，增强模型的encoder理解能力和decoder生成能力；
9. 重新构建模型字典：采用sentencepiece在千亿token上学习并构建模型字典，更加符合中文语言习惯。
后续工作：
目前版本已经支持问答、对话和各种创意性写作或文本生成。相对于线上版本，其意图理解和生成能力在某些场景下有较大提升空间；同时，还不能较好地实现推理或复杂任务。未来将根据用户反馈进一步改进现有版本。
总之，即时中文互动ChatGPT平台的推出将为我国人工智能领域的发展贡献力量。我们有理由相信，这款功能强大的平台将成为人们日常生活中的得力助手。
