发布时间：2024-12-06 22:27:38
数据集：【中韩文本翻译数据集】经典小说中韩文句子翻译对齐数据集
236
25
本内容由， 集智官方收集发布，仅供参考学习，不代表集智官方赞同其观点或证实其内容的真实性准确性，请勿用于商业用途。
下面是一个使用T5模型进行中韩文章短句翻译的代码示例。我们将通过Hugging Face的transformers库来加载预训练的T5模型，并使用它进行翻译任务。
首先，确保你安装了必要的库：
集智数据集 
中文
pip install transformers datasets torch pandasimport pandas as pd
from transformers import T5Tokenizer, T5ForConditionalGeneration
import torch
# 1. 加载T5模型和分词器
# T5模型可以进行多种文本到文本的任务，包括翻译
model_name = "t5-small" # 使用预训练的T5-small模型，适合中小型任务
tokenizer = T5Tokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)
# 2. 加载数据集（假设你的数据集已经是一个xlsx文件）
data = pd.read_excel("zh_kr_translation_data.xlsx") # 加载你的数据集文件
# 3. 定义一个翻译函数，使用T5模型进行中韩翻译
def translate_text(input_text, source_lang="zh", target_lang="ko"):
"""
使用T5模型进行文本翻译的函数。
参数：
- input_text: 输入的中文句子
- source_lang: 源语言（默认为中文）
- target_lang: 目标语言（默认为韩文）
"""
# 为了让T5模型理解任务，我们需要在输入文本前加上指令
input_text = f"translate {source_lang} to {target_lang}: {input_text}"
# 使用tokenizer将输入文本转换为模型可处理的格式
inputs = tokenizer(input_text, return_tensors="pt", max_length=512, truncation=True, padding="longest")
# 使用T5模型生成翻译结果
with torch.no_grad(): # 不需要计算梯度
outputs = model.generate(**inputs, max_length=128, num_beams=4, early_stopping=True)
# 解码生成的token并返回翻译结果
translated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
return translated_text
# 4. 遍历数据集进行翻译
# 假设你的数据集包含'中文原句'列，可以根据实际的列名来调整
translations = []
for index, row in data.iterrows():
chinese_sentence = row['中文原句'] # 获取中文句子
korean_translation = translate_text(chinese_sentence) # 翻译成韩文
translations.append(korean_translation) # 将翻译结果保存到列表
# 5. 将翻译结果添加到数据集中
data['韩文翻译'] = translations # 将翻译结果放入新列中
# 6. 保存带有翻译的结果到新的Excel文件
data.to_excel("translated_data.xlsx", index=False) # 将带翻译的结果保存到新文件
print("翻译完成，结果已保存为 'translated_data.xlsx'")
中文原句列）。你可以根据自己的实际数据集路径和字段名进行调整。t5-base、t5-large）的情况下。如果你的计算环境有限，可以使用t5-small或更小的模型。t5-base）或者使用专门为机器翻译设计的模型（如MarianMT）。zh、ko）来支持多语言翻译。如果需要进行其他语言对的翻译，只需要调整输入的语言代码即可。假设你有一个中文句子：“明天会下雨”，模型将输出韩文翻译：“내일 비가 올 것이다”。
通过这个例子，你可以轻松实现中韩翻译的任务，并将结果保存到新的数据集中，便于进一步处理或分析。
这类数据集包含成对或多对语言的文本样本，每一对文本表示相同内容的不同语言版本。目的是训练机器翻译模型，使其能够将一种语言的文本准确地翻译成另一种语言。用于开发和优化自动翻译系统，提高跨语言沟通的效率和准确性。