将用LaTeX编写的斯洛文尼亚语书籍翻译成英语

在作者许可的情况下，我们将演示如何将Milan Mitrović撰写的斯洛文尼亚语书籍欧几里得平面几何翻译成英语，而不修改任何LaTeX命令。

为了实现这一目标，我们首先将书籍分成大约一页长的块，然后将每个块翻译成英语，最后将它们拼接在一起。

1. 读取数据

from openai import OpenAI
import os
from transformers import GPT2Tokenizer

client = OpenAI(api_key=os.environ.get("OPENAI_API_KEY", "<your OpenAI API key if you didn't set as an env var>"))

# OpenAI的GPT-2分词器与GPT-3分词器相同。
# 我们用它来计算文本中的词元数量。
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

with open("data/geometry_slovenian.tex", "r") as f:
    text = f.read()

1.1 统计每个块中的标记数

chunks = text.split('\n\n')
ntokens = []
for chunk in chunks:
    ntokens.append(len(tokenizer.encode(chunk)))
max(ntokens)

Token indices sequence length is longer than the specified maximum sequence length for this model (1327 > 1024). Running this sequence through the model will result in indexing errors

事实证明，在这种情况下，双换行是一个很好的分隔符，以避免破坏文本的流畅性。此外，没有单个块大于1500个标记。我们将使用的模型是text-davinci-002，它的标记限制为4096个，因此我们不需要担心进一步分割块。

我们将把较短的块分组成大约1000个标记的块，以增加文本的连贯性，并减少文本内的断点频率。

def group_chunks(chunks, ntokens, max_len=1000, hard_max_len=3000):
    """
    将非常短的片段组合起来，形成大约一页长的片段。
    """
    batches = []
    cur_batch = ""
    cur_tokens = 0
    
    # 遍历各个区块，并将较短的区块组合在一起
    for chunk, ntoken in zip(chunks, ntokens):
        # 丢弃超过硬性最大长度的数据块
        if ntoken > hard_max_len:
            print(f"Warning: Chunk discarded for being too long ({ntoken} tokens > {hard_max_len} token limit). Preview: '{chunk[:50]}...'")
            continue

        # 如果当前批次有空间，则添加新块。
        if cur_tokens + 1 + ntoken <= max_len:
            cur_batch += "\n\n" + chunk
            cur_tokens += 1 + ntoken  # 为两个换行符添加1个标记
        # 否则，记录当前批次并开始新的批次。
        else:
            batches.append(cur_batch)
            cur_batch = chunk
            cur_tokens = ntoken
            
    if cur_batch:  # 如果最后一组不为空，请将其添加进去。
        batches.append(cur_batch)
        
    return batches


chunks = group_chunks(chunks, ntokens)
len(chunks)

注意，添加一个未翻译和已翻译的第一个命令样本，其中只需要翻译章节名称的内容，有助于获得更一致的结果。

发送给模型的提示格式包括： 1. 一个高层指示，只翻译文本内容，而不是命令，到期望的语言 2. 一个未翻译的示例命令，其中只需要翻译章节名称的内容 3. 待翻译的文本块 4. 从第2步翻译的示例命令，展示给模型翻译过程的开始

预期输出是翻译后的文本块。

def translate_chunk(chunk, model='gpt-3.5-turbo',
                    dest_language='English',
                    sample_translation=("\poglavje{Osnove Geometrije} \label{osn9Geom}", "\poglavje{The basics of Geometry} \label{osn9Geom}")
                    ):
    prompt = f'''Translate only the text from the following LaTeX document into {dest_language}. Leave all LaTeX commands unchanged
    
"""
{sample_translation[0]}
{chunk}"""

{sample_translation[1]}
'''
    response = client.chat.completions.create(
        messages=[{"role": "user", "content":prompt}],
        model=model,
        temperature=0,
        top_p=1,
        max_tokens=1500,
    )
    result = response.choices[0].message.content.strip()
    result = result.replace('"""', '') # 去掉双引号，因为我们用它们来包围文本。
    return result
print(translate_chunk(chunks[800], model='gpt-3.5-turbo', dest_language='English'))

Let $\mathcal{I}=\mathcal{S}_{AB} \circ\mathcal{S}_{CA}
    \circ\mathcal{S}_{BC}$. By  \ref{izoZrcdrsprq} is
    $\mathcal{I}$ a mirror reflection. Let $A_1$, $B_1$ and $C_1$ be in order the center points of the lines $BC$, $AC$ and $AB$ of the triangle $ABC$.
    Because it is a right triangle is $\mathcal{I}(A_1C_1)=A_1C_1$, which
    means that the line $A_1C_1$ is of this mirror reflection. It is not
    difficult to prove that for the point $A'_1=\mathcal{I}(A_1)$ (both
    lie on the axis $A_1C_1$) is
    $\overrightarrow{A_1A'_1}=3\overrightarrow{A_1C_1}$, so
    $\mathcal{I}=\mathcal{G}_{3\overrightarrow{A_1C_1}}$.

\item  \res{Given are the points $A$ and $B$ on the same side of the line
$p$.
Draw the line  $XY$, which lies on the line $p$ and is consistent
with the given line $l$, so that the sum
$|AX|+|XY|+|YB|$ is minimal.}

Let $A'=\mathcal{G}_{\overrightarrow{MN}}(A)$ (where $M,N\in
p$ and $MN\cong l$). The point $Y$ is obtained as the intersection of the lines $p$
and $X'Y$ (see also example \ref{HeronProbl}).

\item  \res{Let $ABC$ be an isosceles right triangle with a right angle at the vertex $A$. What does the composite
$\mathcal{G}_{\overrightarrow{AB}}\circ \mathcal{G}_{\overrightarrow{CA}}$ represent?}

Let $p$ and $q$ be the simetrali of the sides $CA$ and $AB$ of the triangle
$ABC$. By  \ref{izoZrcDrsKompSrOsn} is:
 $$\mathcal{G}_{\overrightarrow{AB}}\circ
 \mathcal{G}_{\overrightarrow{CA}}=
 \mathcal{S}_q\circ\mathcal{S}_A\circ\mathcal{S}_A\circ\mathcal{S}_p=
 \mathcal{S}_q\circ\mathcal{S}_p.$$ Because $ABC$ is an isosceles
 right triangle with a right angle at the vertex $A$, the lines $p$ and $q$ are perpendicular and intersect at the center $S$
 of the hypotenuse $BC$. Therefore
 $\mathcal{G}_{\overrightarrow{AB}}\circ
 \mathcal{G}_{\overrightarrow{CA}}=\mathcal{S}_q
 \circ\mathcal{S}_p=\mathcal{S}_S$.

\item \res{In the same plane are given the lines
$a$, $b$ and $c$.
Draw the points $A\in a$ and $B\in b$
so that $\mathcal{S}_c(A)=B$.}

我们可以看到这里，这个特定的代码块只翻译文本，但保留LaTeX命令不变。

现在让我们翻译书中的所有代码块 - 这将需要2-3个小时，因为我们是按顺序处理请求的。

dest_language = "English"

translated_chunks = []
for i, chunk in enumerate(chunks):
    print(str(i+1) + " / " + str(len(chunks)))
    # 翻译每一段
    translated_chunks.append(translate_chunk(chunk, model='gpt-3.5-turbo', dest_language=dest_language))

# 将各部分连接起来
result = '\n\n'.join(translated_chunks)

# 保存最终结果
with open(f"data/geometry_{dest_language}.tex", "w") as f:
    f.write(result)

1. 读取数据​

1.1 统计每个块中的标记数​

1. 读取数据

1.1 统计每个块中的标记数