使用字符串和字节数组#

虽然 NumPy 主要是一个数值库,但使用字符串或字节类型的 NumPy 数组通常也很方便.最常见的两种用例是:

  • 使用从数据文件加载或内存映射的数据,其中数据中的一个或多个字段是字符串或字节串,并且字段的最大长度是预先已知的.这通常用于名称或标签字段.

  • 使用 NumPy 索引和广播处理未知长度的 Python 字符串数组,这些字符串数组可能为每个值定义了数据,也可能没有.

对于第一个用例,NumPy 提供了固定宽度的 numpy.void、numpy.str_ 和 numpy.bytes_ 数据类型.对于第二个用例,NumPy 提供了 numpy.dtypes.StringDType.下面我们描述如何使用固定宽度和可变宽度字符串数组,如何在这两种表示之间进行转换,并提供一些关于如何在 NumPy 中最有效地使用字符串数据的建议.

固定宽度数据类型#

在 NumPy 2.0 之前,固定宽度的 numpy.str_、numpy.bytes_ 和 numpy.void 数据类型是唯一可用于处理 NumPy 中的字符串和字节字符串的类型.因此,它们分别被用作字符串和字节字符串的默认 dtype:

>>> np.array(["hello", "world"])
array(['hello', 'world'], dtype='<U5')

这里检测到的数据类型是 '<U5',即小端序的 Unicode 字符串数据,最大长度为 5 个 Unicode 码点.

同样适用于字节串:

>>> np.array([b"hello", b"world"])
array([b'hello', b'world'], dtype='|S5')

由于这是一个单字节编码,字节顺序是 `’|’`（不适用）,检测到的数据类型是一个最多5个字符的字节字符串.

你也可以使用 numpy.void 来表示字节字符串:

>>> np.array([b"hello", b"world"]).astype(np.void)
array([b'\x68\x65\x6C\x6C\x6F', b'\x77\x6F\x72\x6C\x64'], dtype='|V5')

这在处理不适合表示为字节串的字节流时非常有用,而是更适合视为8位整数的集合.

可变宽度字符串#

在 2.0 版本加入.

备注

numpy.dtypes.StringDType 是 NumPy 的一个新成员,使用 NumPy 中对灵活用户定义数据类型的新支持实现,并且在生产工作流中的测试不如旧的 NumPy 数据类型广泛.

通常,现实世界中的字符串数据长度是不可预测的.在这些情况下,使用固定宽度的字符串会很尴尬,因为要在数组创建之前知道数组中要存储的最长字符串的长度,才能在不截断的情况下存储所有数据.

为了支持这种情况,NumPy 提供了 numpy.dtypes.StringDType,它在一个 NumPy 数组中以 UTF-8 编码存储可变宽度的字符串数据:

>>> from numpy.dtypes import StringDType
>>> data = ["this is a longer string", "short string"]
>>> arr = np.array(data, dtype=StringDType())
>>> arr
array(['this is a longer string', 'short string'], dtype=StringDType())

请注意,与固定宽度的字符串不同,``StringDType`` 不是由数组元素的最大长度参数化的,任意长或短的字符串可以生活在同一个数组中,而不需要在短字符串中为填充字节预留存储空间.

另请注意,与固定宽度字符串和大多数其他 NumPy 数据类型不同,``StringDType`` 不在”主” ndarray 数据缓冲区中存储字符串数据.相反,数组缓冲区用于存储有关字符串数据在内存中存储位置的元数据.这种差异意味着期望数组缓冲区包含字符串数据的代码将无法正常工作,并且需要更新以支持 StringDType.

缺失数据支持#

通常字符串数据集是不完整的,并且需要一个特殊的标签来指示某个值是缺失的.默认情况下,``StringDType`` 对缺失值没有任何特殊支持,除了使用空字符串来填充空数组之外:

>>> np.empty(3, dtype=StringDType())
array(['', '', ''], dtype=StringDType())

可选地,你可以通过在初始化器中传递 na_object 作为关键字参数来创建一个支持缺失值的 StringDType 实例:

>>> dt = StringDType(na_object=None)
>>> arr = np.array(["this array has", None, "as an entry"], dtype=dt)
>>> arr
array(['this array has', None, 'as an entry'],
      dtype=StringDType(na_object=None))
>>> arr[1] is None
True

na_object 可以是任何任意的 python 对象.常见的选择是 numpy.nan、float('nan')、None、一个专门用于表示缺失数据的对象,如 pandas.NA,或一个（希望）唯一的字符串,如 "__placeholder__".

NumPy 对类似 NaN 的哨兵和字符串哨兵有特殊的处理.

类似NaN的缺失数据标记#

一个类似 NaN 的标记在算术运算中返回自身作为结果.这包括 Python 的 nan 浮点数和 Pandas 的缺失数据标记 pd.NA.类似 NaN 的标记在字符串操作中继承这些行为.这意味着,例如,与其他任何字符串相加的结果是该标记:

>>> dt = StringDType(na_object=np.nan)
>>> arr = np.array(["hello", np.nan, "world"], dtype=dt)
>>> arr + arr
array(['hellohello', nan, 'worldworld'], dtype=StringDType(na_object=nan))

遵循浮点数数组中 nan 的行为,类似 NaN 的标记会排序到数组的末尾:

>>> np.sort(arr)
array(['hello', 'world', nan], dtype=StringDType(na_object=nan))

字符串缺失数据哨兵#

缺失数据值的字符串是 str 的实例或 str 的子类型.如果这样的数组传递给字符串操作或转换,”缺失”条目被视为它们具有由字符串哨兵给出的值.比较操作同样直接使用哨兵值来处理缺失条目.

其他哨兵#

其他对象,例如 None 也被支持作为缺失数据的标志.如果在使用这种标志的数组中存在任何缺失数据,那么字符串操作将会引发错误:

>>> dt = StringDType(na_object=None)
>>> arr = np.array(["this array has", None, "as an entry"])
>>> np.sort(arr)
Traceback (most recent call last):
...
TypeError: '<' not supported between instances of 'NoneType' and 'str'

强制非字符串#

默认情况下,非字符串数据会被强制转换为字符串:

>>> np.array([1, object(), 3.4], dtype=StringDType())
array(['1', '<object object at 0x7faa2497dde0>', '3.4'], dtype=StringDType())

如果不需要这种行为,可以通过在初始化器中设置 coerce=False 来创建一个禁用字符串强制转换的 DType 实例:

>>> np.array([1, object(), 3.4], dtype=StringDType(coerce=False))
Traceback (most recent call last):
...
ValueError: StringDType only allows string data when string coercion is disabled.

这允许在同一遍数据处理中进行严格的数据验证,这是NumPy用于创建数组的数据.设置 coerce=True 恢复默认行为,允许强制转换为字符串.

从定宽字符串转换为和从定宽字符串转换#

StringDType 支持在 numpy.str_、numpy.bytes_ 和 numpy.void 之间的往返转换.当字符串需要在 ndarray 中内存映射或当需要固定宽度的字符串以读取和写入具有已知最大字符串长度的列式数据格式时,转换为固定宽度的字符串最为有用.

在所有情况下,转换为固定宽度的字符串需要指定允许的最大字符串长度:

>>> arr = np.array(["hello", "world"], dtype=StringDType())
>>> arr.astype(np.str_)  
Traceback (most recent call last):
...
TypeError: Casting from StringDType to a fixed-width dtype with an
unspecified size is not currently supported, specify an explicit
size for the output dtype instead.

The above exception was the direct cause of the following
exception:

TypeError: cannot cast dtype StringDType() to <class 'numpy.dtypes.StrDType'>.
>>> arr.astype("U5")
array(['hello', 'world'], dtype='<U5')

numpy.bytes_ 转换对于已知仅包含 ASCII 字符的字符串数据最为有用,因为超出此范围的字符在 UTF-8 编码中无法用单个字节表示,并且会被拒绝.

任何有效的unicode字符串都可以转换为 numpy.str_,尽管由于 numpy.str_ 使用32位UCS4编码来表示所有字符,这对于可以用更节省内存的编码良好表示的实际文本数据来说,通常会浪费内存.

此外,任何有效的unicode字符串都可以转换为 numpy.void ,直接将UTF-8字节存储在输出数组中:

>>> arr = np.array(["hello", "world"], dtype=StringDType())
>>> arr.astype("V5")
array([b'\x68\x65\x6C\x6C\x6F', b'\x77\x6F\x72\x6C\x64'], dtype='|V5')

必须注意确保输出数组有足够的空间来存储字符串中的 UTF-8 字节,因为 UTF-8 字节流的字节大小不一定与字符串中的字符数相同.

On this page