通过 Celery 进行异步查询

Celery

在大型的分析数据库中，运行需要几分钟或几小时的查询是很常见的。为了支持那些执行时间超过典型网络请求超时（30-60秒）的长时间运行的查询，需要为 Superset 配置一个异步后端，该后端包括：

一个或多个 Superset 工作进程（实现为 Celery 工作进程），可以通过 celery worker 命令启动，运行 celery worker --help 查看相关选项。
一个 Celery 代理（消息队列），我们推荐使用 Redis 或 RabbitMQ
一个结果后端，定义了工作进程将持久化查询结果的位置

配置 Celery 需要在 superset_config.py 中定义一个 CELERY_CONFIG。工作进程和 Web 服务器进程应具有相同的配置。

class CeleryConfig(object):
    broker_url = "redis://localhost:6379/0"
    imports = (
        "superset.sql_lab",
        "superset.tasks.scheduler",
    )
    result_backend = "redis://localhost:6379/0"
    worker_prefetch_multiplier = 10
    task_acks_late = True
    task_annotations = {
        "sql_lab.get_sql_results": {
            "rate_limit": "100/s",
        },
    }

CELERY_CONFIG = CeleryConfig

要启动一个利用该配置的 Celery 工作进程，请运行以下命令：

celery --app=superset.tasks.celery_app:app worker --pool=prefork -O fair -c 4

要启动一个调度周期性后台任务的作业，请运行以下命令：

celery --app=superset.tasks.celery_app:app beat

要设置结果后端，您需要将 flask_caching.backends.base.BaseCache 的派生实例传递给 superset_config.py 中的 RESULTS_BACKEND 配置键。您可以使用 Memcached、Redis、S3（https://pypi.python.org/pypi/s3werkzeugcache）、内存或文件系统（在单服务器设置或测试中），或者编写自己的缓存接口。您的 superset_config.py 可能如下所示：

# 在 S3 上
from s3cache.s3cache import S3Cache
S3_CACHE_BUCKET = 'foobar-superset'
S3_CACHE_KEY_PREFIX = 'sql_lab_result'
RESULTS_BACKEND = S3Cache(S3_CACHE_BUCKET, S3_CACHE_KEY_PREFIX)

# 在 Redis 上
from flask_caching.backends.rediscache import RedisCache
RESULTS_BACKEND = RedisCache(
    host='localhost', port=6379, key_prefix='superset_results')

为了提高性能，现在使用 MessagePack 和 PyArrow 进行结果序列化。如果出现问题，可以通过在 superset_config.py 中设置 RESULTS_BACKEND_USE_MSGPACK = False 来禁用此功能。请在升级现有环境时清除现有的结果缓存存储。

重要提示

重要的是，Superset 集群中的所有工作节点和 Web 服务器必须共享一个共同的元数据数据库。这意味着在这种情况下 SQLite 将无法工作，因为它对并发支持有限，并且通常存在于本地文件系统中。
在整个设置中只能运行一个 celery beat 实例。否则，后台作业可能会被多次调度，导致奇怪的行为，如报告重复发送、预期之外的负载/流量增加等。
SQL Lab 将仅在您启用数据库设置中的 异步查询执行（来源 > 数据库 > 编辑记录）时异步运行您的查询。

Celery Flower

Flower 是一个基于 Web 的工具，用于监控 Celery 集群，您可以从 pip 安装它：

pip install flower

您可以使用以下命令运行 flower：

celery --app=superset.tasks.celery_app:app flower

Celery​

Celery Flower​

Celery

Celery Flower