Welcome to funboost's documentation!

Contents:

• 1.python万能分布式函数调度框架简funboost简介
  • 框架评价
  • 1.0 github地址和文档地址
    • 1.0.1 分布式函数调度框架文档地址
    • 1.0.2 分布式函数调度框架github地址
    • 1.0.3 funboost 框架 和 function_scheduling_distributed_framework 框架 关系说明
  • 1.1 安装方式
  • 1.2 框架功能介绍
    • 1.2.1 框架支持5种并发模式
    • 1.2.2 框架支持30种中间件或三方框架
    • 1.2.3 框架对任务支持30种控制功能。
  • 1.3 框架使用例子
  • 1.4 python分布式函数执行为什么重要？
  • 1.5 框架学习方式
  • 1.6 funboost支持支持celery框架整体作为funboost的broker (2023.4新增)
• 2. 对比celery框架
  • 2.0,在比较之前，说明一下和celery的关系？
    • 2.0.1 funboost的设计理念更像dramatiq，dramatiq 抄袭复制粘贴celery代码了吗？
  • 2.1 celery对目录层级文件名称格式要求很高
  • 2.2 性能远远超过celery
  • 2.3 celery的重要方法全部无法ide自动补全提示
  • 2.4 比celery强的方面的优势大全
  • 2.5 funboost能支持celery整体框架
• 3.框架详细介绍
  • 3.1 各种中间件选择的场景和优势
  • 3.2 框架支持的函数调度并发模式种类详细介绍
  • 3.3 框架最最重要的boost装饰器参数说明
  • 3.3.2 funboost 重要公有方法大全介绍
  • 3.3.3 boost装饰器 的 concurrent_num 和 qps 之间的关系。
  • 3.4 框架的乞丐精简版实现方式
  • 3.5 框架的任务消费确认
  • 3.6 框架的设计规范原则
• 4.使用框架的各种代码示例
  • 4.0 框架最重要的@boost装饰器的入参格式说明
    • 4.0.1 老的 @booost 直接传入多个参数方式
    • 4.0.2 新的@ boost 只传入一个 pydantic Model BoostParams 类型或子类 的入参
    • 4.0.3 pydantic model 的 BoosterParams 的入参pycharm下自动补全
    • 4.0.4 关于很多funboost 例子的@boost 使用直接入参,没有使用 pydantic Model类型的BoostParams
    • 4.0.5 自定义子类继承 BoosterParams,使得每次少传参
  • 4.1 装饰器方式调度函数
  • 4.2a 非装饰器调度函数,方式一，(非常不推荐直接用get_consumer写代码,这样跳过了一些步骤,应该推荐用4.2c方式)
  • 4.2b 非装饰器调度函数,方式二，(非装饰器使用,这是装饰器的本质用法)
  • 4.2c 在函数内部无限次按照队列名动态生成booster(消费者、生产者) (非装饰器)
  • 4.2d 框架的 BoostersManager boosters管理介绍
  • 4.2d.2 使用 BoostersManager 一次性启动所有队列消费,
  • 4.3a 演示如何解决多个步骤的消费函数
  • 4.3.b 演示多个函数消费者使用同一个线程池
  • 4.3c 演示清空消息队列和获取消息队列中的消息数量
  • 4.4 演示如何定时运行。
    • 4.4.b 演示如何跨解释器、机器，动态添加、修改、删除、查看定时任务(修改定时配置，不用重启python定时器脚本)。
    • 4.4.c funboost_scheduler.add_push_job(consume_func) 和 funboost_scheduler.add_job(consume_func.push) 的区别？
  • 4.5 多进程并发 + 多线程/协程，代码例子。
  • 4.6 演示rpc模式，即客户端调用远程函数并及时得到结果。
    • 4.6.1 rpc 消费端执行两数求
    • 4.6.2 发布端获取求和的结果
    • 4.6.2b 发布端获取求和的结果，在线程池中进一步处理结果
    • 4.6.3 手动设置rpc结果最大等待时间
    • 4.6.4 为什么获取不到执行结果？
    • 4.6.5 asyncio 语法生态下rpc获取执行结果。
    • 4.6.7 从mongo中获取函数执行结果
  • 4.7 演示qps控频
    • 4.7.1 演示qps控频和自适应扩大和减小并发数量。
    • 4.7.2 此框架对固定耗时的任务，持续控频精确度高于99.9%
    • 4.7.3 对函数耗时随机性大的控频功能证明
    • 4.7.4 分布式全局控频和单个消费者控频区别
  • 4.8 再次说明qps能做什么，qps为什么流弊？常规并发方式无法完成的需求是什么？
    • 4.8.1 下面讲讲常规并发手段为什么对8qps控频需求无能为力？
    • 4.8.2 使用分布式函数调度框架，无论接口耗时多少，轻松达到8qps的例子
    • 4.8.3 并发数量和qps(每秒执行多少次)之间的区别
  • 4.9 演示延时运行任务
  • 4.10 在web中如flask fastapi django 如何搭配使用消费框架的例子。
  • 4.11 保存消费状态和结果包mongo，开启消费状态结果的web页面
    • 4.11.1 保存消费状态和结果到mongodb
    • 4.11.2 框架是可以自动保存消费状态/结果到mongo，你想保存到MySQL?
    • 4.11.3 可视化，启动python分布式函数调度框架之函数运行结果状态web
  • 4.12 框架 asyncio 方式运行协程
    • 4.12.1 concurrent_mode=ConcurrentModeEnum.ASYNC 运行协程
    • 4.12.2 concurrent_mode=ConcurrentModeEnum.THREADING 运行asyncio协程
  • 4.13 跨项目怎么发布任务或者获取函数执行结果？
  • 4.14 获取消费进程信息的方法(用于排查查看正在运行的消费者)
  • 4.16 文件日志所在的地方
    • 4.16.1 没亲自指定 日志文件名
    • 4.16.2 亲自指定日志文件名,log_filename的值
    • 4.16.3 把用户自己的业务日志和funboost框架日志写到同一个文件
  • 4.16.4 funboost 日志由 nb_log 提供。
  • 4.17 判断函数运行完所有任务，再执行后续操作
  • 4.18 暂停消费
  • 4.19 用户自定义记录函数消费 状态/结果 钩子函数
    • 4.19.b 自定义保存函数消费状态结果到mysql/sqlite/pgsql请看4.11.2.b的章节
  • 4.20 通过 broker_exclusive_config 参数 设置不同中间件能使用到的差异化独特配置
  • 4.21 【完全自由定制扩展】 使用 register_custom_broker 完全彻底自由灵活自定义扩展和定制修改中间件(消费者和发布者)
  • 4.23 演示funboost框架是如何代替用户手写调用线程池的
  • 4.24 设置消费函数重试次数
    • 4.24.b 抛出ExceptionForRequeue类型错误，消息立即重回消息队列
    • 4.24.c 抛出 ExceptionForPushToDlxqueue 类型错误，消息发送到单独另外的死信队列中
    • 4.24.d 设置is_push_to_dlx_queue_when_retry_max_times,重试到max_retry_times最大次数没成功发送到死信队列
    • 4.24.e (内置辅助)将一个消息队列中的消息转移到另一个队列
  • 4.25 push和publish发布消息区别
  • 4.26 性能调优演示
    • 4.26.1 在一个进程中启动多个函数的消费，适合轻型任务
    • 4.26.2 在多个进程中启动函数的消费，适合一次启动大量函数的消费或重型任务
  • 4.28 funboost 支持celery框架整体作为funboost的broker (2023.4新增)
  • 4.29 funboost支持任务优先级队列
    • 4.29.1 队列支持优先级的说明：
    • 4.29.2 优先级通俗理解，用食堂打饭比喻：
    • 4.29.3 队列支持任务优先级的代码主要有三点：
    • 4.29.4 队列支持任务优先级的代码如下：
    • 4.29.5 消息队列优先级是针对一个queue内消息的，那么怎样才能实现不同函数之间的按优先级运行？
  • 4.30 funboost 远程杀死(取消)任务
    • 4.30.1 funboost远程杀死函数的代码例子
    • 4.30.2 远程强制杀死函数、超时自动杀死(function_timeout设置不为0)， 这两个功能要注意死锁：
    • 4.30.2.b 如果想启用funboost函数超时自动杀死功能或者 远程杀死函数功能，推荐消费函数中使用可过期锁 expire_lock
  • 4.31 funboost_current_task 上下文获取当前消息和任务状态
  • 4.100 使用funboost时候对框架的疑问和猜测的验证方式
    • 4.100.b 举个例子，验证测试框架的超时杀死 function_timeout参数的作用
  • 4.200 [分布式函数调度框架qq群]
• 4b.使用框架的各种代码示例(高级进阶)
  • 4b.1 日志模板中自动显示task_id
    • 4b.1.1 日志模板中显示task_id
    • 4b.1.2 用户在消费函数中想自动显示task_id,方便搜索task_id的关键字来排查某条消息的所有日志.
    • 4b.1.3 一键全局使用 TaskIdLogger 代替 logging.Logger 的方式
    • 4b.1.4 能在消费函数的整个链路里面的调用的任意函数获取task_id的原理
• 5.框架运行时截图
  • 5.1 windwos pycharm 运行截图
  • 5.1b 新增running状态显示截图(2024-03)：
  • 5.2 linux 运行率截图
  • 5.3 函数执行结果及状态搜索查看
• 6.常见问题回答
  • 6.1 你干嘛要写这个框架？和celery 、rq有什么区别？
  • 6.2 为什么包的名字这么长?
  • 6.3 框架是使用什么序列化协议来序列化消息的。
  • 6.4 框架如何实现定时？
  • 6.5 为什么强调是函数调度框架不是类调度框架，不是方法调度框架？
  • 6.6 是怎么调度一个函数的。
  • 6.7 框架适用哪些场景？
  • 6.8 怎么引入使用这个框架？门槛高不高？
  • 6.9 怎么写框架？
  • 6.10 框架能做什么
  • 6.11 日志的颜色不好看或者觉得太绚丽刺瞎眼，想要调整。
  • 6.12 是不是抄袭模仿 celery
  • 6.13 使用此框架时候，在一个python项目中如何连接多个相同种类的消息队列中间件ip地址
  • 6.14 什么是确认消费？为什么框架总是强调确认消费？
  • 6.15 如何等待队列中的消息全部消费完成
  • 6.16 框架支不支持函数上加两个装饰器？
  • 6.17 嫌框架日志记录太详细？
    • 6.17.a 设置发布者消费者的日志级别,控制是否显示发布了什么消息和消费了什么消息.
    • 6.17b 嫌funboost启动时候打印太多提示用户的消息?
  • 6.18 为什么框架在cmd shell终端运行时候要求会话中设置环境变量 export PYTHONPATH=你的项目根目录？
    • 6.18.2 为什么celery scrapy django不需要用户设置pythonpath？
    • 6.18.3 怎么指定配置文件读取 funboost_config.py 和nb_log_config.py的文件夹位置
    • 6.18.4 怎么根据不同环境使用不同的funboost_config配置文件？
    • 6.18.5 多个ptyhon项目怎么使用同一个funboost_config.py 作为配置文件
  • 6.19 定时任务或延时任务报错 RuntimeError: cannot schedule new futures after interpreter shutdown
  • 6.21 支不支持redis cluster集群模式的redis作为消息队列？
  • 6.22 怎么使用tcp socket 作为消息队列
  • 6.23 安装包时候自动安装的三方依赖包太多？
    • 6.23.b 作者为什么不开发pip 选装方式?例如实现选装 pip install funboost[rabbitmq]
  • 6.24 funboost框架从消息队列获取多少条消息？有没有负载均衡？
• 7.更新记录
  • 7.0 很小的更新，对api使用完全无变化或者无增加新功能的不写更新记录。
  • 7.1 新增第十种Consumer，以redis为中间件，但增加了消费确认，是RedisConsumerAckAble类。
  • 7.2 新增基于以redis为消息中间件时候的页面管理和消费速度显示。
  • 7.3 新增一个10行代码的函数的最精简乞丐版实现的分布式函数执行框架.
  • 7.4 新增sqlachemy 支持的数据库作为消息中间件
  • 7.5 日志改为导入独立包nb_log，支持用户配置文件自定义日志配置。
  • 7.6 优化qps控频。
  • 7.7 增加rocketmq支持。 (2020-7)
  • 7.8 新增 async 并发模式 (2020-12)
    • 7.8.2 gevent/eventlet 和 asyncio 用法区别感受
    • 7.8.3 关于 async 并发模式，为什么框架还使用 pyredis pika pymongo，而没有使用aioredis aiomongo
  • 7.8.4 愚蠢的celery调用异步函数写法
  • 7.9 2021-04 新增以 redis 的 stream 数据结构 为中间件的消息队列。
  • 7.10 2021-04 新增以 redis 的 list 为数据结构，但使用 brpoplpush 命令 双队列 作为中间件的消息队列。
  • 7.11 2021-04 新增以 zeromq 为中间件的消息队列。
  • 7.12 2021-04 新增以 操作kombu包 为中间件的消息队列
  • 7.14 2021-04 新增以mqtt emq 作为消息中间件
  • 7.15 2021-04 新增以 httpsqs 作为消息中间件
  • 7.16 2021-04 新增支持下一代分布式消息系统 pulsar 。
  • 7.17 2021-04 新增延时运行任务,介绍见4.8
  • 7.18 2021-09 新增 轻松远程服务器部署运行函数
  • 7.19 2021-09 新增 socket udp/tcp/http 消息队列，不需要安装消息中间件软件。
  • 7.20 2021-09 新增 支持 nats 高性能消息队列
  • 7.21 2022-01 新增 @boost装饰器全局默认配置
  • 7.22 2022-02 新增暂停消费功能
  • 7.23 2022-04 消费者/boost装饰器 新增 broker_exclusive_config 参数
  • 7.24 2022-04 新增用户 自定义记录消费状态结果函数钩子
  • 7.25 2022-04 新增用户灵活自由自定义扩展中间件和生产消费逻辑的功能
  • 7.26 2022-07 新增内置以redis作为apscheduler存储的定时器，动态增删改查定时任务配置。
  • 7.27 2023-02 新增适配python 3.6-3.11所有版本
  • 7.28 2023-02 新增 asyncio 语法生态下rpc获取执行结果
  • 7.29 2023-03 新增死信队列
  • 7.30 2023-03 新增支持ctrl + c 退出程序
  • 7.31 2023-04 新增支持 celery 作为 broker。
  • 7.32 2023-04 新增支持 python 微服务框架 nameko 作为 broker。
  • 7.33 2023-05 优化了apscheduler定式框架的动态删除添加定时任务
  • 7.34 2023-05 重新实现了boost装饰器
  • 7.35 2023-06 新增支持优先级队列
  • 7.36 2023-07 新增支持 funboost远程杀死任务
  • 7.37 2023-07 新增所有命名空间的日志和print都另外写入到一个总的文件中。
  • 7.38 2023-10 多线程并发模式，增加了支持async def的函数
  • 7.39 2024-01 @booost装饰器入参变成pydantic Model类型, BoostParams类或子类
  • 7.40 2024-03 函数运行状态页面增加消息运行中状态
  • 7.41 2024-03 新增 funboost_current_task 上下文
• 8.用于爬虫
  • tips : 202309 新增boost_spider爬虫框架
  • 8.0 很多人问这个框架能不能爬虫？
  • 8.1 演示获取汽车之家资讯的 新闻 导购 和 评测 3个板块 的 文章。
  • 8.2 演示经典的豆瓣top250电影的爬虫
    • 8.2.2 funboost 对比网上的 scrapy 爬取 douban代码
  • 8.3 演示3种最常见代码思维方式爬取汽车之家资讯
    • 8.3.1 每次临时手写rquests + 多线程,使用low爬虫方式的缺点
    • 8.3.2 scrapy 爬虫框架来实现缺点
    • 8.3.3 scrapy 框架 和 分布式函数调度框架爬虫对比
    • 8.3.4 临时手写爬虫全流程的代码
    • 8.3.5 scrapy爬虫代码
    • 8.3.6 分布式函数调度框架的代码
  • 8.4 通义千问来回答 funboost和scrapy爬虫的问题
    • 8.4.1 通义千问来回答,funboost和scrapy写爬虫区别:
    • 8.4.2 通义千问回答的 funboost 写爬虫的20个优点:
• 9 轻松远程服务器部署运行函数
  • 9.1 远程服务器部署函数的意义
  • 9.2 远程服务器部署函数的入参介绍。
  • 9.3 远程服务器部署消费函数的代码示例。
• 10.python3.6-3.11安装/使用funboost出错问题反馈
  • 10.0 框架与你项目依赖的三方包版本不一致冲突？
  • 10.1 windwos安装后如果报错 ImportError: DLL load failed while importing win32file
  • 10.2 定时任务报错 RuntimeError: cannot schedule new futures after interpreter shutdown
  • 10.3 文档1.3例子 BrokerEnum.PERSISTQUEUE,sqlite作为中间件例子在mac/linux运行,报错 read-only
• 11 funboost 使用某些中间件或三方任务队列框架作为broker的例子(包括celery框架)。
  • 11.1 使用celery作为funboost的中间件
    • 11.1.1 funboost启动celery消费和定时和flower
    • 11.1.2 funboost发布任务到celery队列
    • 11.1.3 funboost使用celery作为中间件的运行截图
    • 11.1.4 funboost 的api 操作celery，比人工操作 celery 大大简化。
    • 11.1.5 funboost 使用celery作为中间件时候，可以填写的celery任务配置
    • 11.1.6 网上关于celery项目目录结构和文件夹/文件命名必须很死板， 是错的
    • 11.1.7 仍然想使用celery命令行？
    • 11.1.8 funboost使用celery作为broker_kind的原理
  • 11.2 使用nameko 微服务框架作为funboost消息中间件例子
    • 11.2.1 nameko服务端脚本
    • 11.2.2 nameko客户端脚本
    • 11.2.3 funboost操作nameko能简化亲自使用nameko框架的语法
  • 11.3 使用kombu作为funboost的broker
    • 11.3.1 kombu操作rabbitmq作为funboost的消息队列
    • 11.3.2 kombu+redis作为消息队列
    • 11.3.3 kombu+sqlalchemy 作为消息队列
    • 11.3.4 kombu+mongo作为消息队列
    • 11.3.5 kombu+文件作为消息队列
  • 11.4 使用dramatiq框架作为funboost消息队列
  • 11.5 使用huey框架作为funboost消息队列
  • 11.6 使用rq框架作为funboost的broker
• 12 funboost 控制台支持命令行
  • 12.0 funboost命令行使用fire实现
  • 12.1 命令行分为调用funboost包内命令和用户自身项目的命令行
    • 12.1.1 funboost自身命令行,python -m funboost 是自动调用 funboost的 main.py 的fire命令行
    • 12.1.2 用户项目根目录下的 funboost_cli_user.py 的文件可以接受命令行传参
    • 12.1.3 python -m funboost 和 python 项目根目录/funboost_cli_user.py 传参不同点
  • 12.2 funboost命令行指定消费函数所在的模块或文件夹
  • 12.3 打印发现的用户定义的@boost消费函数
  • 12.4 funboost命令行清空消息队列
  • 12.5 funboost命令行给一个队列发布消息
  • 12.6 funboost命令行启动多个queue消费者
    • 12.6.b funboost命令行启动所有queue消费者,用户无需指定队列名
  • 12.7 funboost命令行暂停消费