百度统计
一面之猿网
让这个世界,因为我,有一点点的不一样
CGraph作者想知道,您是否需要一款eDAG调度框架

大家好啊,我是不会写代码的纯序员——Chunel,现在是2024年春节期间,小纯在这里,祝大家龙年大吉吧。

image

自从CGraph项目立项以来,每年春节的时候,我都会在博客中,整理总结去年小破图的进展,对参与开发和投入使用的朋友表示感谢,也分享一些个人成长的心得。虽然不知道还能坚持几年,但今年就不要例外了。

我记得,之前南哥在nndeploy的群里,说过一句话:针对现在的逻辑,dag已经不够用了。别人只关心你飞的高不高,只有小纯关心你的DAG强不强。正好当时我在看 eBPF 相关的内容,我就想提出来一个 eDAG(extended DAG)的话题,来当做色丶图的title——毕竟,现在的CGraph已经可以用来做太多非传统dag中的逻辑了。

过去的这一年,是色丶图正式成为一款可适用于工业化场景的基础组件的一年,也是色丶图大规模落地的一年。同时,我们也组织了多次内容丰富的技术分享,在各个社区跟大家做了很好联动。下面,我们就一起重温一下过去的这一年吧。

增强DAG

首先,我们来聊聊新功能吧。这一年中,我们在色丶图中引入了退出、暂停、恢复执行的功能。为一些可视化平台建设的场景,提供了便利。我们底层采用的是线程管控,没有办法做到精细的实时暂停,只能做到node级别的,这个的确是一个小小的遗憾。但我相信,这对于需要人工来处理启动和停止的场景,应该也是足够的了。

为了方便大家进行图的编排和调试,我们在原先可视化的基础上,提供了perf功能。这可以方便的让大家了解到整个图中,每个元素的耗时和运行的情况,方便大家做后期进一步的调整和优化,更好的并行化自己的逻辑。也进一步帮大家实现了“所得即所见“的问题,哪里运行了,哪里没运行,整个一目了然。

image-1707814956569

我们还提供了超时设置的功能,便于大家做各种三方请求和超时逻辑的处理。值得一提的是,我们在做这个功能的时候,兼顾了node 和 group 的操作逻辑,对外暴露一致的接口信息。个人感觉,设计和完成度都算是是比较高的了。更重要的是,早一年的时间里,有人问过我,有没有这个功能,我当时的说法是:不好做,有可能做不了。

原以为不可能的事情,还有很多。比如,之前我们在讨论,如何计算dag的最大并发度。又比如,我们讨论能否在dag执行的时候,完成动态构图逻辑。现在,这些都可以很轻易的实现了,感谢智慧的一直没有放弃的批友们。

铺天盖地

过去的这一年,是 CGraph 开始大规模落地的一年。范围覆盖了ai研究,推理引擎,自动驾驶,互联网,物联网,金融,游戏,中间件和基础组件研发,平台开发,机器人工控应用,端开发等各种领域。从高端的研究顶会项目,到工作中日常使用的小工具,都有涉及。自信一点的话,也算是做到了 顶天立地,铺天盖地,惊天动地 了吧。

一方面是因为项目功能已经趋于稳定,简单好上手,无任何三方依赖,引入非常简单,而且天然适配任何场景。还有一方面,我想也是因为我们在年初的时候,极大的降低了自身的cpu占用率,免去了大家在做各种技术评估时的后顾之忧。在性能上,我们也有了极大的提升,自测串行和dag场景中,CGraph的耗时仅为taskflow的1/4~1/2,算得上是遥遥领先了。

image-1707815614263

image-1707815632156

但在超cpu个数的并发场景中,我们性能还是落后。我再次重申,我一直认为,性能压测只是参考指标,并不能证明项目自身的好坏,taskflow 也一直都是我们学习的榜样。

分享交流

这一年,我们做了很多触达和宣贯方面的内容。年中的时候,我开始在B站上制作 CGraph相关的视频,刚才去查看了一下,已经有近50个小视频了。嗯,怎么说捏,讲真,我也感觉视频制作的不是很精美,连个最基本的字幕都没有,远不如风神。

image-1707815480381

但是,每一集都是我自己一点一点录的,因为懒得再去学做视频处理,经常是录到一半,觉得不满意,就删了重新录。内容很详实,每个demo都是手敲代码运行,满满的都是诚意,欢迎大家一键三连。

我们还邀请了其他多个项目的朋友,来小破批做技术分享。内容从软件到服务,从算法到编译,涉及多个领域。我们今后也会持续这项活动,搭建一个舞台,欢迎你来分享。

年终小节

很高兴回顾这一年,我们完成了很多去年这个时候,还感觉无法完成的事情。我自己也在其中收获颇多,再次点一下给我们精心准备分享的 鸭哥、风神、鑫哥、南总,也感谢来听分享,平时在批里聊技术的朋友,相信色图和以色图为蓝本,最终把项目落地的朋友。感谢你们的意见,没有你们的帮助,我们很难一路走到今天。

明年的话,我们将尽可能去实现更多我们今年说的去年想要完成的事情,也期待和大家一起,走的长走的远。

对项目有兴趣的朋友,欢迎添加我个人微信,随时交流哦。。。

mmqrcode1602771241876

                                                             [2024.02.13 by Chunel]

推荐阅读


个人信息

image