add dataflow affinity proposal #53
Conversation
Signed-off-by: xliuqq <xlzq1992@gmail.com>
Signed-off-by: xliuqq <xlzq1992@gmail.com>
|
@cheyang 如果整体没问题，后面可以翻译成英文。 |
|
|
||
| const ( | ||
| DefaultAffinityPolicy AffinityPolicy = "" | ||
| RequireAffinityPolicy AffinityPolicy = "require" |
There was a problem hiding this comment.
The policy value is camel case, like below:
type RestartPolicy string
const (
RestartPolicyAlways RestartPolicy = "Always"
RestartPolicyOnFailure RestartPolicy = "OnFailure"
RestartPolicyNever RestartPolicy = "Never"
)|
Thanks for your proposal. It looks pretty good. @TrafalgarZZZ , please also take a look. Thanks. |
@xliuqq 感谢！我有一个问题是，用户最终会如何编写多个Data Operation的Yaml，Yaml中的Affinity会怎么写呢？是否意味着仅需要在第一个Data Operation中加上与节点的Affinity信息（e.g. Operation.spec.affinity），然后后续的Data Operation中填写Affinity Policy？ |
另一个类似的疑问是：如果我现在有A、B、C、D四个Data Operation，A Op没有调度亲和性（可以任意找有资源的节点调度），但后续的B、C、D Ops只需要prefer调度到A Op运行的节点的相同可用区，目前该设计中该如何编写Yaml呢？ |
Signed-off-by: xliuqq <xlzq1992@gmail.com>
Signed-off-by: xliuqq <xlzq1992@gmail.com>
|
@cheyang @TrafalgarZZZ please review the updated proposal. @cheyang should the en docs be in this pr ? |
Thanks, @xliuqq . It looks good to me. We can create another PR for en doc. |
当前Fluid 支持 DataFlow，多个Data Operation可以顺序执行。但是不同的 Data Operation 的 Pod 在执行时，可能会在不同的节点，导致整体性能不高。期望能够在不同的 Data Operation 中”继承“指定的亲和性配置，提升整体DataFlow的执行性能。