这种情况通常叫做multicollinearity。
一般统计背景的人倾向于不选C,因为他们倾向于independent的feature,这样通过观察coefficient,可以了解每个feature对最终的estimate起到的作用。如果两个feature是collinear的,尤其是此消彼长形的,那完全无法确定这个feature和estimate有什么关系。
但是如果从实际出发,你只关系accuracy。那就加吧。因为加了并不会影响你的prediction power。最后再用regularization就可以控制model的complexity,所以不用担心over fit。
另外,如果你用的是NN,那有多少加多少。