加工尺寸超差到底按不按工步算成本啊

做机加工小厂子，十几个人那种。最近接了个铝件，图纸标注±0.05，客户验货说端面平面度0.12超了，得返工或者报废。我们是两道工序——粗铣留0.3，精铣一刀到尺寸，工步卡上都写好了余量。客户那边QC非说我们没按工步加工导致超差，要扣款两万。

我想问下同行，这种精加工后尺寸超差，真的是没按工步算吗？还是说机床精度、热变形、装夹那些因素也得算进去？我们模具摊销还没收回来，这单要再扣款真扛不住。各位老板你们碰到这种情况怎么处理的？