可以的，只要原来那家单位按规定申报纳税就没关系。如果原来那家企业出现不按规定申报纳税现象，且税务局有无法联系到该单位，则会对该企业按非正常企业对待。这时原企业的法人、财务主管在当地其他注册的企业也会受到限制。
拓展资料：
财务负责人，是指一般由总会计师或财务总监担任，全面负责公司的财务管理、会计核算与监督工作的人。
严格的说必须有会计师资格、从事会计工作多年、经验丰富的人才能胜任。
有一定的管理能力，参与公司重大事项及生产经营决策。由于财务管理在经济发展中的地位越来越高，国有企业财务负责人均为领导班子成员。
参考资料：财务负责人_百度百科网页链接
