1、此罚款应该缴纳。因为，你补交的税款以及罚款是对你未按规定取得发票，或者说是对你由他人虚开的行为进行的处理，而对对方的处罚是对其虚开发票行为进行的处罚，不是一回事。由于，对方没有收入，所以只对其进行行为罚，也就是对其虚开发票的行为罚款，并不涉及税款，而你公司取得发票后进行了抵扣，给国家造成了税款损失，所以必须将已经抵扣的税款转出，补交税款。
2、至于追不追刑事责任，按规定应该追究，但因为数额不是特别大，找找人也可能不会追究，事在人为。具体规定是：新《刑法》第二百零五条 虚开增值税专用发票或者虚开用于骗取出口退税、抵扣税款的其他发票的，处三年以下有期徒刑或者拘役，并处二万元以上二十万元以下罚金；虚开的税款数额较大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处五万元以上五十万元以下罚金；虚开的税款数额巨大或者有其他特别严重情节的，
处十年以上有期徒刑或者无期徒刑，并处五万元以上五十万元以下罚金或者没收财产。
有前款行为骗取国家税款，数额特别巨大，情节特别严重，给国家利益造成特别重大损失的，处无期徒刑或者死刑，并处没收财产。
单位犯本条规定之罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，处三年以下有期徒刑或者拘役；虚开的税款数额较大或者有其他严重情节的，处三年以上十年以下有期徒刑；虚开的税款数额巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑。
虚开增值税专用发票或者虚开用于骗取出口退税、抵扣税款的其他发票，是指有为他人虚开、为自己虚开、让他人为自己虚开、介绍他人虚开行为之一的。
3、第1 条已经说了，虽然是一个案件，由于违法的主体和行为不同，所以不属于一事二罚。
4、如果税务机关移交，就必须经过公安机关立案侦查，然后根据情况做出下一步处理措施。但是，如果能在税务局找到人，不移交的话，公安机关就不会处理。
