你有权拒绝。
车辆属于动产，如果借款人在向你借款时将车抵押并交付给你的，在法律上属于动产质押，该质押行为合法有效，你拥有合法的质押权，可以合法地占有作为质押物的车辆，其它任何个人和单位都无权要求你交出作为质押物的车辆。
如果是法院要求你交出该车辆的，你也有权予以拒绝，但法院仍可以对该车辆予以查封，并在以后的车辆处理款中，你有权得到优先受偿。
《物权法》
第二百零八条 为担保债务的履行，债务人或者第三人将其动产出质给债权人占有的，债务人不履行到期债务或者发生当事人约定的实现质权的情形，债权人有权就该动产优先受偿。
前款规定的债务人或者第三人为出质人，债权人为质权人，交付的动产为质押财产。
第二百一十二条 质权自出质人交付质押财产时设立。
《最高人民法院关于人民法院民事执行中查封、扣押、冻结财产的规定》
第十五条 对第三人为被执行人的利益占有的被执行人的财产，人民法院可以查封、扣押、冻结；该财产被指定给第三人继续保管的，第三人不得将其交付给被执行人。
对第三人为自己的利益依法占有的被执行人的财产，人民法院可以查封、扣押、冻结，第三人可以继续占有和使用该财产，但不得将其交付给被执行人。
