如果你的房子早于公路而存在，那么是不能处罚的。
但是如果你把旧房子进行拆除翻建，那么是违法的，要罚款甚至拆除。
第十一条 县级以上地方人民政府应当根据保障公路运行安全和节约用地的原则以及公路发展的需要，组织交通运输、国土资源等部门划定公路建筑控制区的范围。
公路建筑控制区的范围，从公路用地外缘起向外的距离标准为：
（一）国道不少于20米；
（二）省道不少于15米；
（三）县道不少于10米；
（四）乡道不少于5米。
你的房子离路缘只有3m，正好在建筑控制区范围内。是不能新建住房的，也不能翻修旧房的。
