那要看你是否取得了合法的土地使用手续，如果有合法的土地使用手续，那就不违法，否则就是违法的。
《土地管理法》有如下规定：
第三十一条 国家保护耕地，严格控制耕地转为非耕地。
国家实行占用耕地补偿制度。非农业建设经批准占用耕地的，按照“占多少，垦多少”的原则，由占用耕地的单位负责开垦与所占用耕地的数量和质量相当的耕地；没有条件开垦或者开垦的耕地不符合要求的，应当按照省、自治区、直辖市的规定缴纳耕地开垦费，专款用于开垦新的耕地。
省、自治区、直辖市人民政府应当制定开垦耕地计划，监督占用耕地的单位按照计划开垦耕地或者按照计划组织开垦耕地，并进行验收。
第四十三条 任何单位和个人进行建设，需要使用土地的，必须依法申请使用国有土地；但是，兴办乡镇企业和村民建设住宅经依法批准使用本集体经济组织农民集体所有的土地的，或者乡（镇）村公共设施和公益事业建设经依法批准使用农民集体所有的土地的除外。
前款所称依法申请使用的国有土地包括国家所有的土地和国家征收的原属于农民集体所有的土地。
第四十四条 建设占用土地，涉及农用地转为建设用地的，应当办理农用地转用审批手续。
省、自治区、直辖市人民政府批准的道路、管线工程和大型基础设施建设项目、国务院批准的建设项目占用土地，涉及农用地转为建设用地的，由国务院批准。
在土地利用总体规划确定的城市和村庄、集镇建设用地规模范围内，为实施该规划而将农用地转为建设用地的，按土地利用年度计划分批次由原批准土地利用总体规划的机关批准。在已批准的农用地转用范围内，具体建设项目用地可以由市、县人民政府批准。
本条第二款、第三款规定以外的建设项目占用土地，涉及农用地转为建设用地的，由省、自治区、直辖市人民政府批准。
从上述规定可以看出，任何单位和个人建房，首先必须要申请使用国有建设用地（农村村民申请宅基地除外），国家对耕地实行保护，如确需使用耕地的，必须要办理相关合法手续。
