不知道你什么情况，请自己度德量力才好。如果是中学想自学建议放弃。大学物理系的按部就班自然会学到狭义相对论的（属于电动力学部分），广义相对论一般也会有选修的。其他情况自己掂量吧。
数学知识最基本的包括
微积分 线性代数 张量分析（这个一般相对论书里会有）
另强烈建议学习
复变函数 数学物理方程（或偏微分方程）
有兴趣还可学习
群论 微分流形
另建议先看过普通物理力学和电磁学部分。
至于书嘛，数学方面就推荐一本梁昆淼的《数学物理方法》（复变函数+数学物理方程）好了，微积分，线性代数大部分书都差不多，有兴趣好好学就用数学系的“数学分析”和“高等代数”教材。
另外物理方面
狭义相对论 郭硕宏《电动力学》
广义相对论 温伯格《引力论与宇宙论》
