俄罗斯帝国驻上海总领事馆最早于1896年设立，P.A.德米特里耶夫出任首位驻沪总领事。由于各种原因，当时的驻沪总领馆分设于上海各处。这种情况一直持续了将近10年，直到1904年，由于总领馆的一处馆舍发生火灾，众多重要的档案文件在火灾中化为灰烬。当时的俄罗斯驻沪总领馆所负责那时的总领馆外交辖区辖江苏、浙江和安徽三省。 到了1911年，V.F.格罗瑟接任俄罗斯帝国驻沪总领事一职。由于当时上海经过将近70年的开埠，逐渐呈现出国际化大都市的雏形，同时上海乃至华东地区对于中国的地理位置重要性亦十分凸显。所以当格罗瑟上任以后，便迅速呈上报告给当时的沙皇尼古拉二世，陈述未来的中国对于保障俄国利益的重要意义以及开展贸易和外交活动以确保俄国在该地区存在的必要性。沙皇尼古拉二世阅读报告后听取并采纳了他的相关建议，其中作为众多具体措施之一的项目就是划拨一笔资金用于建设新的驻沪总领馆大楼。
1914年7月，由俄罗斯外交部出面在上海苏州河口外白渡桥北堍公共租界黄浦路南侧一方购置土地，用于建造新的总领事馆大楼。同年，新的总领事馆馆舍即动工兴建。整幢馆舍由德国设计师汉斯·埃米尔·里约伯负责总体设计。整体建筑融合了巴洛克式和德国复兴时期的风格和元素。1916年12月，高四层，面积达3264平方米的总领事馆新馆舍竣工。翌年1月14日，新馆舍正式通过有关方面的验收并举行了隆重的开馆仪式。根据当时的情况，俄国领事馆凭借其独特的外形和内在的豪华装饰成为当时众多外国驻沪领事馆中的最经典之一。同时，也是俄罗斯所有驻外使领馆中最漂亮的一个。 1917年十月革命后，所有前沙俄驻外使馆均被关闭。直到1924年，苏联政府和中国政府宣布建交，苏联驻沪总领馆在原沙俄总领馆原址重新开始办公。1927年，国民革命军接管上海防务，因为局势不稳，苏联总领馆暂时闭馆。1932年，国民政府和苏联政府恢复外交关系，驻沪总领馆经过数年修葺后重新开馆。1941年，太平洋战争爆发，日军占领上海全境，苏联总领馆不得不再度闭馆。此后直到1949年，再未开馆。
1949年中华人民共和国中央人民政府宣布在北京成立后，中国和苏联建立大使级外交关系。驻沪总领馆时隔8年后重新于原址开馆。
在中苏友好时期，苏联驻沪总领事和领事官员始终同中方保持着友好交往密切。每逢11月7日，苏联国庆节，总领馆一般都邀请上海方面的领导人出席领馆举办的庆祝酒会，而每逢中国国庆、国际劳动节等重大节日时，领事馆官员也积极参与其中。
1953年3月5日，苏共中央总书记、部长会议主席斯大林逝世时。上海总领馆共接待了大概有1600余单位的约4万人前来吊唁
中苏两国关系在1950年代末开始恶化，到1962年，苏联政府宣布单方面撤退全部在华苏联专家、撕毁有关经济技术合作协议。同年9月19日由苏驻华大使馆照会中国外交部，决定关闭其驻上海和哈尔滨两处的总领事馆。在公开场合，苏驻沪总领馆解释闭馆原因是“由于上海苏侨很少，无事可做”。9月28日，苏联驻沪总领事馆宣布闭馆，并停止一切在沪的外交活动。
此前，应苏方要求，上海市政府外事处处长卢伯明曾于同年 9月23日会见为处理闭馆事宜专程来沪的苏驻华使馆一等秘书库里克和代理上海馆务的副领事杜尔恰克。会见时，应苏方要求，对苏总领馆的馆舍处理、财产处理和物资运送等事务，允予协助。
然而对于苏总领馆在虹口区黄浦路20号的馆舍，则由苏方交予上海市房地产管理局进行代管。1962年11月9日，杜尔恰克与上海市房地产管理局签订委托代管房屋的“接交书”。根据“接交书”的协定，上海市房地局可以无偿使用移交的房屋及其相关附属设备，但是必须须妥善保管和承担馆舍房屋的维修，委托期间所产生的相关费用不由苏联一方进行承担。如若将来苏方要求移交馆舍，中方需在苏方提出申请后6个月内完成移交归还手续。 随着中苏关系逐步走向正常化，1985年6月，中苏双方决定在上海市和列宁格勒市互设总领事馆。此时，苏方根据1962年的协定，向中方提出收回原托管的使领馆馆舍。1986年5月，中国外交部照会苏联驻华大使馆：上海市政府将按原协定履行。1986年8月30日，上海市房产管理局与苏驻华使馆签订馆舍交接书，并完成了相关的移交手续。
1986年12月15日，苏联驻上海总领事馆在黄浦路原址第七次复馆，使得领事馆成为开闭次数最多的领事馆。领区范围仍为上海市、江苏省、浙江省、安徽省。
1988年12月，上海市与列宁格勒正式缔结友好城市的关系。苏总领馆为两市之间的友好往来和交流合作，持续提供协助。
1989年10月4日，总领馆在馆舍举行庆祝中苏两国建交40周年的招待会，时任上海市市长的朱镕基和市人大、市政协以及有关部门负责人应邀出席。 1991年11月，苏维埃社会主义共和国联盟宣告解体。而苏联驻上海总领事馆则于1991年12月28日起更名为俄罗斯联邦驻上海总领事馆。总领事仍旧为苏联原驻沪总领事拉祖莫夫斯基。1992年3月，新任驻沪总领事鲍里斯·尼古拉耶维奇·蔡浦林(B.N.Chaplin)到沪上任。
1991年12月28日，苏联驻沪总领事拉祖莫夫斯基前往市府拜会时任上海市人民政府外事办公室主任徐兆春，正式递交以俄罗斯联邦驻上海总领事馆名义致中方的关于原苏维埃社会主义共和国联盟更名为俄罗斯联邦(简称俄罗斯)的外交照会。
