1958年7月28日，铁路合作组织关于协商国际联运旅客列车时刻表会议在波兰华沙举行，会议商定北京-莫斯科间直通旅客列车自1959年夏季起经由蒙古国每周运行1往返。1959年4月8日，中苏蒙铁路代表会议在苏联伊尔库茨克举行，就北京-乌兰巴托-莫斯科国际旅客列车的开行签订议定书，自1959年6月1日起生效。
1959年6月4日，北京-乌兰巴托-莫斯科国际旅客列车正式开行，车次被确定为3/4次，由苏联铁路提供车辆并担任客运乘务，列车出北京站后经丰沙、京包线运行，列车在集宁站更换转向架。1960年5月24日，由中国铁路提供车辆并担任客运乘务的北京-乌兰巴托-莫斯科国际旅客列车开行，苏联铁路担当的列车停开 。同年5月31日，首趟由中方担任的国际联运客车抵达莫斯科雅罗斯拉夫火车站月台，以交通部长马斯维切夫为首的苏联各界人士到车站迎接 。开行之初，中方主要学习苏联的经验，照抄对方的作业程序、排班制度。早年乘坐这趟列车的大多是因公出差的政府官员、代表团，甚至是省部级以上的高级干部。车辆在库内检修时有公安人员把守。故而不少人把这趟车称作“神秘的东方列车”。
虽然1960年代至1980年代间中苏交恶，3/4次列车仍然没有停运，但之间曾发生多次冲突，例如苏联扣押列车上的中国驻苏联外交官 。1963年9月7日，由北京铁路局担当乘务的3次列车在苏联纳乌什基站遭到苏联边防和海关人员的无理检查，并在8日驱逐全体中国列车乘务员和旅客。事发后中国铁道部3次致电苏联交通部，要求对方采取措施，保证不再发生类似事件。16日，中国国务院总理周恩来、外交部长陈毅在北京人民大会堂接见列车全体乘务员，谴责苏方的无理行为 。1965年10月12日，集二铁路由轨距1524毫米的宽轨改为1435毫米的标准轨，列车换装及换轮由集宁站改在二连站进行 。中苏交恶期间，列车乘务员被要求不得擅自与外国旅客聊天，列车抵达境外车站时，不允许旅客下车拍照留念。中方列车员也怕犯政治错误，不敢和旅客合影，出境时除了《人民日报》不能携带其他报纸杂志。
1990年代苏联解体后，随着中俄关系快速发展和边贸热的兴起，往返于两国做生意的人员逐渐成为这趟列车的主要乘客，尤其是90年代初，坐车的大多是贩卖国际商品的商人，客车变成了“货车”。2000年10月中国铁路实现第三次大面积提速，列车车次在中国境内因此变更为K3/4次快速列车。
2000年代后，K3/4次列车的旅客构成也发生了很大变化，现在从莫斯科到北京来的旅客主要是西方旅游者，为的是欣赏沿途的风光，旺季时常常爆满，一票难求。
