北朝，这里的统治权不断更迭，先后属高句丽、燕、前秦等。
隋唐至宋元时期，白山市的历史继续书写着民族融合与政权交替的篇章。隋属高丽，唐初属高丽辖地，高宗总章元年（公元668年）唐灭高丽，属安东都护府哥勿州都护府辖地。玄宗开元元年（公元713年）属渤海国，并在今临江区所在地置神鹿县，为神州治所。五代初属渤海，辽太祖天显元年（公元926年）辽灭渤海，改建东丹国，其后，渤海遗民以今浑江市为中心，建立定安国。公元976年，定安国被辽灭，临江归属辽国东京道（辽阳府）。宋初属定安国，宋太宗太平兴国七年（公元982年）并入辽。辽属东京道，在今临江置渌州驻鸭绿军节度使。金时属金国东京路婆娑府地，元属辽阳行中书省沈阳路辖地。
明清时期，明属奴儿干都司建州卫，为长白山部和鸭绿江部。1575年，划临江地区为建州卫沿江新安四堡长甸长岭以东之地，神宗万历十九年（公元1591年）为努尔哈赤所并。清初属吉林副都统辖区，光绪三年（公元1877年）设通化县，在今临江置猫耳山巡检，属兴京厅通化县。1902年8月4日，设临江县，隶属兴京厅。光绪三十三年（1907年）废除将军制，东北实行行省制，临江县属奉天省，仍辖于兴京厅。
中华民国初仍沿袭清朝建制，中华民国二年（1913年）奉天省设东、西、南、北、中五路，临江县属奉天省东路道。1914年6月改东路道为东边道，为东边道辖地。东北沦陷时期初属伪奉天省，为丙类县，1934年10月改属伪安东省，1937年7月1日划归伪通化省。东北解放战争时期，1945年8月光复后，临江县划归安东省，11月临江县划归安东省通化专署所辖，1946年7月划归辽宁省第一专区所辖，1947年1月又改属辽宁省，为直属县，1948年9月重归安东省通化专署，1949年4月21日划归辽东省管辖。
中华人民共和国成立后，初属辽东省。1954年6月辽东、辽西两省合并，正式设立辽宁省，1954年8月20日临江县由辽东省划归吉林省，隶属通化专区。1959年3月23日，撤销临江县，成立浑江市，市治所迁至八道江镇，仍属吉林省通化地区。1985年2月4日，经国务院批准浑江市为省辖市，实行市管县体制，下辖长白、抚松、靖宇三个县，市区划为八道江、临江、三岔子三个区。1993年11月28日，撤销临江县，设立临江市（县级）。1994年1月31日，国务院批复同意将浑江市更名为白山