商、周时期，称如今的双鸭山地区为肃慎之地。说：“大荒之中，有山曰不咸山，有肃慎氏之国。”（载《山海经·大荒北经》）其中的不咸山即指长白山，其中的肃慎氏之国即指当时生活在黑龙江流域至滨海地区的肃慎部落。在《晋书·四夷传》里描述肃慎人的疆界“在不咸山北山（黑龙江省），其土地广袤数千里。”就明了活动区域的辽阔，自然包括了如今宝山区的区划面积在内。肃慎人到汉代时称为挹娄，到南北朝时又改称勿吉。到了隋代，生活在黑龙江流域东部的勿吉人，在称谓上又有所变化。
双鸭山市行政版图区域，在唐代时归渤海国怀远府辖治，辽代时归女真五国部的越里吉国，金代时归上京路下辖的胡里改路，元代时初期归辽阳行省开元路管辖，元代中期改归合兰府水达达路管辖，明代归属于奴儿干都司弗提卫，清代时先后归盛京昂邦章京、宁古塔昂邦章京、宁古塔将军、宁古塔副都统、三姓副都统、临江州、富锦县所管辖。
民国二十年（1931年）“九·一八”事变后的伪满洲国时期，如今双鸭山一带归伪三江省（省政府设在佳木斯）富锦县五区管辖。
民国三十四年（1945年）“八·一五”光复，日本帝国主义投降，伪满洲国随之消亡，中国共产党在佳木斯设立合江省，第二年把富锦县第四区和第五区划出设立集贤县，双鸭山一带又归属集贤县管辖。
民国三十五年（1946年），人民解放战争进入历史转折的新阶段，成立不久的合江省集贤县人民政府为了开辟经济来源，巩固人民政权，支持解放战争，即着手计划开办农场，于1946年12月21日至24日对属于宝山行政区域的三道穷棒子岗（原宝山煤矿）、王哑巴店（现扁石河镇、双鸭山农场场部所在地）、东保卫、及四方台、东葫芦头沟等地域进行考察，并于1976年4月上旬做出决定，在同年7月派出人员在考察区域内进行垦荒。
民国三十六年6月（1947年6月），合江省政府决定在双鸭山原富安煤矿（岭东区）建立省属的双鸭山矿务局。
1949年4月21日，合江省并入松江省后，双鸭山矿务局亦归属松江省工业厅领导；1951年3月，双鸭山矿务局由“省营”企业变为“国营”企业，并于1954年7月1日成立了双鸭山矿区人民政府（县级），由黑龙江省直辖，如今的宝山区行政区域的大部亦随之成为双鸭山矿区人民政府的管辖版图。
1956年5月25日，国务院撤销相当于县级的双鸭山矿区，成立双鸭山市，宝山行政区域的大部仍然归双鸭山市管辖。
1958年双鸭山矿务局开发建设宝山煤矿，1959年9月27日宝山煤矿正式投产，当时实行煤矿与市区合并的管理体制，成立宝山经济区，隶属于双鸭山市人民委员会。
1960年10月30日，双鸭山市把各经济区和农村人民公社统一改为“双鸭山市人民公社”，成立宝山分社，隶属关系不变。之后，宝山行政区域内的权力机构，经历了与宝山煤矿政企分离又合并的数次重复（包括“文化大革命”时期）。
1980年4月15日，由黑龙江省政府批准，宝山区（与尖山区、岭东区、岭西区、四方台区同时）正式列为市辖县级区建制后，接受双鸭山市人民政府的领导。
