1931参加中国工农红军。1932年加入中国共产主义青年团。1934年由团转入中国共产党。

    土地革命战争时期，任红四方面军第三十军第八十八师第二六三团排长，第八十九师第二六七团连政治指导员，红四方面军总部便衣队队长，警卫营营长，骑兵连连长。参加了举世闻名的两万五千里长征。1935年在李先念指挥下，强渡嘉陵江。在剑门关口战斗中负伤，师首长派两个战士搀着他过了雪山。第二次过雪山时，和战士们在篝火旁睡着了，被大雪盖住，只有他和勤务班长爬了出来。西征时，左手被子弹打穿。西路军失败，被地方民团抓住，在监狱里关了十多天，后在押往青海途中逃脱，被援西军救回。

    抗日战争时期，任八路军第一二九师第三八五旅团警卫连连长，在关家□战斗中头部负伤。担任了独立支队营长、师教导大队副队长。1942年进中国人民抗日军政大学学习，任队长兼教育主任。

    解放战争时期，任东北野战军第四纵队第十二师第三十四团团长。新开岭战斗，第三十四团配合兄弟部队攻打赛马，兄弟部队进展不快，师长命令第三十四团出击，他指挥第三十四团从敌侧翼发起猛烈攻击，打下了赛马。新开岭围歼战开始后，第三十四团三次强攻，拿下敌第二十五师固守的阵地。指挥第三十四团解放了本溪，在辽阳总攻时，部队五分钟就登上城墙。攻打鞍山时，第三十四团占领神社山和市政府大楼。在塔山阻击战中，第三十四团开始的阵地在塔山堡和铁路桥头，塔山阻击战的第二天，守卫在村口最前沿的第三十四团遭到敌人一个梯队接着一个梯队的猛烈进攻，一片混战，第三十四团伤亡惨重，连团预备队也用上了，一直打到刺刀见红。第三天纵队调整了部署，第三十四团集中守备塔山堡，敌人进攻的更猛烈，敌敢死队每人胸前挂一排手榴弹，冲锋时高喊“攻下塔山有赏，官长三级！”焦玉山指挥第三十四团打得十分艰苦，第三十四团出现了“向我开火”的英雄人物。战后，第十二师第三十四团获得“塔山英雄团”称号。成为全军闻名的“塔山英雄团”团长。1949年，第四纵队改称第四十一军时，任第四十一军第一二三师团长。

    中华人民共和国成立后，任广东省公安厅副处长、处长，省公安总队副政治委员，第十守备师师长，佛山军分区司令员，1962年毕业于高等军事学院基本系，任第四十七军副军长，广西军区副司令员，广州军区副参谋长。参与指挥了1974年的西沙永乐群岛反击作战和1979年对越本土的自卫反击战。

    1955年被授予大校军衔，1964年晋升为少将军衔。荣获二级八一勋章、三级独立自由勋章、二级解放勋章。1988年7月被中央军委授予中国人民解放军一级红星功勋荣誉章。