湖南怀化人，1926年2月出生在湖南省怀化市鹤城区犁头元村一个贫苦的农民家庭。他排行老大，故小名“大娃”，下有2个弟弟。幼时家贫，其父在地主家做长工以养家糊口，饱受地主恶霸欺凌压迫，父亲积劳成疾，1943年不幸离开人世，留下体弱的母亲和2个年幼的弟弟。穷人的孩子早当家，17岁的贺祖谦便承担起帮母亲抚养弟弟的重任。在艰难困苦的岁月中长大的贺祖谦浓眉大眼、身强体壮，他带着对地主剥削阶级的仇恨，带着对新社会新生活的向往，于1947年8月在本村参加民兵，期间，他英勇顽强，不畏强敌，在打击土匪和地主恶霸，保卫人民生命财产，维护社会治安中立下了汗马功劳，一直被当地村民传为佳话。1949年12月，他加入了中国新民主主义青年团。

1950年6月，朝鲜战争爆发，全国各地掀起了轰轰烈烈的“抗美援朝、保家卫国”运动。贺祖谦积极响应号召，跑到农会去报名参军，农会被他的热情和诚意所感动，当场答应了他，随后便敲锣打鼓送他到县城集合。贺祖谦就这样告别了孤苦的母亲和2个年少的弟弟，毅然参加了中国人民志愿军。在黔阳县安江，通过2个月的集训后，贺祖谦光荣地成为中国人民志愿军第47军140师420团6连的一名战士。

1951年4月11日，贺祖谦随中国人民志愿军入朝作战，所在的部队奉命从边境辽宁安东（今丹东），跨过鸭绿江。行前，他把写有姓名、职务、通信地址的白布缝在棉衣内。在抗美援朝战场上，他先后参加了1951年的夏秋防御作战和恢复谈判后我军的局部反击作战。1951年9月29日，他所在的420团及炮兵部队在天德山防御战斗中，歼灭美军第1师和希腊营4500余人。在这场战斗中，他冲锋在前，舍生忘死，英勇奋战，冒着敌机的轰炸和敌军机枪的扫射，出色完成了大大小小的战斗任务几十次，经受了数次生死考验。

1952年10月25日，朝鲜战场上，“联合国军”在遭到挫败，并遭受巨大伤亡的情况下，表示愿意恢复谈判。谈判中，美方提出了无理条件，对此，我志愿军司令部为了打击敌人的嚣张气焰，以促进停战谈判，决定乘敌疲惫之际，以歼灭敌人一个连至一个营为目标小的局部反击。11月4日，第47军以两个步兵团11个连队的兵力，在114门火炮、11辆坦克的支援下，对美骑1师3个连防守的正洞西山发起进攻。经过3个小时激战，我军全歼守敌。次日，敌以两个营反扑，我军又将敌大量打伤。敌重新占领该阵地后，我乘敌立足未稳，以3个多营的兵力再次反击，又歼美骑1师1个营另1个连大部，创造了阵地进攻战打小歼灭战的光辉范例。

在这次战役中，贺祖谦所在的140师420团6连奉命夺取正洞附近的281高地，2排是全连的尖兵，4班是全排的刀尖。部队沿一座山峦急进，沿途搜索着两侧的山头，在离正洞西山不太远的地方，他们与敌军遭遇了。据守着军用地图上标为281号高地的敌军，以猛烈的火力阻挡着他们前进。贺祖谦所在的6连2排4班接受了爆破半截坑道的任务。领受任务后，贺祖谦细心察看了敌军坑道、地堡火力点的位置，记熟了进攻的道路和目标，根据敌军地堡的大小，捆了许多个不同型号的炸药包，等待出击的命令。

11月4日17时，激烈的战斗打响了。随着炮火的延伸，贺祖谦随部队冲到半途，被地堡里喷出的密集火舌封锁住了，急雨似的子弹、手榴弹从坑道附近的两个地堡里射出来。战斗在激烈地进行着，我军伤亡很大。这时，其他战士都受伤转移到后方，4班只剩下班长张立军和贺祖谦、彭祖奎3名战士了。可敌军从坑道里、地堡里不停地射出密集的子弹，死死封住我突击部队冲锋的道路。贺祖谦对张立军和彭祖奎说：“我去爆破地堡，你们掩护。”贺祖谦抱起炸药包，向敌军地堡方向爬去。敌军已经察觉，瞬间，3挺机枪的火舌，立即对准了贺祖谦。此时，张立军、彭祖奎及时掩护，猛烈地向敌军地堡开火，把火舌吸引过来。伏在地上的贺祖谦借机迅速爬到敌军地堡群前，不幸的是，敌军两颗子弹射中了他的大腿、右臂。贺祖谦没有退缩，而是强忍着剧痛，缓慢地爬到地堡前，把炸药包丢进地堡里……随着一声震天动地的巨响，地堡升起了浓烟烈火，敌人两个地堡崩溃了。伴随着爆炸声，志愿军突击部队乘机发起冲锋。攻占阵地，满山遍野响起了喊杀声。战斗结束，传来捷报，全歼守敌美骑一师3个连。

身负重伤的贺祖谦被张立军、彭祖奎喊来担架，紧急送往战地救护所。5日凌晨，一行人抬着贺祖谦等伤员渡过临津江，准备转移到47军后方医院进一步治疗，在行到江中时，上空传来了美军飞机的轰鸣声，接着江中泛起了被炸弹掀起的巨浪，突然，几颗枪弹打到了贺祖谦的身上，已经身负重伤的贺祖谦眼睛再也没有睁开了，班长张立军和彭祖奎撕心裂肺的呼叫声他再也听不到了。贺祖谦光荣牺牲，年仅26岁。

贺祖谦在多次战斗中受到表彰，先后荣立1次嘉奖和1次二等功。1952年11月，中国人民志愿军第47军140师政治部为他追记一等功。