1887年、沈兼士出生于陕西省汉阴县,从小接受过良好的传统教育:1905年东渡日本求学、入东京物理学校,并拜旅居东京的章太炎为师学习国学。期间加人了同盟会,进行反清的民族民主革命。归国后一度在嘉兴、杭州执教。1912年,参与发起组织国学会。同年秋天受聘于北京大学,先后任国文系教授国史编纂处编纂员。当时他的兄长沈士远、沈尹默也在北大任教,兄弟三人被称为“北大三沈”
1922年,沈兼士主持北京大学研究所国学门时带领学生及同仁将凌乱的故宫清代档案整理出来,受到蔡元培先生的高度赞誉,说他“有功史学,夫岂浅