抗战开始后，中国共产党在甘肃的影响不断扩大，迫切需要党的组织担负起领导甘肃革命斗争的重任，领导全省人民开展甘肃抗日救亡运动的新局面。在这种形势下，根据“八办”党代表谢觉哉的建议，中共中央作出建立中共甘肃工委的决定。
1937年8月以后，共产党员孙作宾、刘杰、蔺克义、刘日修、郑重远、窦志安等人，奉党的指示先后来到兰州开展工作。为贯彻执行中共中央关于成立中共甘肃工委的指示，10月25日至26日，在谢觉哉主持下，甘肃地下党在“八办”所在地（南滩街54号）召开会议，正式成立中国共产党甘肃省工作委员会（成立初期称“中共兰州工委”，1938年3月正式改称“中共甘肃工委”，简称“甘工委”）。孙作宾任书记，委员郑重远、吴鸿宾、刘日修、刘杰分别负责组织、宣传（兼回民）、青年、妇女等工作。由于民族矛盾上升为主要矛盾，甘工委的政治任务是以国共合作为基础，依靠全民族统一战线，实现抗日救国。
甘工委成立后，把发展党组织的工作面扩展到除陇东以外的整个甘肃国民党统治区，以兰州地区及榆中农村为中心，逐步向河西、甘北、陇南、甘南扩展。首先建立了兰州、榆中、凉州、靖远、徽县五个市、县委，而后又在临洮、定西、会宁、天水、两当、秦安、清水、岷县、礼县、张掖、酒泉、高台等十余县建立了党的基层组织。在发展壮大党的力量的同时，甘工委的领导力量也不断得到加强。1939年5月，孙作宾调往延安，工委书记由罗云鹏代理。1940年初，中央派李铁轮到兰州任工委书记，工委领导重新作了调整，罗云鹏任工委副书记兼组织部长，王实先任工运部长，赵子明为工委秘书。
为推动甘肃国共合作抗日民族统一战线的形成和抗日救亡运动的兴起，甘工委做了大量的工作。积极配合党代表谢觉哉和“八办”开展对国民党甘肃省政府及其上层人士的统战工作，推动国民党当局及上层人士走向抗战；开展对民主爱国人士的团结争取工作，开展少数民族工作，壮大抗日民族统一战线的力量；贯彻党的全面抗战的主张，组织发动群众参加抗战；坚持党在抗日民族统一战线中的独立自主原则，同国民党顽固派的反共活动进行必要的斗争。由于甘工委的努力工作，有力地促进了甘肃各界人士的觉醒，掀起了全省抗日救亡运动的新高潮，创办了一大批进步刊物，同时涌现出一批宣传抗日救亡的文艺团体。1937年11月，工委委员刘日修和共产党员樊大畏创办了《西北青年》，共产党员邢华创办了《妇女旬刊》，共产党员杨静仁、鲜维俊创办了《回声》，刘日修还主编了《甘院学生》，共产党员丛德滋、于谦（千）创办了《民众通讯》等。1938年前后，仅兰州一地就有“联合剧团”“王氏兄妹剧团”“西北抗战剧团”“新安旅行团”“平津学生演剧团”等进步文艺团体和许多大中学校宣传队。
1939年1月，国民党召开了以防共反共为主要内容的五届五中全会，并于年底掀起了第一次反共高潮。1940年6月6日凌晨，兰州警察局突然在全城进行户口检查，寄宿于罗云鹏家中的李铁轮、林亦青以及罗云鹏被抓，后赵子明、樊桂英也相继被捕。甘工委机关遭到严重破坏。工委委员郑重远、王实先立即通过“八办”的电台向党中央汇报了情况。李铁轮、罗云鹏被捕后，坚贞不屈，在狱中与敌人进行了不屈不挠的斗争。党中央积极展开营救活动，因兰州特务组织的干扰和破坏，未能成功。后李铁轮、赵子明越狱成功回到延安，林亦青病死狱中，罗云鹏1946年2月被敌杀害。