冯玉祥及随行人员到达苏联后，中共旅莫党组织立即抓住机会积极开展工作。5月17日下午，刘伯坚、曾涌泉和武胡景以《前进报》记者身份，到欧罗巴旅馆去拜访冯玉祥，并赠送冯玉祥一套《前进报》。刘伯坚向冯玉祥畅谈了国际国内形势，并对国内政局的变化发展作了精辟透彻的分析，给冯玉祥留下了深刻的印象。此后，刘伯坚在与冯玉祥的经常接触和交往中，向冯详细介绍苏联十月革命的成功经验，苏联红军的建军原则和政治工作方法，指明彻底解放工农，建立富强的新中国的道路，阐明推行孙中山三民主义及联俄、联共、扶助农工三大政策的理论和方针、方法。
刘伯坚除了做好冯玉祥上层人物的工作外，还注意在冯的部属中发展和加强党的力量。冯玉祥有一个亲信副官，叫张振亚，就是在冯玉祥访苏期间由刘伯坚、曾涌泉介绍加入共产党的。后来，张振亚带一个旅潜伏在冯部，抗日战争爆发后，张率领全旅将士到晋察冀参加八路军，并在晋察冀担任了敌工部部长。
冯玉祥在苏联期间，经过苏联政府领导人、共产国际负责人和在莫斯科的刘伯坚等中共人士的谈话和争取，冯玉祥表示要走十月革命的道路，要向苏联共产党学习；军队要改组，要向苏联红军学习；红军的政治工作制度好，国民军中也要设立政治部。在第三国际的积极推动下，苏联无偿援助了冯玉祥一批武器，主要是轻武器和弹药，此外，还派了军事顾问乌斯马诺夫(原任苏联红军第三军团长)、翻译可尔夫去帮助冯军工作。冯玉祥很器重刘伯坚，他向共产国际提出，要求派刘伯坚和他一道回国去主持政治部的工作。共产国际同意了他的请求。1926年8月，刘伯坚遂与冯玉祥以及苏联顾问等一起回国。
刘伯坚回国后，立即在中共北方区委李大钊的领导下，投身到改造国民军的艰巨工作中。改造国民军是一件十分艰难的工作，因为这时自1926年初南口败退之后，这支部队已陷入土崩瓦解、走投无路的困境，全军给养困难，士气低落，军心涣散。
五原誓师后，刘伯坚提议将国民军联军总部由五原迁至包头，由于包头位处交通枢纽，北可以保证通往苏联的国际交通线，东可以直接取得中共北方党组织的领导。冯玉祥因信任刘伯坚，决定移师战略重地包头。
总部迁到包头后，为了把冯玉祥的这支部队改造成为名符其实的革命军队，刘伯坚主要进行了两个方面的工作：一方面建立各级政治工作机构；另一方面是举办各种干部训练班或军政干校，培养军队的骨干。
刘伯坚在政治部内设立组织处、宣传处、总务处三大机构。同时在各军、师、旅、团、营中设机关，选派中共党人赴各政治机关担任主任一职。
刘伯坚非常重视宣传工作，将原来的国民军机关报《西包头日报》改版为《中山日报》，并选派中共北方区委调来的贾丽南担任主笔，刘贯一、贾一中任记者。同时，各军、师都办起了自己的小报，有油印的，也有铅印的。这种宣传方式在旧军队中是绝无仅有的，对于冯玉祥部队的彻底改造发挥了重大作用。
为了提高部队素质，刘伯坚在五原、包头、银川、兰州、西安等地办了多处军政干校，招收进步青年学生、下级军官和有文化基础的士兵入学，经过短期培训，输送给部队。刘伯坚每期都亲自去讲课。他讲课生动有趣，深入浅出，一般下层军官和士兵大都听得懂，因此颇受欢迎。刘伯坚还利用一切时机向部队进行政治教育。他提出废除打骂士兵等旧军队中的不良制度，实行官兵平等的措施，使部队面貌焕然一新。
刘伯坚很注意上层军官的统一战线工作，经常向他们进行新三民主义和爱国主义的教育。他不仅深得冯玉祥的信任和器重，也和其他一些高级将领建立了良好的关系，邓宝珊、杨虎城、吉鸿昌、赵博生、董振堂、季振同等人对他都很敬佩。
原国民军高级将领之间时有摩擦，发生纠纷时，都愿找刘伯坚调节、评理。1927年4月，刘伯坚与王叔振在西安结婚，婚礼由冯玉祥主持，国民军许多高级将领前来表示祝贺。
值得一书的是刘伯坚帮助冯玉祥筹划五原誓师，并向世人展示了冯玉祥思想的转变和他投身国民革命的坚定信心。
五原誓师是冯玉祥国民军转败为胜具有决定意义的重大历史事件，它是刘伯坚等中共党人具体帮助和组织进行的。
1926年9月17日，冯玉祥在绥远省五原向全国发出了参加国民革命的宣言。这一宣言，是冯玉祥及国民军进入新阶段的行动纲领，是国民军获得新生命的重要标志。而誓师宣言则是由刘伯坚起草，并经国民党左派于右任等人润色的。
为了说明和展现刘伯坚对冯玉祥思想的影响，了解冯玉祥传奇的一生及思想转变的轨迹，特摘录如下：
“冯玉祥本是一个武人，半生戎马，未尝学问。唯不自量，力图救国，无奈才短识浅，对于革命的方法不得要领。所以飘然下野，去国远游。及至走到苏联，看见世界革命起了万丈高潮。中国是世界的一部分，受国外帝国主义与国内军阀双重压迫，革命运动早已勃兴，又受世界的影响，民族解放的要求，愈加迫切。孙中山先生的三民主义与所领导的国民革命，即由此而生。于是我明白了救国的要诀已经由他开辟了道路。
中山先生说的好，行易知难。我既是知道了，自然是刻不容缓地马上干起来。又因最近中国的国民从国民军退后，受压迫比以前更厉害。我的热血沸腾起来，情不获己，遂赶快回国，与诸同志上革命战线，共同奋斗。我这是没有办法而去，有了办法而来。走的时候，不是洁然鸣高；来的时候，不是什么东山再起。现在当归国之始，有些必要的话，特掬诚以告国人。
我是生在工人的家庭中，父为瓦工，贫无立锥，完全是无产阶级的人，自幼失学，及长入伍当兵，逢着庚子年八国联国攻打中国，结下辛丑条约。我受了极强烈的刺激，愤政府失败，改革的思想于是萌芽。后来受了革命的影响，也形成了推倒满清的志愿。辛亥武昌起义，我与张之江、李鸣钟、张树声、韩复榘诸同人，同王金铭、施从沄、白稚雨诸烈士，举兵响应，而有滦州之役。不幸为王怀庆所欺，功败垂成。王、施、白及诸烈士即时成仁成义。我和张、韩、张、李均被递解回籍，仅以身免。民国以后，我又出来治兵，苦心经营，以成陆军第十六混成旅。袁世凯叛国称帝，我在四川与蔡松坡联络，并助成四川独立。民六张勋复辟，我正去职，养病西山，疾到廊房，先马厂誓师而起兵；进攻北京，击溃败兵。民七南北军战于长岳。第十六混成旅停兵武穴，牵制南下之军。民国十三年曹锟贿选窃位，吴佩孚骄纵横暴，且武力统一政策，以乱以扰粤。而直、鲁、豫、鄂受其直辖，为祸更烈。并逞其凶残，惨杀工人、学生，尤其为国人所共弃，后来又动全国之兵，攻打奉天，穷兵黩武，涂炭生灵。我与胡景翼、孙岳均痛心疾首，不能不取断然行动，遂班师回京，举行首都革命，倒曹败吴，并驱逐帝制余孽溥仪，以完辛亥革命未竟之功。这一次的意义，一是讨伐贿选，为中国争人格；二是反对武力统一，用免兵祸；三是铲除帝制祸根，免得再闹复辟的乱子；四是开远东民族解放的局面。当时段祺瑞以革命政府相标榜，我们看着他遭过失败，养晦多年，当有觉悟，所以请他出来当临时执政，以便作解放民族的事业。不料他出来以后，仍是引用私人，败行失政，解决金佛朗案，使国家受莫大的损失。国人至今痛恨他的革命政府完全是假的。对于民众，不但不解放，而且严重地压迫。弄到后来，演成‘三一八’的毒杀案子，枪击学生，出了极暴烈的惨剧。政府成了杀人政府，岂有再拥护他的余地，所以又有倒段之举。以上这些事实，都是从革命的路线上而作的。他人不知，仍斥为几次倒戈，责我为惯于逼宫。这是由于不明白革命，所以我特写述出来，好使国人对于我有明确的认识。有人骂孙中山先生，说他中山真有点革命癖，无论走到什么地方，就是要革命；若是他的儿子做了大总统，他也是要革命的。在他人以为这是骂孙先生，其实孙先生的伟大，正是在此。一个革命者，只要看见统治者作得不对，就得要革命。无论他的亲戚也好，长官也好，站在民族的意义上，这些个人私情，一概都顾不得。吴佩孚张嘴闭嘴所提的纲常名教，尽可由学究们放在故纸堆里保存。不能拿到二十世纪的民主国里害人。但是有一层，我虽然作过几点革命事业，我却没有鲜明的革命旗帜。
因为我对于革命，只有笼统的观点，没有明确的主张。革命的主义，革命的方法，在以前我都没有考察。所以我只有一点两点改革式的革命，而没有彻底的作法；我也赤裸裸的地说出来，好使国人知道我所做的忽而是革命，忽而又不像革命，其缘故到底是什么一回事。就革命的观点上说，过去若说是一个中国革命者，是一个中山主义者，我都不配。至于马克思主义、列宁主义与世界革命的话，更是说不上了，不意当时有人说我赤化了。现在扯起来，真是惭愧!当时的冯玉祥，哪里够得上赤化!不但骂我的，不知赤化是什么；就是我自己，也不知道什么是赤化。骂我的人，也说不出根据来，只说不该与苏联亲善。我想世界各帝国主义者，用不平等条约压迫中国，致中国的死命，只有苏联自动地取消不平等条约，以平等待我们民族，自是引起我国的好感，使我们彼此亲善。若对于以平等待我的人而不与之亲善，反去巴结以奴隶待我的国家，这是何等之国的心理?这是要请国人明白的!至于吴佩孚乱造谣言，说我与苏联结了什么密约，尤其是荒唐之语!我向来是痛恨卖国贼与外人结密约，岂有躬自蹈之之理!苏联把种种不平等条约自动地取消了，哪里有再结不利于中国的条约之理!
况且我个人的性格所在，绝不肯作这种鬼的事。如果有什么密约，也不能久瞒于人。什么密约，什么条件，何以绝无所闻?
若说苏联帮助中国革命，有所怀疑，要知道苏联是以解放世界上被压迫者并扶持弱小民族为己任。主义在此，什么不利于人的事都作不出来。吴佩孚肚子里，比谁都明白；他明白冯玉祥不是一个结密约的人，无论如何作不出来这种事来。他又明白离赤化离得很远，够不上戴赤帽子。而他偏要说什么密约，又是什么讨赤，完全是骗人来共同反对国民军，以泄他自己的私忿。大家不知道，随声附和，实在是上了他的大当!吴佩孚先是召号的所谓讨贼战争，后来忽一变而为反对国民军的战争，国民军退天津，退北京一再让步，谁知你越让他越攻。军阀何以如此呢?军阀本身实在无力量，乃是帝国主义在背后主持，因此我们知道要想战胜军阀，必须先要打倒帝国主义，帝国主义者在中国压迫之甚，几使中国不能生存。工人农民及一切受苦受难的人，为什么这样穷?这样苦?就是帝国主义所给的。帝国主义的各国，强迫中国订下了许多不平等的条约，于是在中国有租界，有租借地，有海陆军驻扎权，有航行权，有领事裁判权，修铁路、开矿山，把持中国的海关，强制中国行协定关税。压迫剥削，不一而足。例如抽关税，只能值百抽二五，使中国国库少收入，整理财政无从着手。而最大的害处，是在阻碍工商业之发展，致中国经济之死命。使他们的货物尽量输入，使中国的原料贱价输出。于是中国每年进口货超出口货，其价值在三万万两银子之谱。赔款及外债，本息偿还，单是在关、盐两税项下拨付的，每年就是9千8百万元。至于他们在中国经营的矿山、轮船、多种工厂，各地银行纸币所吸去的大批现金更是无算。又因关税不自主，不能保护国货发展，致使洋货遍中国，吸去的银钱又不可胜计。如此，中国只得穷困，而且穷到死的地步!帝国主义经济的侵略，把中国弄穷了；又用政治的侵略，陷中国于危境。东交民巷的使国，是何等的强横!稍微明白中国的政局，没有不知道的。他们对于中国的内政，动辄加以干涉。如上年大沽事件，干涉国民军，即是一例。其最厉害的，是利用中国军阀压迫民众，唆使军阀互相战争不已，以巩固其在华之权利，遂使民国成立十五年，年年都有战祸。已经被它弄穷了的中国，又加上十几年的战争，于是农民、工人、商人、学生、机关职员、新闻记者、士兵一切民众，穷的穷死，其原因都在于此，痛苦的来源，已经求出来了。我们要解除这深切的痛苦，惟有推翻帝国主义的压迫。因此，我们就投袂而起，与革命同志们，共同担负这个使命。现在我所努力的，是遵奉中山先生的遗嘱，进行国民革命，实行三民主义。所有国民党一、二两次全国代表大会宣言与决议案全部接受，并促其实现。今后将国民军建在民众的意义上，完全为民众的武力，与民众要结合。军队所在地方，工人组织，农民组织，均当帮助。并联合其他民众之团体，共负革命之责任。同时对于学生、教员、商人、机关职员、新闻记者各阶段之利益，均极力顾全。意义是解放被压迫之中国民族，以与世界各民族平等，铲除军阀之压迫，使工人不受剥削，农民不受苦，商人不破产，学生有书读，教员及机关职员都有薪水发，新闻记者不发生生命的危险，以及其它人民的痛苦，均为解除。至于政治主张，我是一个国民党党员，是国民政府委员之一，一切由国民党决定，国民政府主持。我唯有与诸同志集合全体的力量履行就是了。谨此宣言。”冯玉祥：《我的生活》（下），第490~495页。
五原誓师后，在刘伯坚等人的帮助下，冯玉祥大力整顿队伍，重振旗鼓，不仅使濒于败亡的国民军起死回生，而且使国民军逐步摆脱旧军阀影响，成为一支具有比较鲜明的革命倾向、同共产党积极合作的革命武装。同南方正在北伐的十余万国民革命军南北呼应，开辟了北伐战争的北方战场。正如毛泽东所说：“当着革命军向武汉前进，以至打到武汉、打到河南的时候，发生了……冯玉祥参加革命的事情。”当时，“冯玉祥率领他的军队在绥远省宣布脱离北洋军阀的系统而参加革命”。毛泽东：《论反对日本帝国主义的策略》，《毛泽东选集》第141、159页。
从此，冯玉祥及国民军对中国政局和北伐战争的影响日益增强了。
