公孙胜自幼习枪棒等多般武艺，又拜世外高人罗真人为师，学得很多道术，能呼风唤雨，腾云驾雾，因此人称“入云龙”。入云龙痛恨官府贪婪，关心梁山发展。北京大明府知府梁中书为给自己在东京的岳父蔡京拜寿，搜刮来金银十万贯，让帐下制治官青面兽杨志负责押运去东京。公孙胜觉得这是不义之财，就来到郓城县东溪村，加入了晁盖等人的劫夺团伙，形成了所谓的“七星聚义”。
七人经过周密布置，确定了智取生辰纲的计划，最终在黄泥岗与杨志的押送队伍相遇，成功实施了劫夺。在以后围绕官府的抓捕中，公孙胜使用法术，刮狂风助火势，成功击退了官府捕捉，上了梁山落草。公孙胜的师父罗真人，是个有很深道行的得道真人，他可能知道公孙胜该上应天罡地煞星数，就让公孙胜出山应劫，走走形式。但公孙胜时刻装着梁山众兄弟，关心梁山的兴衰。
江州劫法场后，宋江上了梁山，公孙胜可能是看不惯宋江的为人处世，就以探母参师为名，离开了梁山。但他依然关心梁山事业，在此期间还不断推荐绵豹子杨林等人到梁山入伙。后来宋江攻打高唐州，遇上了会法术的高廉，吃了大亏。宋江让戴宗、李逵去请公孙胜，公孙胜说服师父，并得到师父罗真人“天罡五雷正法”真传，到梁山打败了高廉。
从此以后，公孙胜留在梁山，参与了梁山的多次战斗，主持了梁山众好汉排坐次的“罗天大醮”。还随宋江接受了朝廷招安，参与了征讨辽国、剿灭河北田虎、淮西王庆等的战争。也许是公孙胜不忍看到同类相残、忿恨朝廷的奸邪当道之故吧，在南征方腊前，公孙胜遵从罗真人“逢幽而止，遇汴而还”的谶语，以“从师学道，侍奉老母”为由，向宋江辞行，返回蓟州二仙山，从此再未露面。
入云龙道法精奇，屡破强敌。公孙胜的武艺虽不突出，但他师从高人罗真人，道法在《水浒传》中却是首屈一指的。智取生辰纲，被官府追查发现后，晁盖等人在石碣村与抓捕官兵相遇，发生激战。公孙胜施展道术，祭起狂风，风助火势，火烧官军战船，大败官兵，随后与晁盖等人投奔梁山泊入伙。在高唐州与高廉斗法，公孙胜以师父传授的天罡五雷正法，大破高廉妖法。
高廉驾云雾欲逃，被公孙胜披发仗剑，一声“疾”，使高廉从空落下，被雷横一刀斩杀。在北征辽国时，公孙胜在幽州青石峪破除北辽统军贺重宝的妖法，后又以五雷天罡正法，协助宋军大破北辽太乙混天象阵，大败辽军。在征讨河北田虎时，在五龙山与乔道清斗法，先用法术操纵兵器在空中打斗，又召唤出神兽相斗。乔道清尽皆不敌，大败而逃，遁入百谷岭，被公孙胜围困，不得已投降并拜公孙胜为师。
