起事，无名可借，即暗遣家人，绕道东方，伪充了驿使入城，托言来护儿因水师愆期，恐受炀帝严谴，故已谋反。玄感即借此煽惑人心，进入黎阳城，大索丁壮，并移书邻郡，以讨来护儿为名，令各发兵，会集黎阳。
玄感即任赵怀义为卫州刺使；东光县附元务本，为黎州刺使；河内主簿唐祎，为怀州刺使；唐祎却不肯受命，偷行逃回。
御史游元本和玄感，同为督运，玄感对他道：“今圣上肆虐无道，此刻陷身绝域，正是天使灭亡。我今大举义师、往征无道。
公的意下，以为如何？”游元正色道：“尊公受国的宠荣，实为近今所罕有，公家一门，都受圣思，拖青纡紫，只应竭诚报国，上答洪恩，怎的尊公墓木未拱，坟土独湿，公已图谋不轨？
仆但知以死报国，余事不敢闻命！”玄感听了他的话儿，不觉勃然大怒，即将元监禁。元始终辱骂，不肯顺从，遂被玄感杀死，做了炀帝的忠臣。
玄感杀死了游元，即召集了运夫，选择出丁壮七千余人，舟子五千余人，刑牲誓众，宣谕前道：“今主上无道，悖虐残刻，不念民生的艰苦，天下因之不安。从征高丽的兵民，不知死去了多少。如今和君等一同起兵，往救百姓，愿君等奋勇效力！”大众听了，欢呼踊跃，愿受指挥。玄感大喜，遂勒兵分部，部署一切。
恰巧李密得了玄感的招致，即与玄挺同到了黎阳。玄感闻知李密到来，慌忙出接，迎入里面设酒款待。玄感即席问计，李密答道：“天子远在辽东，公能出其不意，长驱到了蓟州，扼住了咽喉。高丽闻知我国发生了内变，必从后面袭击，不出十天的工夫，征东的各军，资粮俱绝，就是不降，也必溃散，这一条是今日最上的计策。”玄感听了，沉吟半晌道：“中策便怎样？”李密又答道：“关中为都城所在，今若率众西行，经过的城池，不必去攻，直取长安。天子虽即回师辽东，他的根本已失。公据险临敌，进则可以战，退则利于守。照了如此做去，尚不失为中策。”玄感又思索了一会道：“除了中策，其外都是下策了，可是？”李密点头道：“公若随近取便，直向东都，一鼓突入，也可号令四方。但恐唐祎往告，先已固守防备，若引兵攻战，必须多延了时日。要是在三月之中，不能将东都攻克，天下的兵将，四面云集，前来围攻，大势一去，恐无能为力了！”
玄感听了李密的下策，却大喜道：“如今百官的家口，俱在东都，我若先声夺人，取了东都。从征的官吏，顾念家口，俱必慌忙失措，北面请降。公所说的下计，却是上策。若依了公的上策，冒险入都，恐是孤注一掷。即是依了公的中策，去图关中，又嫌迂远难成。且经过的城池不攻，如何示威！我故不愿行此二策。”遂依了李密的下策，竟率众往洛阳。命其弟玄艇，率了勇士千人，充作先锋，先取河内。河内主簿唐祎，已是入城把守，并一面飞报东都留守越王侗。侗急勒兵戒备。
修武县的兵民，也厄守临清关，玄感的军兵，便不能过去，只得至汲郡南首渡河。这时亡命的人，闻风归附，不到几天工夫，玄感已是有众数万人。
玄感即命其弟积善，率兵三千，自偃师地方，南沿洛水，向西进取。玄挺自白司马坡，逾邛山，向南进行。玄感自领五千余人，从后遥相接应。这项行军消息，传到了东都留守越王侗的耳中，即遣河南令达奚善意，统兵五千人，出拒积善的军兵。河南赞治将作监裴弘策，统兵八千人，出拒玄挺的军兵。
善意到了洛南立营在汉王寺，及积善率兵到来，善意的军兵上前迎战，见积善兵气甚盛，竟不战而溃，兵甲马匹，皆被积善的军兵取去。那个裴弘策，奉了越王侗的将命，到了白司马坡，两军对阵接战，便即败走。退了三四里，弘策收集残军，又列阵相待。及玄挺兵到出战，又败走退下。这样的战了四、五次，都是吃了败仗，弘策便逃回了东都。玄挺的军兵，直抵了大阳门，不多时候，玄感也已到了，屯兵春门。玄感即对众宣言道：“我身为上柱国，家累巨百金，还要求什么富贵？今起兵到了东都，不顾灭族的罪，为什么来？都是为了百姓受那暴主的摧残，才不得不如此，来替百姓解悬，还望大家原谅我！”众人听了玄感的话儿，莫不感动，父老争献牛酒，子弟也自愿从军效力，声势更是大盛。
这天内史舍人韦福嗣，率兵出战，玄感亲自迎敌，劝福嗣归顺。福嗣不从，挺枪便刺，玄感举兵刃招架，战不到十合，福嗣怎及玄感骁勇，看着难于取胜，便思拨马逃回，哪知已是来不及了，遂被玄感生擒回营。玄感依旧优礼相待，福嗣心悦，便也归顺了，为玄感掌文翰。玄感即命他致书东都守将樊子盖，直数炀帝罪恶，谓欲废昏立明，请勿拘小节，自贻伊戚。樊子盖却置诸不理，复使裴弘策出战。那个没用的弘策，又失利而还。子盖整顿了败兵，令弘策出城再战，弘策却不敢出城征敌，子盖大怒，将弘策斩首示众，使军心为之一肃。玄感百计攻城，子盖千方防守，真是棋逢敌手，将遇良材，旗鼓相当，一时难分胜负。
这时西京留守代王侑，闻知了东都被围，使遣大将卫文升前往援救。文升到了华阴，即将杨素的坟墓发