当邓小平开始准备调动军队的方案和宣布戒严令时，赵紫阳等一些自由派官员也在为避免暴力镇压作最后一次绝望的努力。5月16日会见戈巴卓夫（注：即苏共书记戈尔巴乔夫）之后，赵紫阳在晚上10点召开政治局常委紧急会议，再次表明了他的看法：除非党撤销“四二六社论”，不然不可能使问题得到和平解决。但这只得到胡启立的支持。在政治局之外，中央顾问委员会的一批自由派的退休干部——包括李昌、李锐、于光远和杜润生——也聚在一起，为发表一份把学生运动宣布为爱国主义的声明作最后安排。第二天一早，已经没有退路的赵紫阳给邓小平办公室打电话，希望私下面见邓小平，或许能说服邓不动用军队。赵紫阳被告知可以下午来。但他去了之后才知道，他将不是与邓小平单独见面，其他政治局常委也都会在场。邓小平显然不想接受他的意见。
戒严令和赵紫阳离职：5月17–20日
在戈巴卓夫到达北京之前，邓小平已经在考虑如果学生不撤离广场的应急方案。4月25日，邓小平决定发表警告学生的社论的当天，就下令解放军进入战备状态。5月初就取消了一切军人请假外出的许可，后来，当戈巴卓夫访问结束、外国媒体的最重要人员也都离开后，邓小平准备采取行动。5月17日下午4点，邓小平召集政治局常委（赵紫阳、李鹏、乔石、胡启立和姚依林）和他在中央军委的联络人杨尚昆，决定下一步的行动。与会者都可以表达自己的看法。赵紫阳解释说，局势很严峻，每天仍然有30万到40万人在示威。他认为除非撤销严厉的“四二六社论”，学生们不会自愿离开广场。
听过其他人的意见后，邓小平说，解决全国的问题，必须先从北京开始，因为首都的任何骚乱都会影响全国。他们必须立场坚定。例如匈牙利，国家领导人的让步只会导致更多要求。假如中国领导人也作出让步，中国就完了。邓小平又说，上海的江泽民采取强硬的自上而下的措施查封了不听指示的《世界经济导报》（这对平息那里的学生示威很有帮助），成功恢复了秩序。邓小平相信，现在需要的就是这样的铁腕措施。但是邓小平认为，现在北京的警察已不足以恢复秩序，需要动用军队。军队的调动要快速果断，在行动之前部署军队的计划要暂时保密。当会上有人表示担心，外国人可能对动用武力作出负面反应时，邓小平回答说，行动要迅速，“西方人会忘记这件事的”。
李鹏和姚依林马上表示支持邓小平的意见，尽管胡启立也表达了一些顾虑，但只有赵紫阳明确反对。赵紫阳发言时，有人提醒他少数要服从多数。赵紫阳回答说，作为党员他接受，但他仍要保留个人意见。赵紫阳意识到，作为总书记，将要由他来宣布实施戒严并监督它的执行。他担心这种动用军队——即使是不带武器的军队——的决定只会给冲突火上浇油。
会议一结束，赵紫阳就请他的助手鲍彤为他准备一份辞职信。赵紫阳知道，他无法强迫自己执行戒严令，而这一决定意味着他政治生涯的结束，但是他也坚信自己的决定将使他站在历史正确的一边。在与家人吃晚饭时，他告诉妻子梁伯琪和女儿王雁南他打算辞职，他的决定可能使全家人受连累。之后家人打电话告诉了赵紫阳在澳门和海南的儿子，他们都理解并接受父亲的决定。
当天晚上赵紫阳尴尬地主持了政治局常委会，在没有邓小平在场的情况下研究如何贯彻邓小平实行戒严的决定。赵紫阳在会上宣布，他不能执行戒严决定。他清楚自己的政治生涯已经结束，他说，告别的时候已经到了。
次日凌晨5点，赵紫阳来到天安门广场表达了他对学生的关切。在负责监视他的李鹏的陪同下，赵紫阳拿着手提扩音器说：“我们来得太晚了⋯⋯你们说我们，批评我们，都是应该的。”全世界的人都在电视上看到了赵紫阳声音颤抖、眼含泪水的情景。他说，他也年轻过，也参加过游行，并不想后果会怎样。但他劝说学生放弃绝食，爱惜身体，以便积极参加四化建设。有些听众把赵紫阳的讲话解释为警告，表明他已不能再保护学生。这是赵紫阳的最后一次公开露面。
5月17日被迫决裂之后，赵紫阳对计划戒严的会议不再知情，他也拒绝向公众宣布实行戒严。5月19日赵紫阳致信邓小平，再次试图劝说他软化“四二六社论”的立场，尽管此时他已经知道几乎没有成功的机会。他一直没有收到回音。
当杨尚昆最先得知赵紫阳要递交辞职信时，他劝赵紫阳将其收回，以免向公众暴露领导层内部已经公开分裂——尽管对赵在广场上出现很不满的邓小平觉得这种分裂已经显而易见。赵紫阳拒绝主持宣布戒严的会议，但他确实同意收回辞职信。尽管没有辞职，但他以身体劳累为由，请了三天病假。正是在这三天内实行了戒严。
5月28日赵紫阳又给邓小平写信，试图就他对戈巴卓夫说的那些令邓小平气愤的话作出解释。同一天他被软禁在家中。他的助手鲍彤被捕并被送入关押高级囚犯的秦城监狱。虽然邓小平又活了八年，但他从未回复过赵紫阳的信，他们也再没有见过面。
从5月24日到26日，北京的党中央把各省的党委书记和省长以及港澳负责人叫到北京，向他们解释了实施戒严的理由，以期得到支持。而正式处理赵紫阳的程序是在6月4日以后才开始的。赵紫阳了解胡耀邦在1987年承认错误的后果，因此他拒绝认错，他说，他没有做错任何事。在软禁期间，他享有舒适的生活条件，但直到2005年去世，能去拜访他的人一直被严格限制，他本人出门时也受到严密监控。
5月17日邓小平与政治局常委见面后，戒严计划迅速开始实施。第二天上午中央军委召开扩大会议，杨尚昆宣布了实行戒严的决定。当天下午中央军委又召开工作会议，最终确定了实施戒严的细节：戈巴卓夫将在5月19日上午离开北京，当晚将有五万军人快速行动，于5月20日星期六早晨到达天安门广场。19日晚10点，李鹏在一个有大批高层党政军干部参加的大会上讲话，把调动军队的情况对他们作了说明。次日上午9时半李鹏宣布戒严将从10点开始。杨尚昆指示军队的指挥官说，士兵即使受到挑衅也不要开枪。大多数士兵甚至没有携带武器。
戒严失败：5月19–22日
邓小平和军队领导人坚信军队很快就能到达目的地，不会发生任何意外，因此甚至没有告知士兵假如遇到抵抗该怎么办，也没有为他们提供路线图，以便在道路被封堵时可以选择其他路线。同时，学生们在5月19日下午获悉运送军人的坦克、卡车和装甲车正在进入京郊。广场上的学生预计军队将在黎明前到达，他们的心情既紧张又害怕。一些北京的学生回到了校园，但是有更多激进的学生，以及从外地来的学生（铁道部的报告说，从5月16日下午6时到19日上午8时，共有56，000名学生乘坐火车抵达北京）仍坚持留在广场上等待最坏的情况发生。
不论广场上的学生还是高层领导，都没有预料到接下来的一幕：大批北京市民蜂拥走上街头，彻底堵住了从东南西北各个方向进城的五万名军人，六条主要道路和其他几条小路概莫能外。李鹏在5月20日的日记中简单地写道：“我们没预料到会有大的抵抗。”他又记述道，各处的部队全被挡住。有些军人试图通过地铁进入天安门广场，但地铁入口也被封死。有些部队想利用郊区的铁路线，但市民躺在了铁轨上。有一支2，000人的部队从外地乘火车到达火车站，一下车就被团团围住动弹不得。当时还没有移动电话，人们用普通电话联络熟人，而有对讲机的人守候在主要的十字路口，看到军队到来便发出警报，使人们能够一拥而上将他们堵住。人们组成摩托车队及时传递军队进城的消息。有些官员指责赵紫阳的助手鲍彤向示威学生透露了部队前进的路线和目的地。然而，即使鲍彤是个再杰出的组织者，他也无法通报或组织街头上汹涌的人潮。
那天夜里皓月当空，照亮了北京城。外国记者看到人群从四面八方涌上街头，人数有几十万之众。据记者报道，整个城市都加入了示威，形成北京城里史无前例的景观。不仅学生得到普遍的同情，而且大多数人都反对戒严。第二天凌晨4点半，被学生控制的天安门广场上的大喇叭兴高采烈地宣布，各个方向的部队都已被堵住，无法到达广场。广场上的示威者欢呼雀跃。
进城的士兵大多是农村青年，与城市大学生相比没有受过多少教育，远不如他们见多识广，对自己遇到的事情毫无准备。外国记者报道说，他们中间有很多人显得手足无措。他们被告知不要对辱骂作出响应，不能造成流血。他们遵守了命令。士兵几乎都没有携带武器。学生们很快就组织起来，同被堵住的卡车上的士兵交谈，试图让他们相信学生们在从事正义的事业——他们要争取更多的自由，结束腐败。有印刷机可用的围观者很快印出了反对戒严的宣传页到处散发。有些士兵既不了解情况又准备不足，显得有些同情学生们的要求。
李鹏在5月22日的日记中承认，军队在50个小时里无法移动。他还说，邓小平担心有可能“军心不稳”。对于邓来说，这成了一个严重的问题。有这么多青年人反对他们，军队还能维持秩序吗？士兵是否会受到学生的影响，失去遵守纪律的决心？有些士兵看上去又累又饿。
5月22日星期一早上7点，部队接到了撤退的命令。然而开始撤离时却发生了混乱。有些市民认为军队只是想换一条路线进入市中心，因此继续阻止他们移动。不过到5月24日，部队都已撤到市郊驻扎下来。戒严令并没有被正式取消，但是随着部队的离去，示威群众开始庆贺胜利。自1949年以来，甚至在文革期间，在北京也从来没有这么多人自发地示威反对党的领导。邓小平现在面对的是一场毛泽东有可能引以为傲的群众运动，如果运动的矛头不是指向他自己的共产党的话。
准备武力镇压：5月22日–6月3日
5月20日一过，邓小平让军队暂时撤退的同时，立刻指示杨尚昆准备坦克、装甲运兵车、卡车和足够的武装部队，以便克服一切抵抗。这时北京的最高领导人已十分担心军队和高层在面对市民反抗时能否保持坚定的立场。5月20日，八位在实施戒严时未被征求意见的退休将军交给邓小平一份反对使用武力的声明。邓小平和杨尚昆派了两名最高层的军事领导人逐一拜访这些将军，向他们解释实施戒严的原因。
在此后几天，李鹏努力争取全国高层干部的支持。在5月20日以后几天的李鹏日记中，满是与全国各地领导人进行电话交谈的纪录。他在电话中解释发生的事情，希望能得到他们的赞成，并记下他们对北京领导层的决定表示拥护的声明。据李鹏的纪录，到5月21日时已有22位省级领导表示支持戒严。邓小平则一直忙于和其他高级领导人协商，以确保得到他们的支持。陈云在这场危机中也支持邓小平，他说，坚定立场绝不后退，这一点很重要。邓小平也会见了李先念、彭真等老干部，以确保上层不发生分裂。
5月中旬万里正在北美访问。由于担心他可能支持赵紫阳，中央领导人通知他不要直接回北京，而是先去上海。5月26日凌晨3点万里到达上海机场，迎接他的是江泽民和丁关根。丁是政治局候补委员，他向万里通报了形势。第二天丁关根根据北京的指示，向万里作了更全面的汇报。江泽民交给了万里一些北京准备好的文件，解释为何要让赵紫阳下台。虽然万里在北美时说过一些赞成民主的话，但是回到上海后，这位一贯忠诚的中共党员表示支持邓小平的政策。然后他才获准回到北京。
筹备新的领导班子
甚至5月20日实行戒严之前，邓小平已经忙于考虑新的领导班子，准备在恢复秩序后立刻向社会公布。在宣布免去赵紫阳职务之前，邓小平先花时间重申了1987年召开的十三大的决定，因为他要向群众表明赵紫阳所执行的政策仍会继续：不但要继续开放市场，而且要进一步扩大。外国公司正在进行的项目，甚至引起很大争议的海南洋浦项目（由日本商社熊谷组牵头），都要继续。他另外还宣布，将要花大力气解决官场腐败问题。
为了重新赢得民众支持，邓小平需要与天安门镇压无关的新领导人，并在军队占领天安门后向社会公布。实行戒严的前一天即5月19日，邓小平、陈云和李先念就已选定江泽民做总书记，他们打算在四中全会后立刻宣布对他的任命。邓小平表扬了江泽民的果断行动：他以巧妙的方式关闭了《世界经济导报》而没有引起过激反应。江泽民从1983年到1985年当过电子工业部部长，曾在1985年向邓小平汇报工作。邓小平、陈云和李先念冬季去上海度假时，江泽民作为市委书记接待他们，所以他们对江都很了解。他已经作为较年轻的政治局委员工作了三年，因此熟悉中央的事务。此外，他立场坚定，致力于改革，了解科技，有处理外交事务的经验，这些都是邓小平认为领导国家所需的重要质量。
邓小平、陈云和李先念还在考虑新的政治局常委成员。天津市委书记李瑞环也是一位能干的改革派领导人，他将进入政治局常委分管宣传，取代与赵紫阳走得太近的胡启立。宋平既有经验，人缘也好，善于处理困难的组织问题，根据陈云的建议将进入政治局。李鹏已经证明自己能够坚定贯彻邓小平的意愿，将继续担任总理，姚依林仍担任副总理。新的任命将立即宣布，并在下一次中央全会上正式确认。赵紫阳将离开政治局。邓小平没有指责赵紫阳闹派性，但是他说，赵紫阳和胡耀邦一样，都只与一个小圈子的人共事。
决定了新的领导班子后，邓小平与政治局常委两个留任的人——李鹏和姚依林——见了面。如果说他们对把总书记这一最高职位让给别人感到不满，这也属于人之常情，因此邓小平耐心地向他们解释说，为了维持国家的秩序，需要新的面孔。他还鼓励他们采取切实措施打击腐败，向群众表明党的领导人在严肃对待这个问题。邓小平说，江泽民等新领导人上台后的头几个月，需要采取一些大力的行动来证明他们致力于改革的决心。邓小平认为江泽民不应该带着他在上海的班子来任职，相反，他要求大家团结在江泽民周围，形成一个坚强的领导集体。新的领导班子一到位，邓小平就会宣布他彻底退休的打算。即使没有任何头衔，邓仍具备一定的影响力；但江不同，他缺少革命领袖的个人威望，需要授予正式头衔以提供领导国家的权威。
江泽民并不知晓这些有关他的未来角色的高层讨论。5月31日李鹏打电话通知江泽民立刻飞到北京，但没有解释理由。江泽民抵京后，李鹏对他说邓小平要见他。第二天邓小平便通知他已被正式指定为最高领导人。江泽民在北京私下拜见了另外两位元老陈云和李先念，并立刻开始为自己的新工作作准备。
江泽民的背景使他有足够的资格成为下一代领导人的人选。他生于1926年，经考试入读扬州中学和上海交通大学，后者是中国当时最好的工程类高校之一，这说明他有很高的智力。他在上学期间学过一些英语和俄语，作为交流生在苏联生活过两年。他还学过一点罗马尼亚语。江泽民13岁那年父亲去世，他的叔叔——一个中共的革命烈士——成了他养父，这一变化使江泽民本人有了革命背景。他于1949年之前加入中共地下党。1980年后在谷牧手下担任外国投资领导小组的书记，获得了改革开放方面的经验。他又在长春第一汽车制造厂（中国最大的工厂之一）当了六年党委书记，在重工业领域有了坚实的基础。他于1985年担任上海市长，次年成为市委书记，1987年成为中央政治局委员。
中共最高领导层在选拔接班人时偏爱出身中共革命者的家庭、特别是烈士家庭的人，因为他们在紧要关头能够靠得住，绝对忠实于党。邓小平需要完全忠诚于改革并理解改革的人，而江泽民正是这样的人。邓所需要的人也必须能果断娴熟地处理危机，江泽民则在处理学生示威和查封《世界经济导报》时表现出了这种素质。邓小平所寻找的人还必须能与各种人搞好关系，而江泽民在上海和北京都证明了他能够同其他干部和睦相处。在开朗的外表背后，江泽民其实是个聪明成熟的政治人才。虽然他没有在北京党的权力结构内部工作过，但他利用在政治局的三年熟悉了党的领导人和中央事务，并被公认为能有效处理政治问题的人才。
强硬派学生的坚持：5月20日–6月2日
5月20日军队在北京实行戒严失败后，有越来越多的人蜂拥回到了广场，群众的支持和对实行戒严的愤怒使他们士气高昂。虽然有些学生因疲倦或害怕回到了校园，但不断涌入的外省学生填补了他们的位置。
5月29日晚，面对着天安门上毛泽东的画像，竖起了一尊巨大的仿照美国自由女神制作的“民主女神”石膏像。学生们还举行了一个简短的仪式，引起了国内外的广泛关注。这个塑像是由中央美术学院的学生在三天内仓促完成，分拆后用脚踏三轮车运到广场的。本来打算作为中国民主事业的永久纪念物，但在6月4日清场后被捣毁。
同时，运动的进程也开始发生变化。据铁路官员估计，在这段时间有大约40万学生乘火车到达或离开北京，但到5月30日离京的人要多于到达的人。很多示威者担心受到惩罚，希望通过谈判软化当局立场。到5月底时，学生领袖就像他们所反对的宣传部一样，开始限制记者接触普通示威者，以便对群众所能得到的消息进行控制。但是消息很难控制，因为学生本身就不团结；那些脱颖而出的学生领袖作为大胆的演说家可以做到一呼百应，却不是能够制定长远的统一计划的战略家。学生们无法就行动达成一致。为了取得最低限度的团结，仍留在广场的学生接受了如下誓言：“我愿用我全部的生命和忠诚，誓死保卫天安门，保卫首都北京，保卫共和国。”
镇压：6月3–4日
没有证据表明邓小平在决定向天安门派出武装部队时有任何迟疑。6月3日凌晨2点50分，他命令迟浩田“采取一切手段”恢复秩序。当时在北京的西方学者、很有眼光的墨宁（Melanie Manion）解释了邓小平的理由：“即使为了控制骚乱而在6月3日清空街道，也极有可能无法结束抗议运动⋯⋯抗议者只会暂时撤退，然后又会积累起更大的力量⋯⋯6月4日动用武力，确实立刻一劳永逸地结束了这场运动。”据邓小平的家人说，不管邓小平受到多少批评，他从未怀疑自己作出的决定是正确的。很多观察者看到五月底广场上的人越来越少，认为不使用暴力清空广场也是可能的。但邓小平不仅担心广场上的学生，而且担心国家权威的普遍弱化，他断定为了恢复政府的权威，必须采取强硬行动。
此时距苏联瓦解还有两年，但是邓小平在1989年就坚信，苏联和东欧领导人没有为维护党和国家的权力作出足够的努力。在波兰，1989年4月4日的圆桌会议使团结工会取得了政治控制权，将总统一职改为由选举方式产生，随后便是共产党的解散。巧合的是，波兰定于6月4日举行大选，而中国军队则在这一天占领天安门广场。曾在苏联留学的江泽民后来赞扬邓小平行动果断，使中国没有像苏联那样分崩离析。
总数大约15万人的部队已经在京郊集结待命。他们大多数是乘火车来的，但也有一些士兵是在6月1日乘十架飞机从更遥远的成都和广州抵达北京。为了预防需要更多的军队，广州机场从5月31日开始有六天没有售票。军队来自七大军区中的五个，不过所有军区司令员都表示赞成动用军队控制广场，因此并不存在某军区事后反对镇压学生的风险。无论结果好坏，他们都在一条船上。
在镇压过程中，军队的谋略家为了不使道路被封堵，早在5月26日就派出小队士兵渗透到北京市内。保密是关键。有些部队乘坐的是没有标记的卡车，武器也被藏了起来。有些部队为避免受到注意，穿着便装步行或骑自行车三五成群地进城。有些士兵守在交通要道附近，戴着墨镜，穿得像是地痞流氓。还有些人被允许穿着军装，但扮成外出进行常规跑步训练的样子。几天内，他们不断以小规模分头进城，但在6月2日即星期五，进城士兵的数量增加了。尤其是一大批士兵逐渐集结到了天安门广场以西约四英哩的军事博物馆，这里将成为部队和装备的重要集结地之一。很多受过特别良好训练的部队也开始通过地下通道到达天安门广场旁边的人民大会堂内，他们将以训练有素的方式帮助天安门清场。还有一些穿便装的士兵被布置在全市一些重要地点，负责提供有关道路封锁状况和示威者动态的情报。
