1966年8月8日，中共中央向全国发布了《关于无产阶级文化大革命的决定》(简称十六条)。之后，江华及省委感到浙江局势越来越难控制了，但还不得不支持红卫兵运动，继续动员开展文化大革命。各级党委也是如此，本身已从运动的组织领导者变成被斗争的对象，但还要号召将无产阶级文化大革命进行到底。8月18日，毛泽东在北京首次接见红卫兵和大中学校师生，表明对红卫兵运动的坚决支持。林彪又在大会上发表了煽动性讲话。杭州西湖中学等单位一批师生也参加了这次接见。第二天，浙江省委在杭州召开毛泽东第一次接见红卫兵庆祝大会，省委常委陈冰主持会议，省市党政军主要领导大都到会庆贺，江华在会上发表讲话。会后组织了十万人的群众游行。

　　随着运动的迅猛发展，局面不断混乱，江华一方面预感到今后省委恐怕难以开展正常工作，另一方面，运动造成的社会混乱和造反派胡乱扣大帽子等一系列做法让他难以接受，从而他表现出了不甘盲从和屈服的秉性。一方面，江华接受了毛泽东关于阶级和阶级斗争的理论；另一方面，毛泽东思想中关于实事求是、一切从实际出发的根本观点，以及干部政策在他的脑子里根深蒂固。在8月22日省委常委扩大会议传达中共八届十一中全会精神时，江华公然表示：大家要彻底解放思想，准备被打烂，准备下台。省委已经是泥菩萨过钱塘江，自身难保，你们各地委要好自为之……

　　之后，尽管工作条件十分恶劣，江华还是觉得没有理由放弃实际工作，要有人具体去抓，为此他提出，省地委要组成两条战线，一条抓“文革”，一条抓生产。8月30日，造反派扬言要“炮轰省委”，省委立即在杭州铁路分局召开中共浙江省委机关党员干部会议，会上提出“省委是无产阶级司令部”，要“保卫省委”、“保卫大楼”。许多机关干部和群众群起响应。8月31日，浙江医科大学一千余名红卫兵以“省委为什么没有把中央决定撤销工作组的指示传达下去”等问题为由，起来造省委的反，要求江华亲自出面答复。这些人在省府大楼闹了一昼夜，江华认为这是无理取闹，不仅拒绝接见回答问题，还以“保卫省委正常工作秩序”的理由，对围攻大楼的师生予以一定的限制，此举引起造反派的激烈反应，将此事称之为“八·三一”严重政治事件。9月11日，造反派在浙江医科大学召开所谓“向省委提意见”大会，并责令江华等省委领导到会“听取意见”。为此，江华予以拒绝，只是象征性地指派薛驹赴会，并拒绝回答造反派提出的问题。

　　与此同时，浙江全省各种各样的红卫兵组织蜂拥而起，他们大破“四旧”，横扫一切“牛鬼蛇神”，展开了对所谓“封、资、修”的一场大破坏，造成了极其严重的损失。各地城乡的地名（包括街名、路名等）、店名、厂名、商标，大多被更替。许多干部、知识分子和著名人士遭到批斗、体罚和人格侮辱，许多文物古迹被砸烂，文化典籍被烧毁。这其中，全国首批重点文物保护单位、杭州极负盛名的灵隐寺也遭到冲击。造反派认为那些菩萨都是“四旧”，必须砸烂。对此，江华态度鲜明。早在6月下旬，杭州市郊农民铲平了著名戏剧表演艺术家盖叫天的墓，并张贴批判他的大字报时，江华在约见杭州市委主要领导时告诫他们说：平盖叫天墓的做法不能蔓延开来，不能认为所有庙宇如灵隐、净寺、岳庙都可以搞掉，要防止出现和可能出现的问题。当8月24日早晨开始，杭州市一批以中学生为主的红卫兵要捣毁灵隐寺时，为了保护这座千年古刹，江华虽因身体状况没有直接参与领导工作，但他始终非常关注这件事。他委托李丰平要领导保护好灵隐寺。省、市领导要保护灵隐寺的想法，与广大人民群众不谋而合。浙江大学的师生首先发起保卫行动，当即得到各界群众的支持，在省、市委的组织领导下，特别是周恩来要求保护好灵隐寺的电话指示，发挥了关键作用，千年古刹终于得以幸存。

　　伴随着来势凶猛的红卫兵运动，全国各地开始了大串连。北京等地的红卫兵在浙江设立了许多联络站（组），传授他们批判“资产阶级反动路线”的“经验”，并与当地学校造反派、部分干部联合起来，提出了斗争对象、依靠对象和争取对象。他们认为，浙江的首要关键对象就是江华，不打倒他，李丰平、陈伟达、陈冰就更不用说了，从而在浙江掀起“炮打司令部”、批判“资产阶级反动路线”，乃至“全面夺权”的高潮。红卫兵的无法无天，直接导致全省各地无政府主义泛滥，党的领导形同虚设，党的组织基本瘫痪。

　　面对造反派日益严重的破坏和冲击，为防不测，江华被迫转移到浙江省军区招待所工作。当时，江华由于受严重的甲亢疾病折磨，体质恶化到极点。时隔几天，有些同事看到江华时，发现他一下子消瘦得脱了形，怀疑他是否得了癌症。其实这是江华除身体原因外，对“文化大革命”的搞法百思不得其解、异常痛苦之故。1966年10月9日至28日中共中央召开的以批判“资产阶级反动路线”为中心内容的工作会议后，党和政府以及绝大部分领导干部和很多知识分子、劳动模范受到打击、迫害，全国各地混乱不堪，让江华越来越无法理解。即使在这种情况下，江华在杭州就学的侄子前往他住所拿取生活费的时候，江华还是告诫他：对这场运动要有思想准备，不要乱说乱动，要相信党，相信群众。

　　此后江华虽然因病到上海住院，但“文化大革命”的实践促使他重新思考和认识一些问题。他认为很有必要认真地向中央反映下面的真实情况和干部群众的意见。于是，11月13日，浙江省委在李丰平的主持下召开了全省三级干部会议。会议要大家“敞开思想”，“什么问题都摆出来”，但很快就被造反派认为这是反对“文化大革命”的会议而冲掉了。为此，李丰平等省委领导只好于12月11日至14日，悄悄地将会议人员拉到安吉南湖劳改农场继续开会。会议充满了埋怨情绪，认为中央“不理解下情”，普遍朦胧地感到中央发动的这场运动似乎脱离地方的实际。这种情绪感染了各地干部，他们纷纷拍电报、打电话向中央反映情况。省委也为此归纳出十个方面的问题，向中央反映。

　　随着运动的深入，部分省委机关干部公开表示支持造反派，先是组织人员到华东局反映所谓省委的问题，接着又径直上了北京准备串连造反。省委机关造反派的举动，当时被称之为“后院起火”。这种内外联合、上下联合的造反，使得斗争目标更加集中，江华进一步被抛到了运动的风口浪尖。

　　10月16日，浙江大学的造反派以省委不同意转呈他们于6月28日起草的给中央的电文为由，再次发起所谓声讨活动，在全省掀起了“炮轰省委、火烧江华、打倒陈冰”，批判“资产阶级反动路线”的高潮，从而导致省委瘫痪，社会混乱加剧。为此，省委机关干部萧贻等赴京向中央反映情况，结果在北京就遭到浙江造反派的批斗。

　　11月初开始，杭州的造反派起来造省委的反，先是组织上千人到省府大楼前静坐请愿，要求罢免该厂“四清”工作队队长徐钊的职务，浙江省委予以拒绝。于是他们煽动2000余名工人冲上火车，赴京“告状”，诬陷省委以生产压革命，压制工人运动。中央文革小组成员王力在北京接见了他们，并予以支持。于是，造反派有恃无恐，全省进一步掀起全面夺权高潮。12月30日，浙江日报社被“浙江省革命造反联合总指挥部”（简称“省联总”）联合省内外22个造反组织查封，1967年1月10日正式宣布夺权。1月18日，“省联总”发出《紧急通令》，宣布直接夺取浙江省委办公厅、省人委办公厅、省委宣传部、省妇联等部门权力。接着，省级机关全部被冲击，省委已无法工作。全省各地党政领导权很快被造反派所夺取。至此，浙江全省各级党委和政府全面陷入瘫痪。

　　由于不断遭受冲击，精神极度苦闷，加之疾病的折磨，江华的身体每况愈下，连站立、行走都很困难了，急需住院治疗。浙江省委考虑到在杭州住院治疗会经常遭到造反派的冲击和揪斗，于是，报经中共中央批准，江华于1966年11月上旬前往上海华东医院住院治疗。有一次，浙江省军区第二政治委员龙潜、副司令员张秀龙到上海看望江华，江华恳切地说：“省委不行了，一冲就垮了，还是你们过硬，越冲越团结，今后全靠你们了。”

　　就在江华离开浙江去上海住院没多久，浙江的造反、夺权愈演愈烈。1966年12月23日，省市造反派1000余人以追查省委存放在浙江省军区内的机密档案为名，冲击省军区，占据司令部大院。次年1月14日，在上海“一月风暴”的影响下，红色造反联络站等数十个造反组织，又以揪“杀人凶手”为名，召集几千人冲击浙江省军区。后又强占省军区司令部、政治部大院，还企图劫持省军区主要领导，并与省军区指战员发生了冲突。中共中央严密注视着这一事件的发展，1967年1月28日，周恩来召集浙江省委、浙江省军区和南京军区负责人以及群众组织代表到北京开会。并以中共中央、中央军委、国务院的名义发出《关于浙江最近发生事件的决定》，严肃批评造反派冲击省军区的行动，指出造反派应撤离省军区，并对浙、杭两报有关报道提出严厉批评。浙江造反派代表在会议期间，提出江华该不该打倒？浙江省委被夺权后，要成立“革委会”，结合谁比较合适？希望周恩来表态。周恩来说：浙江省委的工作在“文化革命”前是好的，成绩是主要的，是有贡献的。在三年困难期间，浙江省委顾全大局，遵照中央要求支援上缴了大批粮食；江华是井冈山的老同志，是少数民族，主席多次住在杭州，安全工作做得好，主席再三表示要保。

　　于是，学生代表回杭州后，散发了大量“周恩来谈江华”的传单。但“省联总”一派则在中央文革小组的授意下，坚持要打倒江华。在周恩来谈话之前的1月26日，“省联总”主办的《红色风暴》就在第一版以《砸烂省委，打倒江华》为通栏标题，发表了《江华反党反社会主义反毛泽东思想罪行铁证如山》的文章。说江华“与彭真唱一个调子，矛头直指毛主席”；“公然对抗毛主席的号召，篡改毛主席的话”；“公然反对三面红旗”，等等。归根到底，他们就是要把斗争的矛头对准江华，对准所谓的“江家王朝”。他们的逻辑是：不打倒江华，浙江的“文化大革命”怎么搞法？炮打司令部，江华是主帅，非打倒不可。而另一派则要打倒曹祥仁、赖可可和沈策，从此，浙江的造反派正式分为两大派——“省联总”和“红暴会”。从总体上看，两派组织都是错误的。

　　由于赖可可向造反派透露了江华在上海的消息，1967年2月上旬，江华被造反派从上海华东医院里抓了回来，秘密关在浙江美术学院的“牛棚”里，准备召开批判浙江头号“走资派”——江华大会。江华住的“牛棚”四周贴满了批判他的大标语、大字报，室内只有一张桌子和一张木床。当时正值杭州最冷的时候，床上却连条被褥都没有。他的外屋，关的是老警卫员赵连福。赵连福被允许可外出购买生活用品。有一次，赵连福在路上恰巧遇到省军区保卫处长，忙请他将江华的情况报告省军区领导并报中央。这时的江华，身体极度虚弱，人已瘦得变了样，让人简直不敢相信这就是几个月前那个体重100多公斤、满脸红晕、神采照人的井冈山老红军、中共浙江省委第一书记。

　　此时，“省联总”紧锣密鼓到处张贴海报，定于2月12日在浙江省体育场召开十万人批斗江华大会。浙江省军区政治部主任罗晴涛得知后，即于2月10日打电话向周恩来办公室汇报了情况。周恩来总理考虑后，作出三点指示：一、第二天的群众集会省军区要参加。二、省军区在会上可以不讲话，不表态。三、江华身体不好，工作上有缺点，可以背靠背批判。为防止意外，中央决定把江华接到北京，当晚飞机降落嘉兴机场，请南京军区政委杜平主持召开驻杭三军负责人及群众组织代表参加的联席会议，研究如何保证安全地把江华送到嘉兴机场。随后，周恩来要秘书给杜平打电话，传达上述指示。

　　2月11日上午，在浙江省军区会议室召开驻杭三军负责人及造反派头头的紧急会议，杜平传达落实周恩来指示。到会的有南萍、陈励耘、张永生、罗晴涛等。驻杭三军负责人都表示坚决执行周恩来指示，只有几个造反派头头还很不情愿，因为第二天就要开批斗大会，如果把江华放走，批斗大会就没有了活靶子，但又不敢对抗周恩来的指示，勉强表示按时间交出江华。为防止造反派劫持，确保江华安全到达嘉兴机场，会议决定实行分段负责制：第一段，江华从浙江美院出来到上车，由造反派代表张永生负责；第二段，上车后到海宁盐官，由空五军负责；第三段，从盐官到嘉兴机场，由浙江省军区负责。

　　就这样，江华离开了他工作、生活了18年的浙江，北上京城。