但就在康熙四十七年（1708年），不知何故，康熙帝第一次废黜皇太子胤礽储君之位的时候，二十三岁的胤祥也牵扯其中，失去了皇父的信任，与皇太子胤礽、皇长子胤禔一起被圈禁起来。直到康熙四十八年（1709年），胤祥才得以被释放（皇太子胤礽被废后，在康熙四十七年十一月释放，康熙四十八年三月复立为皇太子。皇长子胤禔则一直被圈禁，直到雍正十二年去世）。
经此打击，青年胤祥此后再也没有恢复之前的待遇，在康熙帝眼中降为普通皇子，关系淡漠。虽然之后历次出巡，胤祥按仪制参与轮流随扈，但是不过虚应故事而已，之前所受到的皇父钟爱和重视，都已经是过眼烟云了。至于在皇太子第一次被废黜之事中，胤祥到底扮演了什么角色、做出过什么隐秘之事，导致康熙帝怒气迸发之下，将他和皇太子、皇长子一同圈禁，几乎丧失了所有政治地位，这些真相在雍正帝登基之后，就被全部从史料中删除了，《清史稿》、《圣祖实录》、《世宗实录》中，统统没有这一方面的记载。
即使有零星文字，也不过是轻描淡写的“遭受牵连”，或者是“为皇长子构陷”等语焉不详的描述。事实是怎么样，现在已经无法彻底弄清楚了。在康熙四十八年（1709年）被开释后，到康熙五十年（1711年），胤祥还得以按仪制有机会随扈皇父出巡，但是从康熙五十一年（1712年）起，胤祥突然患病，而且还不轻--“腿起恶疮、遍起白泡，破后成疮，时流稀脓水”（其实就是骨结核）。
由此导致身体虚弱，不便行动。虽然康熙帝也曾经在回复其他皇子的奏折中询问过胤祥的状况，有过一些关心慰问的话，但总体来说是冷淡和轻视的，并不十分重视。这也说明了胤祥此时的境遇，完全不在康熙帝的关注范围内，甚至是有防备心理在内。父子关系到了这样的地步，实在是令人叹息。而且在康熙帝在位时期，胤祥一直没有被封爵，哪怕是皇子所能得到的最低爵位---贝子，胤祥也没有获得，在康熙帝成年诸子中，只有胤祥没有爵位。
这从另一方面，更加证实了胤祥的失宠。不过胤祥在康熙五十一年（1712年），到康熙六十一年（1722年）之间，依旧是做了很多差事，其中有康熙帝委派的，更多的其实是他的四哥—雍亲王胤禛安排的。这也可以印证：为什么史料上记载寥寥的皇十三子胤祥，在康熙帝驾崩第二天，就被新君雍正帝册立为亲王。很大概率是之前十年内，胤祥为了帮助胤禛夺嫡，做出过巨大的贡献和建立过莫大的功劳，但是因为一些隐私之事，又不便于公开突出地表彰，所以雍正帝干脆把当年的记载全部删除，由此在日后的史书上造成了胤祥十年之间经历的空白。
康熙六十一年（1722年）十一月十三，六十九岁的康熙帝驾崩于畅春园。弥留之时，皇三子胤祉、皇四子胤禛、皇七子胤祐、皇八子胤禩、皇九子胤禟、皇十子胤䄉、皇十二子胤裪、皇十三胤祥及国舅、步军统领隆科多奉诏觐见。在隆科多当众宣布康熙帝遗诏：“皇四子胤禛人品贵重、深肖朕躬、必能克承大统。着继朕登基,即皇帝位”的情况下，经过十多年缜密布局、殚精竭虑的皇四子雍亲王胤禛，终于在舅舅过隆科多（其实是表叔）以及十三弟胤祥的大力协助下，获得了“九龙夺嫡”的最后胜利，控制了京师及畅春园内外，得以波澜不惊地承袭了大统，成为清朝第五代皇帝（入关后第三代）——清世宗雍正帝。
康熙六十一年（1722年）十一月十四，就在雍正帝刚刚承袭大统第二天、尚未登基的时候，他就立即封授之前一直没有爵位的十三弟胤祥为和硕怡亲王，并担任总理事务大臣、兼管户部三库。遭受冷遇十多年的胤祥，终于得以卷土重来、彻底翻身。这也是对他多年来始终坚持毫无保留地支持四哥胤禛、劳心劳力的最好报答。自雍正元年至雍正八年（1723-1730年），胤祥先后出任会考府、造办处、户部、营田处、西北军务、泰陵（雍正帝陵寝）营建总管、总理水务、内务府、军需处等诸多衙门主管，并兼任议政王大臣，可谓是雍正帝第一心腹（位置要高过隆科多、年羹尧），位高权重。
但是胤祥头脑十分清晰，没有如同隆科多、年羹尧那样的专权跋扈、冒犯皇权，而是谨慎行事、安守臣节，从不逾制违例。雍正元年（1723年），胤祥刚刚受封怡亲王，即坚决推掉了按例可以获得的二十三万两钱粮，只收下十三万两。并婉言谢绝了分封后可支用官物六年的待遇。雍正三年（1725年）二月，雍正帝以胤祥“总理事务谨慎忠诚，从优议叙”，特在其亲王爵位外，加赐封一郡王爵位，允其在诸子中任择一人承袭。
