除了常胜军外，还有中法混合的“常捷军”（即“花头勇”）和中英混合的“常安军”（“绿头勇”），该两军的军制与“常胜军”相似，在浙江作战。左宗堂经略浙江，麾下洋炮很少，攻坚多赖“常捷军”的炮火。例如1864年3月的杭州之战，太平军守军在常捷军的炮轰下弃城而走，结果途中大部被左军歼灭，便是一例。
中国近代意义上的炮兵出现于十九世纪六十年代初期，由淮军开风气之先。淮军因衍生于湘军，在初期由湘军直接拨入的竟占六成。其初期的营制、装备当然与湘军相同，“其营制为曾文正手定，而李伯像遵守之”。唯抵沪以后，李少荃亲见洋人利器精良，遂师夷之长技，几年内淮军尽弃旧式冷热兵器，换装洋枪洋炮，成为中国第一支全近代化装备的军队。待平定太平军、捻军之后，淮军成为全国主要支柱武力，尽管有各种复杂原因所致，但淮军的装备战力无疑是一重要因素。
淮军的装备现代化也是有一个过程的。自1862年4－6月间，从水路出发的十三营和陆路出发的两营先后抵沪。到沪不久，就有挑选少量弁勇*练洋枪的记载。如6月15日虹桥之战中，程学启的开字营以洋枪百人诱敌而获胜，便是一例。之后令各营添练洋枪小队，先是韩正国的亲兵两营，后及于松、铭等营，到是年9月已有洋枪千杆。从9月底以后，李鸿章开始变更淮军营制，先将各营中的鸟枪队改编为洋枪队。以后又逐次改编抬枪、刀矛队为洋枪队，同时每哨添设劈山炮两队。改制后的淮军一营为：营官的亲兵变为两队劈山炮和四队洋枪队，前后左右四哨每哨改为两队劈山炮和六队洋枪队，这样全营有劈山炮十队四十尊，洋枪二十八队计三百二十八杆[，火力大大提高。改制后的淮军采用劈山炮护洋枪队的方式作战，屡战屡胜。到平吴以后的1865年，淮军五万余人，已有洋枪三、四万杆。剿捻以后原保留的旧式劈山炮和少许长矛也被淘汰，装备达到了完全的现代化。
淮军中的洋炮由于筹购不易，装备要晚一些。在1863年正月以前，仅在张遇春的春字营建立了一支二百人的炮队，作为护卫李鸿章大营之用，1863年正月曾奉李鸿章之命参加协攻福山。春字营炮队为淮军正式成立炮队专门营伍之始，也是中国近代炮兵制度的发轫。此外还有一个学习炸炮的张春保营的良勇五十名，有炸炮两门，曾被常胜军借去协攻福山，事后收归李鸿章大营。
1863年初，刘铭传的铭字营购得三门十二磅的开花炮，聘请法兵教习。不久，开、鼎等各大枝营头相继购入洋炮装备，并聘洋人为教习，以洋法*练。淮军装备的洋炮，亦称炸炮、开花炮，又依其身管长短分长炸炮和短炸炮两种。长炸炮身管长度一般约为口径的16－25倍，其规格多以炮弹重量来区分，有十二磅、二十四磅、三十二磅等多种。十二磅以下的属轻炮，多用于野战，有效射程约一千米，最大射程三千五百米；二十四磅以上的为重炮，多用于攻城或装备要塞。当时，淮军所用之炮，大多为十二磅轻炮，只有铭字营配有三十二磅炸炮三门。短炸炮又名“田鸡炮”，即臼炮，炮口朝天，又称“冲天炮”，炮身管短，口径大，当时尚无调整角度和方向的装置，发射时多固定于四十五度角，用加减装药来定射程之远近。由于炮身短、重量轻，便于携带，故多用于野战，由于弹道弯曲，对遮蔽物后的目标有较大的威胁，也可用于攻城，缺点是命中精度较差。这些前装炮的炮弹分实心弹、榴弹、霰弹等多种，弹体为圆形，表面光滑，大小合膛。在当时，由于榴弹对目标的破坏力和杀伤力较大，故淮军乐于使用。但在整个1863年，淮军各营头的炮兵还比较弱，故在进攻中主要依赖常胜军的炮火。到1864年，随着淮军地盘的扩大，已累计从外陆续购得大小炸炮数十尊，6月又接收了常胜军的炮队三十余尊，炮兵得到了较大的发展。并逐步淘汰劈山炮，更以法造小铜炮。
淮军早期的几支老资格的炮队发展简介如下：
1、罗荣光的亲兵洋炮队营此即1864年5月常胜军遣散后，遗留下的六百人整营炮队。被李鸿章认为是淮军中“员精而整”的炮队，有炮位三十余门，“皆中国所无者”，其中开花巨炮及六十四磅子的大炮就有一二十门。淮军接收后，派副将衔游击罗荣光为管带，留有外*官十一名帮同教习。李鸿章以这个营，配以得力枪队，作为亲兵二营，亲自掌握。初时调扎于苏州城外的