奴隶社会没有将军,掌管军事的官职叫司马。那时国家军队数量不多,天子只有六军(每军2500人),诸侯最多不超過三军。各军统帅叫卿,卿以下叫大夫(师),大夫以下叫士。
到了春秋,诸侯为了扩大势力范围,不断增加兵力,大国诸侯常常拥有三军以上的兵力,而编制上只有三军,只能设三卿。于是就把扩充军的统帅称作“将军”,意即将领一军。
以后军队数量越来越大,将军也越来越多了。作战时军队得由一人统率,因此,在将军中选拔出“大将军”或“上将军”来全盘指挥。到了汉代,军队数量更多,于是又出现了骠骑将军、车骑将军、卫将军等级别。以后,各朝将军的名称虽不尽相同,但将军分成许多级别这一原则却是相同的。