早期日本在江户时代就不重视海军，在经历了黑船事件后，日本开始了大规模的改革，德川幕府被推翻，日本开始了明治维新，但是新政府仍注重陆军。年，日本海军在广岛县江田岛市创立海军兵学校。年7月，大清北洋舰队访问日本长崎。北洋舰队主力舰定远号和镇远号这两艘当时最先进的战舰让日本海军感到了压力，日本海军当时没有一艘战舰可以与之匹敌。日本早就图谋中国，这次访问让日本海军下定决心扩充舰队以打败大清北洋舰队。为了对付北洋水师的重型铁甲舰，日本高薪聘请法国海军部的白劳易担任日本海军省顾问、海军工厂总监督官，专门负责建造在火力和速度上足以对付镇远号和定远号的“三景舰”（松岛号、严岛号、桥立号），同时重金向英国阿姆斯特朗兵工厂订购快速巡洋舰。这是日本第一次大规模扩充军舰，此时日本海军地位已经开始超越了陆军。海军海军把所有主力舰和新锐舰编成主力部队“常备舰队”，老旧舰编成沿岸防备二线部队“警备舰队”。为对付北洋舰队，日本将各个舰队合并联合作战，即联合舰队。联合舰队第一任司令官为伊东祐亨，最后一任为小泽治三郎。名义上，日本海军舰艇的名字前都以“HIJMS”（HisImperialJapaneseMajestysShip）或“日本国天皇陛下的军舰”来书写，但在英文中实际上则多以“IJN”（ImperialJapaneseNavy）即“日本帝国海军”为前缀。
（甲午战争）
甲午战争结束后，日本获得了台湾，摧毁了在亚洲规模最大的大清北洋舰队。此时日本海军成为了亚洲第一，但是日本对此并不满足，他们渴望跟英国一样成为日不落帝国，获得大量殖民地，所以需要继续加强海军。日本利用大清的甲午赔款开始了为期十年的海军扩张计划，在此期间建造艘军舰，总吨位超过二十万吨，海军人员的规模从人扩大到人。全新的舰队包括六艘无畏舰、八艘装甲巡洋舰、九艘巡洋舰、二十四艘驱逐舰和六十三艘鱼雷艇。其中年购买的三笠号无畏舰是当时世界上最大的军舰之一。在此期间，日本也已可以自行建造舰艇。同时日本海军也开始组建潜艇部队，在年日本海军从通用动力电船公司购买的五艘潜艇运抵横须贺海军工厂，次年年底组装完毕并投入使用。年2月8日，日俄战争爆发。年5月，在对马海峡日本海军大将东乡平八郎率领着日本海军几乎全灭俄罗斯舰队。战后日本获得了朝鲜控制权和南满利益，这也让日本一跃成为跟欧美平起平坐的地位，日本至此成为世界一流强国，日本海军地位也完全超越了陆军。
日本海军之后在“复制·改进·创新”的政策下继续自己的扩张道路。工厂经常会为测试和分解买入两艘相同型号的外国舰艇，随后对其进行研究和改进。这样的做法使得最初只能依靠进口的军舰逐渐可以在国内进行组装，直到最后可以完全国产。年和年，日本分别建造了萨摩级和河内级无畏舰，虽然这两艘舰艇零件大多数都是英国采购的，但是为日本自主研发建造的。年日本从英国购买金刚级战列巡洋舰，这也是日本海军最后一次购买的大型军舰。第一艘金刚号为英国制造，随后英国提供图纸，日本自行建造了三艘金刚级战列巡洋舰比叡号、榛名号、雾岛号。日本也是继英国和德国后，第三个装备战列巡洋舰的国家。这四艘战列巡洋舰在年进行改装成为快速战列舰。到年，日本在大部分军舰的制造工艺上已经达到世界水平。
（金刚级战列巡洋舰）
年，第一次世界大战爆发，日本成为第一个非欧洲国家加入战争。日军登陆青岛，驻扎在青岛的德国亚洲舰队想逃回本土，日本舰队随即在后面追击。年9月5日，日本海军的水上飞机母舰若宫号发起世界上第一次海军航空攻击。从年9月到11月6日青岛德军投降时，日军四架莫里斯·法尔曼水上飞机轰炸德军通信和指挥中心等陆上目标，并炸伤一艘德国水雷艇。一战结束后，日本获得德国在密克罗尼西亚群岛的部分殖民地。虽然战争结束了，但是各国仍在大规模扩充海军，日本开始以美国为假想敌，实施“八八舰队”计划，即八艘战列舰、八艘战列巡洋舰。
年，日本海军预算高达国家财政32%。同年日本建造出了世界上第一艘正式的航空母舰凤翔号。年2月6日，美英法意日五国签署《华盛顿海军条约》。该条约规定美、英、日、法、意五国主力舰总吨位之比为5.25：5.25：3.15：1.75：1.75。条约限制了各签署国建造的战列舰、战列巡洋舰（两者统称为主力舰）和航空母舰的总吨位。其他类型的船只，如巡洋舰、驱逐舰和潜艇由于不属于主力舰，因此其吨位不被计算在内，但其单艘排水量不得超过吨。各国只能保留部分超出条约规定的大型战舰，日本长门级战列舰得以保存。签署条约后日本海军开始裁减老旧舰艇，大量落后的无畏舰被解体拆除。在此期间各国仍不断建造新式的战舰，因海军条约吨位限制，导致舰艇设计问题不断，在此时期建造的舰艇大部分都在条约废除之后被拆除。同时日本海军将建造一半但是超出条约规定的巡洋舰改造为航空母舰，即加贺号和赤城号。年，日本发明二战中最先进的九三式鱼雷。年，日本帝国海军成立日本海军陆战队。日军海军陆战队装备的武器甚至比陆军还好，人数规模顶峰有三个师团。
（改造中的赤城号）
年4月22日，，由《华盛顿海军条约》的缔约国，英国、美国、日本、意大利及法国召开伦敦海军军备会议签订的《限制和削减海军军备条约》，即伦敦海军条约。该条约为停止军备竞赛来缓解年爆发的大萧条带来的经济影响。该条约规定英美日三国需拆除几艘战列舰，并重新限制各类型战舰吨位和火炮配置。年3月25日，五国再次在伦敦召开海军会议，但是这次日本退出了海军限制条约，意大利未签署条约，最终只有英法美三国签署海军条约。
在没有条约限制后，日本海军无需担心吨位限制开始第三次海军扩充计划。该计划主要为建造大型战列舰和航空母舰。在日本海军内部战舰派的支持下，日本海军最终决定优先建造二战史上最大的战列舰，大和级战列舰。年8月8日大和号下水，年11月1日武藏号下水。在建造过程中日本采取了极为严格的保密措施，使得各国海军很长时间里无法掌握到大和级战列舰的正确情报。另外，该级三号舰信浓号建造一半于年改建为航空母舰，四号舰在年11月动工，但因资源匮乏于年3月停工。
（大和号）
直至太平洋战争爆发前，日本海军拥有2艘扶桑级战列舰：扶桑号、山城号；2艘伊势级战列舰伊势号、日向号；2艘长门级战列舰：长门号、陆奥号；2艘大和级战列舰：大和号、武藏号；4艘金刚级战列巡洋舰：金刚号、比叡号、榛名号、雾岛号；2艘苍龙级航母：苍龙号、飞龙号；2艘翔鹤级航母：翔鹤号、瑞鹤号；2艘由巡洋舰改装的航母：赤城号、加贺号；3艘小型辅助航母：凤翔号、龙骧号、瑞凤号；4艘妙高级重型巡洋舰：妙高号、那智号、足柄号、羽黑号；4艘高雄级重型巡洋舰：高雄号、爱宕号、摩耶号、鸟海号；4艘最上级重型巡洋舰：最上号、三隈号、铃谷号、熊野号；2艘利根级重型巡洋舰：利根号、筑摩号；以及艘驱逐舰和艘潜艇。同时日本研发了零式战机成为当时世界上最先进的战机之一。
（零式战机）
年12月7日，日本联合舰队司令官海军大将山本五十六策划偷袭珍珠港，太平洋战争爆发。12月10日，马来亚海战爆发，日本海军航空兵击沉了英国战列舰威尔士亲王号和战列巡洋舰反击号。此战也是向全世界证明了海战中不再是战列舰天下，航母和飞机才是未来海战的主导。年5月4日，珊瑚海海战爆发。美军损失列克星敦号航母，约克城号重伤。日军损失凤翔号航母，翔鹤号重伤。在占领了东南亚大片英荷殖民地和菲律宾后，日本开始策划占领美国夏威夷群岛计划，首要目标就是占领中途岛。山本五十六开始策划中途岛战役。战役计划为迷惑美军，日军将派遣一支分舰队进攻美国阿拉斯加南部的阿图岛吸引美国注意力。日本联合舰队将以六艘航空母舰为机动舰队伏击美国舰队并轰炸中途岛掩护海军陆战队登陆占领中途岛。但是日军不知道的是，美国早已破解日本密码知道了此次行动，日本海军的两艘航母也因为之前珊瑚海海战受损而无法参加本次行动。
（中途岛战役）
6月4日，南云忠一率领第1机动舰队到达中途岛，该舰队编有四艘航母（赤城号、加贺号、苍龙号、飞龙号）、两艘战列巡洋舰（榛名号、雾岛号）、两艘重巡洋舰（利根号、筑摩号）、11艘驱逐舰。山本五十六指挥的主力部队部署在南云忠一以西英里，包括三艘主力战列舰（旗舰大和号、长门号、陆奥号）、一艘轻型航母战斗群（凤翔号及护卫舰夕风号）、两艘水上机母舰（千代田号、日进号）及八艘驱逐舰。近藤信竹率领名海军陆战队负责登陆中途岛。山本五十六刻意将主力部队远离作战区域，避免美军因为实力悬殊而拒绝交战，但这也使得主力部队无法有效支援南云忠一。山本五十六认为美军航母将会与战列舰分开行动，而他的主力部队将负责对付美军的战列舰编队。美军方面主力为约克城号、大黄蜂号和企业号3艘航母，8艘巡洋舰和14艘驱逐舰。
（正在抢修准备参加中途岛战役的约克城号航母）
6月4日上午5时，日军舰载机发动第一轮轰炸中途岛。上午7时，日本舰载机结束第一轮轰炸后开始准备第二轮轰炸。同时美军和日军侦察机都发现对方航母舰队，美军中途岛陆基飞机开始对日本航母航母进行轰炸，日军舰载机优先防卫航母，美军陆基飞机全军覆没。8时30分，日军航母开始回收舰载机补充弹药准备进攻美军航母。9时，美军航母舰载鱼雷机发现日军航母后开始轰炸，但也被日军护航的零式战机阻拦击落。战斗持续到10时10分，此时护航的零式战机已基本弹药打光急需回航母补充。10时20分，美军舰载俯冲轰炸机到达战场，此时日本航母正在给舰载轰炸机更换鱼雷及回收舰载战斗机。10时22分，美军舰载俯冲轰炸机开始攻击日本航母，加贺号被击中。10时24分，苍龙号和赤城号被击中。10时50分，山口多闻指挥飞龙号航母向美军航母发起攻击。11时59分，日军舰载机发现约克城号航母并将其重创。下午1时30分，飞龙号出动第二波攻击，这次攻击山口多闻本想让舰载机攻击美军其他航母，但是约克城号损管人员及时制止了约克城号着火冒烟让日军误以为这是未被攻击的航母，日军舰载机再次攻击约克城号。2时55分，约克城号被击沉。4时55分，企业号舰载机发现飞龙号，飞龙号中4颗炸弹舰体起火。四艘航母均在被炸弹击中着火后无法抢救，不得不弃舰自沉（不得不说日本舰队这个损管真的拉胯，中弹就必沉，四艘都是着火断电无法用二氧化碳灭火眼睁睁看着它沉默）。中途岛海战是太平洋战争的转折点。日军损失4艘航空母舰、1艘重巡洋舰、约架舰载机；美军损失1艘航空母舰、1艘驱逐舰、架飞机。美军凭借此场战役的胜利，扭转了开战以来的被动，并恢复美日两国在西太平洋的海权均势，日本海军则失去开战以来的战略主导权。
（被击中的飞龙号）
在中途岛海战后，日本开始改装和新建航母以补充损失的航母舰队。在未来几年里，日本海军将巡洋舰和商船改建为轻型航母：祥凤号、龙凤号、千岁号、千代田号；将建造一半的第三艘大和级战列舰改为航母：信浓号；新建装甲航母：大凤号；新建3艘云龙级航母：云龙号、天城号、葛城号。
年8月24日，东所罗门海战爆发，日本海军龙骧号航母被击沉。年10月26日，圣克鲁斯群岛战役爆发，日军再次损失瑞凤号和翔鹤号。虽然击沉了美军大黄蜂号航母，但是日本海军的主力航母仅剩无几，更致命的是海军航空兵飞行员和有经验的航母损管及工作人员损失殆尽。此时美国的战争机器已经发动，美国海军无论质量还是数量都开始全面碾压日本海军，新式的战机也远比零式战机厉害。年11月12日至15日的瓜达尔卡纳尔岛海战，美军以损失2艘巡洋舰与7艘驱逐舰的代价，让日军损失比叡号和雾岛号两艘战列巡洋舰、1艘巡洋舰与两艘驱逐舰，日本的制海权完全丧失。年6月19日的菲律宾海海战和10月20日莱特湾海战，日本海军投入了所有航母和战列舰与美国海军决战，两场海战后，日本所有航母和大部分战列舰被美军击沉。莱特湾海战堪称是历史上最大的海战，也是世界上最后一次航母对战和战列舰海战。此战美军出动了35艘航母（9艘准航母，其余为护航航母和轻型航母）、12艘战列舰、25艘轻重巡洋舰、艘驱逐舰和0架飞机。而日军仅有4艘航母（瑞鹤号和3艘轻型航母）、9艘战列舰、19艘轻重巡洋舰、34艘驱逐舰和架飞机。此战彻底摧毁了日本的航母力量，而日军首次使用神风特攻队对美军舰队发起自杀式攻击，武藏号也在本次海战中被击沉。
（被鱼雷击中的武藏号）
除神风特工队外，日本又研制了回天鱼雷和樱花导弹这种自杀式攻击美军舰队。年，日本建造了二战史上最大的潜艇，伊四百级。该潜艇甚至可以携带三架水上飞机。年4月7日，大和号开赴冲绳进行自杀式进攻，在半路被美军舰载机击沉。
（搭载樱花导弹的一式陆上攻击机）
在损失所有航母后，日本海军只能依靠神风特攻队来阻挠美军舰队，但是并无作用，大多数神风特攻队飞行员都是只训练几个小时的学生，连起飞降落都不太会。战后日本仅存的小型舰艇被拆解或者当靶舰，部分驱逐舰给予了中华民国海军。
