大岛浩1886年4月19日，大岛浩生于名古屋，其父大岛建一是军人出身，年轻时曾留学德国，对德军的训练教育感受很深，他生得鼻直口方，很是英武。大岛健一教育儿子完全是德国式教育。他命令大岛浩每天必须记住10个德语单词，晚饭前进行背诵。每逢星期日和冬夏两个假期，大岛浩又被送到德国驻日使馆人员的家里，在思维、游戏、生活等方面进行全方位的德式化熏陶。因此，大岛浩从小就争强好胜，脾气暴躁。
大岛浩和东条英机关系很好，如果不是因用功过度而患胸膜炎休学一年的话，他和东条英机就是同班同学。
1905年，大岛浩从陆军士官学校毕业。他的要塞炮兵课程成绩名列榜首，因此被分配到东京湾要塞炮兵队服役。
1908年，大岛浩晋升为中尉；1915年，又拿到陆军大学的毕业证书，毕业成绩名列14；1916年升为上尉，从此他步步高升，青云直上；1921年出任驻德大使馆副武官。
大岛浩踏上德国的土地之后，受到了像返回祖国般的热情款待。因为他的父亲大岛健一在担任陆军大臣时，对第一次世界大战中的德军俘虏非常照顾，父亲的好名声使儿子得到了好处。
大岛浩把自己完全德国化了。他的军服都要在德国军官常去的服装店制作；帽子也是德国陆军的样式，帽檐儿很高；大衣也是开胸很大的德国式。总之，除他的个头比较矮小之外，简直跟德国军官一模一样。
大岛浩晋升为少校后，立即于1933年调任驻奥地利兼匈牙利公使馆武官；一年半后回国，先后担任了第8野战重炮团营长、第10野炮重炮团团长、参谋本部处长等职。1934年3月，他正式出任驻德大使馆武官。之后10余年，他一直为日德军事同盟而奔波，出谋划策，搜集情报，极尽外交家兼谍报人员之能事。