1958年10月，山东大学主体迁往济南后，以留在青岛的海洋系、水产系、地质系、生物系的海洋生物专业、物理系和化学系的部分教研组，以及数学、外语等直属教研组部分人员等为基础，经中共中央批准，于1959年3月成立了山东海洋学院，并列为教育部直属的重点综合性大学。

1960年10月，学校被中共中央确定为全国13所重点综合大学之一。

1962年，教育部撤销山东地质学院建制，其人员和设备并入海院，与海洋地质地貌系合并成立海洋地质系。

“文革”期间，学校被迫停止招生5年。1965年山东海洋学院划给国家海洋局建制，1979年重归教育部直属。1971年山东省对高校布局和专业进行调整，水产系并入烟台水产学校，1978年初又归建到山东海洋学院。

1988年1月，学校更名为青岛海洋大学（邓小平题写校名）。1994年实现了国家教委与山东省共建体制，获得重点支持，学校首批进入“211工程”序列，浮山校区经过近10年的建设， 1989年，以外国语学院的整体迁入为标志，学校形成了两处办学的格局。

2001年2月，国家教育部、山东省人民政府、国家海洋局、青岛市人民政府签署协议，共同重点建设中国海洋大学。