兖州市博物馆位馆藏丰富，有自大汶口文化至明清历代文物3500多件，包括兴隆塔塔底出土的珍贵文物。博物馆呈轴南北向。北部为兴隆塔游览区。中部是陈列馆，陈列馆建筑采用仿汉阕、大斜坡房顶的外观造型，气势宏伟，古朴典雅，庄重大方，与兴隆塔前后呼应，浑然一体。二层设五个展厅。分别是文明曙光厅、文物精品厅、天下第一剑厅、李蒂根艺厅和名家书画厅。
文明曙光厅陈列了兖州地区发掘出土的史前文化遗物300余件，其中有中科院考古研究所发掘的王因遗址、西吴寺遗址、六里井遗址等，这些遗址系统地反映了山东地区新石器时期的文化发展序列。
文物精品厅陈列了馆藏文物精品中的青铜器、瓷器、石刻造像、金玉饰品等几个专题。
天下第一剑厅的大剑是生铁模铸而成，剑柄铸有铭文"康熙丁酉二月知兖州府事山阴金一凤置"，剑长7.5米，重1539.8公斤，被誉为“天下第一剑”。