雨花石的由来有一个趣味传说。传说南朝梁武帝时期（公元502到549年）一位法号云光的高僧在南京中华门外石子岗（梅岗）设台讲经说法，赤诚所至，感动了上苍，天为之雨花。天花落地化为五彩石子。后人将设台讲经的石子岗命名为雨花台。南京附近所产的五彩纹石便成了雨花石。科学地解释应从砾石和卵石的形成和原岩（如玉髓、玛瑙、蛋白石、化石岩等等）的形成来说明雨花石形成的过程。雨花石均为砾石、卵石，产于雨花台组地层中，其磨圆度一般比较好，显然是经过长期搬运和磨蚀后形成的。砾石层具有明显的层理和斜层理构造，所以地质工作者认为是河流作用形成的，其形成时代要追溯到距今大约1200万年到300万年以前第三纪晚期到第四纪早期，那时，雨花台和长江北岸水系十分发育，雨花石正是那时古长江以及其支流古秦淮河、古滁河带来的沉积物。

雨花石的种类很多，在雨花石中所占比例最高的是玛瑙、玉髓、碧玉、蛋白石。从矿物成因来看，玉髓主要产于火山喷出岩的空洞以及热液脉，温泉沉积中。玉髓的特别种类玛瑙，主要产于基性喷出岩气孔、洞穴中，为低温热液胶体矿物。碧玉为火山岩硅质胶体。蛋白石则为火山岩区火山活动期后的温泉沉积物。这些雨花石原岩形成均与火山活动有关。从雨花台组砾石成分来看，主要是来自长江中下游周围侏罗纪、白垩纪第三系地层中的岩石。仅少量灰岩等来自中生代、古生代地层，另外还有一些岩浆岩、变质岩。长江流域火山活动从晚侏罗纪开始到白垩纪为中性至酸性火山岩喷发期。现在在镇江东面白垩纪火山岩中的洞穴、气孔中可见到玛瑙。第三纪早期则又出现基性火山岩喷发期。因此认为南京地区出现较多玛瑙质、玉髓质、碧玉质、蛋白石质雨花石是和长江流域，特别是南京周围地区的火山活动密切相关的。