古代蒙古人看到玛瑙的颜色和美丽的花纹很像马的脑子，就以为它是由马脑变成的石头，所以梵语称它为“马脑”。“玛瑙”早期被书写成“马脑”，最早见于后汉安世高所译的《阿那邠邸七子经》一书。南北朝时鸠摩罗什译《妙法莲华经》称：“马脑，梵云遏湿摩揭婆”、“色如马脑，故从彼名”。

还有说法称，三国时期曹丕同父亲曹操北征乌桓，当地的人进贡玛瑙酒杯一只，曹丕见酒杯红似飞霞，晶莹剔透，便挥笔写下《马脑勒赋》，并在序中说：“马脑，玉属也，出西域，文理交错，有似马脑，故其方人固以名之。或以系颈，或以饰勒。余有斯勒，美而赋之。命陈琳、王粲并作。”

有学者分析认为：说玛瑙出自西域，是因为当时我国所开采者数量有限，大多来自西域、印度、波斯、日本等国的贡品，这些贡品常常是人们认识这种宝贝的重要途径。自佛经传入中国后，翻译人员考虑到“马脑属玉石类”，于是巧妙地译成“玛瑙”。由于佛教传入中国，对中华文化产生深远影响，“琼”和“赤玉”等名字也逐渐被“玛瑙”所替代。

玛瑙的历史十分遥远，大约在一亿年以前，地下岩浆由于地壳的变动而大量喷出，熔岩冷却时，蒸气和其他气体形成气泡。气泡在岩石冻结时被封起来而形成许多洞孔。很久以后，洞孔浸入含有二氧化硅的溶液凝结成硅胶。含铁岩石的可熔成份进入硅胶，最后二氧化硅结晶为玛瑙。