这栋城堡在第一任主人出事之后，被当时的一个富有的商人买下，商人倒是正经商人，从事油料运输，在他买下这栋城堡之后，花费巨资进行了装修，然后带着一家十几口人搬进了城堡。结果刚刚搬进去的第一天，一家人就不知为何神秘失踪，就好像第一任主人一样，活不见人死不见尸。
接着就是第三任主人，一个葡萄牙海军军官。当时葡萄牙人是海上马车夫，那位海军军官也是出身名门，他奉命来这里开拓航路，一眼就看中了灰石堡。这座矗立在悬崖上的城堡，既像一个坚固的军事堡垒，风景又极为美妙，除了视野良好之外，周围绿树成荫，远处海浪滚滚，是一处不可多得的居住地。葡萄牙军官当下拍板买下了灰石堡，还娶了一位当地姑娘，在灰石堡里举办了婚礼，结果一个月之后军官出海，在海上遇到当时著名的海盗“黑胡子”，落得船毁人亡葬身大海的下场，而他的新婚妻子，在军官惨死之后，最终也落了一个神秘失踪的结果。
城堡的第四位主人，是那个海军军官的亲哥哥。他来接收这栋城堡之后，也不知道城堡发生了什么，在住了一个月之后，匆忙将城堡出售给一个商人，然后匆匆返回葡萄牙，在一个月之后，他暴毙家中。
而那第五人主人，一个从事橡胶生意的商人，在买了城堡的第一年之后，大儿子惨死在土匪手里，第三年，小儿子因为工地脚手架脱落被砸得半身不遂，他自己在第五个年头，因为踩滑了地板，从城堡三楼摔下，当场暴毙。
从此以后，这座城堡就染上了“诅咒之屋”的恶名——除了第一任主人一直平安无事居住到了晚年之外，剩下的连续四任主人，都是死于非命，最后那位商人的遗孀将这栋城堡挂出了很低的价格，不过一直没有人来接手。因为大家都盛传这栋城堡因为是建立在奴隶的血肉上的，这里不知道累积了多少奴隶的亡魂，除了第一任的奴隶主之外，其他人身上都没点血腥味，镇压不住这里的亡魂，所以灰石堡虽然好，但一直没有人来居住，到后来，那位商人的遗孀甚至也搬离了城堡，这栋城堡正式成为了孤魂野鬼的游乐场。
传说有人在这里看到过吉普赛人，看到过僵尸，看到过亡魂……总之在之后长达百年的时间里，这栋城堡无人问津。
一直到了矮子古兹曼出现。
古兹曼，绰号矮子，世界头号通缉犯，世界上势力最强大的毒贩，鼎盛时期，他的资产约200亿美元。他曾经两次从墨国的高安全级别监狱成功逃狱。
在80年代，古兹曼从那位商人的后代手里，将灰石堡买了过来。
他觉得他能镇得住这里的“冤魂”，在他买入城堡，大张旗鼓搬进来之后，很多人都在等着看他的笑话，可事实证明，不管这里有没有“冤魂”，古兹曼真的镇得住，不仅镇得住，而且他自从搬到灰石堡之后，一路顺风顺水。
古兹曼可能是真命硬。
他出生在墨国“三角洲”枢纽位置上的“毒品之乡”巴迪拉瓜托市。他的家人和当地许多农民一样，都以种植大.麻和罂.粟为生。而墨国绝大多数的毒贩，都来自巴迪拉瓜托所在的锡那罗亚州。
和黑手党的发源地西西里人比起来，巴迪拉瓜托人更遵守沉默法则。正因如此，关于古兹曼的过往，包括他自己在内的大部分人都不愿意提及。不过可以确定的是，古兹曼家境贫寒，年幼时还曾在街头贩卖水果。
20世纪80年代，年轻的古兹曼投身于墨西哥黑帮“教父”加拉多门下，一路晋级，成为内部高层。加拉多系警察出身，曾成功吞并了锡那罗亚的大小毒贩，创立了著名的贩毒集团“联合会”。但在1989年加拉多被捕后，他的势力便逐步瓦解了。这时，古兹曼和亲信趁机夺权，抢得墨西卡利市的越境通道，这里是墨国向花旗国贩毒的一条“黄金通道”。这也让古兹曼一伙的势力一举超越了其他组织。
作为80年代末期当地有名毒贩的侄子，古兹曼亲身经历了贩毒集团运营模式从老式的“有社会基础的农场主集团”到现代“使用军事手法屠杀，雇用经济学家和律师包庇”的转变。30年后，他从一个半文盲农民摇身变成触手涉及48个国家、全球最大罪犯团伙锡那罗亚贩毒集团的首领。
在获得了加拉多的大部分产业后，古兹曼的势力逐渐庞大，古兹曼不但把旧的业务越做越大，还开创了全新的运毒方式。古兹曼修建了一条集通风、电力和轨道于一体的秘密地下通道，把毒品神不知鬼不觉地从墨国偷运到花旗国。
所以古兹曼住进灰石堡没有出事之后，大部分人都开始更畏惧他，因为根据传说来看，只有他和第一任主人，那个血债累累的奴隶主没有出事，而他们两个最大的相像，就是手上都沾满了鲜血，都是杀人不眨眼的狠人。古兹曼听到这些传言，当然更加高兴，有什么比一个毒贩听到所有人都惧怕自己更感到高兴的事情呢？
而且古兹曼盘踞在灰石堡还有一个原因，因为据说他在从花旗国最高安全级别监狱越狱之后，顺手偷走了一件敏感物品，就藏在这座城堡里。具体是什么没人知道，但传言是一件十分敏感的东西——敏感到一度有流言说，花旗国要跟他做交易，只要古兹曼金盆洗手，就帮助他洗白通缉犯的身份，而且解冻他在银行里被扣押下来的大批资产。据说在古兹曼拒绝了这个交易之