当时卢芹斋将昭陵六骏石刻全部打碎准备偷运出国，幸而其中四骏被北洋政府查获，但＇飒露紫＇与＇拳毛騧＇被其偷运出国，卖给美国宾夕法尼亚大学博物馆，虽经中国政府多次讨要，仍未成功，唐太宗昭陵六骏天各一方，令国人唏嘘。
卢芹斋一生走私出卖的明以前造像，石刻，青铜器，玉器不计其数，其中大量出自于历代皇帝被盗的陵墓。卢芹斋给中国文化，考古，文物鉴定等方面造成了不可估量的损失！
“法国收藏家与美国收藏家的品味不同。法国人喜爱的是：康熙三彩，抹红、茄皮紫、孔雀绿等釉色的瓷器，青铜器，石雕，唐三彩和明清法花器。而美国人比较喜爱北宋钧窑瓷器、康熙郎窑红、三代青铜器、古玉、出土冥器、北魏浮雕、字画玉雕。而且美国收藏家的胃口非常大，只要是老东西，就肯出高价购买，而且愿意和古董商保持长期合作关系。”
吴天缘研究着资料，这份是通过龙组收集来，更加详实和真实，有很多秘不示人的线索供他参考。
卢芹斋40岁时，古董事业正如日中天。此时他产生了一个新的想法，就是建造一座完全中式的建筑，用以展示和销售来自中国的珍宝。但是这个想法在市政规划非常严格的巴黎几乎是不可能的。巴黎的建筑都有统一的风格，每幢房子的高矮、设计风格、材料都要经过严格的审批，必须与周围建筑整体相协调。
卢芹斋第一次提出的改建计划没有获得批准。他没有气馁，在法国建筑师布洛克的协助下，再次提出了申请。不知道他使用了何种神通，巴黎市政府最终批准了他的计划。
改建工程从1926年开始，仅用了2年时间，就把原来3层高的公馆改建成了5层的中式红楼。这应该是巴黎市内最正宗的一座中国式的建筑！