故事发生在伪满洲(20世纪三四十年代日本在中国东北地区扶植的傀儡伪政权)时期的哈尔滨。夏天的一个夜晚大雨滂沱,当地警察署的警尉冯江楚正在监视一栋俄式红顶洋楼。
几天前,冯江楚收到情报,得知当地有一名惯偷金大胆盯上了洋楼打算行窃。冯江楚单枪匹马蹲守在附近,准备抓捕金大胆。
忽然,冯江楚听到洋楼里传来一声惨叫,他立刻飞奔来到洋楼外敲门,片刻之后,照料洋楼的老仆人给他开了门。当他进入后,发现深夜的洋楼内漆黑一片,突然,天空中一道惊雷闪过,走廊尽头的房门自动打开,房间内站着一个人,正是大盗金大胆。只见金大胆神情惊恐,右手指着门口的方向,一动不动。老仆人被眼前这一幕吓得倒在地上晕了过去。
第二天,金大胆离奇死在洋楼的新闻不胫而走,当地报纸大肆宣传报道,声称洋楼闹鬼,一时间大街小巷议论纷纷,人心惶惶。
这天晚上,冯江楚独自来到了中央大街的一家饭店吃饭,城内日本特务科的情报员刘亚汉拦住了他。刘亚汉对冯江楚一番威逼利诱,想要让他放弃调查洋楼的事情。见冯江楚不肯答应,刘亚汉又搬出日本宪兵队长关根大佐的名号,冯江楚却软硬不吃,双方不欢而散。
冯江楚下定决心再次夜探洋楼。夜色中的洋楼透着莫名的阴森,冯江楚进入洋楼内,再次来到金大胆死亡的房间,经过调查,发现屋内摆着一架造型古朴的梳妆台。他用力推开梳妆台,点燃火柴摸索了一番后,竟然找到了一个机关,打开后赫然是一条密道。
正当冯江楚想要进入密道查看的时候,突然听到外面的楼梯口传来一阵诡异的脚步声,冯江楚警惕地握紧手枪。随着拧动门把手的声音,门打开了,一个白色女子的身影飘了进来。对方像是笼罩在一团迷雾当中,让人看不清面容。冯江楚又惊又怕,以为自己见到了鬼楼的幽灵。却没想到,身后的窗户内忽然跳进几个黑影,此时洋楼内的灯光也亮了起来。原来女子和黑影都是埋伏在洋楼内的抗联战士。冯江楚决定帮助抗联战士们。
特务刘亚汉也悄悄尾随进入楼内,偷听到了冯江楚跟抗联战士的谈话。第二天,刘亚汉将情报汇报给了日本宪兵队长关根大佐。
关根大佐听了汇报后,立刻计上心头,打算在楼内上演一出好戏。第二天,关根大佐声称鬼楼事件已经惊动了关东军司令部,因此决定亲自调查鬼楼背后的真相,并委派冯江楚带队对鬼楼展开搜查。关根大佐还找来了4名自称是“鬼魂专家”的手下,打算在当天午夜进入鬼楼“抓鬼”。
冯江楚不愿出卖抗联战士,磨磨蹭蹭地带人进入大楼。但让他没想到的是,日本特务似乎早就知道内情,直接打开了密道入口,并威逼冯江楚进入密室。密室内存放的是密密麻麻的军火。危急时刻,抗联战士及时赶到,制服了日本特务。
冯江楚决定利用关根大佐的自负自大,设下巧妙计策。他杀死了两名“鬼魂专家”,并假装中毒昏迷不醒。关根大佐得知后怒不可遏,他本想抓“鬼”,没想到偷鸡不成蚀把米,反而死了两名得力手下。
这时,刘亚汉又来汇报说,他在洋楼的房间内找到了新的线索,发现了一封没烧完的密信。从信中的内容来看,藏匿在楼里的抗联战士已经撤出了哈尔滨。关根大佐本打算顺藤摸瓜抓捕抗联组织,见此密信,只好决定连夜将楼内的军火搬走。
当晚,关根大佐带着冯江楚、刘亚汉等人一起进入洋楼,并吩咐宪兵小队将楼的外围封锁。冯江楚带领关根大佐等人进入密室,找到了存放的军火。几人一番交谈,彻底揭开了洋楼背后的秘密。
原来,洋楼内藏有一批地下党筹集的军火,但九一八事变发生以后,日本人占领哈尔滨,导致洋楼内的军火无法转移。关根大佐早有所知,他本想以这批军火为诱饵,抓捕前来取军火的抗联组织成员,却没想到那天晚上,金大胆潜入洋楼,发现了密道的入口。他被身后的人偷袭并打倒在地,而偷袭他的人正是楼内的老仆人——潜伏在此的日本高级特务小野。冯江楚因为追踪金大胆,也来到了洋楼外,特务小野来不及毁尸灭迹,只好将尸体用特殊手法固定,放在房屋内,制造金大胆是惊吓而死的假象。事后,关根大佐故意散播楼内闹鬼的消息。如此一来,这栋无人敢靠近的鬼楼,除了想要拿回军火的抗联组织和想要抓捕地下党的日本人之外,就不会有其他人靠近。
关根大佐命令刘亚汉和小野制服冯江楚,并除下了他的武器,打算将军火全部搬走后,将冯江楚关在密室内活活困死。只是他万万没有想到,身旁的刘亚汉突然反水,用枪指着关根大佐。原来,刘亚汉竟然是潜伏在日本特务机关内的中共地下党员。
关根大佐自以为运筹帷幄,却没想到魔高一尺道高一丈,抗联组织早就掌握了情报,为了能够顺利转移这批重要的军火,他们利用刘亚汉这根插入敌人心脏的钉子,制定了这场诱敌深入的计划。刘亚汉其实一直在故意引导关根大佐掉进他设好的陷阱中。与此同时,抗联战士早就换上日本宪兵的军装,坐上了装满军火的卡车。
此时的关根大佐悔之晚矣,他搬起石头砸了自己的脚,被刘亚汉和冯江楚蒙面押送上车。
至此,一场危机终于解除,冯江楚跟随穿着宪兵队军服的抗联战士堂而皇之地离开了这幢“鬼”楼,将这批军火安全送出。