望耳楼地处长江南岸半山间,与下浩相近,南接老码头,西连枣子湾。相传大禹离家治水,其母建“望儿楼”,终年遥望,盼其归来。后谐音称“望耳楼”。
望耳楼石梯长达几百米。由于坡度大,外側无法建房,大部分街巷成为只有内侧房屋的半边街。望耳楼一带房屋依山建造,层层叠垒。建筑形式丰富多彩,有吊脚楼、骑楼、挑楼、走马转角楼等。
1912年,当地士绅捐资,在望耳楼创办巴县县立第一女子小学。1927年,第一女子小学改归市属,更名为市立第七初级小学,兼收男生。1934年添办高小,更名为市立第十一小学。1938年9月迁至涂山,后更名为龙门浩小学。抗战时期,望耳楼80号曾作美国大使馆办公之用。