Соседи говорят, что я могу потерять свою жилплощадь

Здравствуйте, ситуация такая, у меня есть дом доставшийся по наследству, брат давно получил свою долю и на наследство не претендует. Но, я пустил его с семьёй жить к себе в дом. Семья его состоит из 4 человек: он, сноха и двое малолетних детей. Живут уже 15 месяцев, но соседи говорят что я могу потерять свою жилплощадь, якобы теперь они могут претендавать на долю так как проживают так долго, старшую племянницу мы устроили в местную школу. Хотелось бы знать действительно ли так это. Хотя у них есть и своя жилплощадь, но находится далеко от города.