Umowa słowna nie obowiązuje. Nie posiadacie praw do roszczenie o wyciąganie sankcji wynikających z umowy.

skąd wniosek, że nie obowiązuje? zgodnie z art 60 KC oświadczenie woli może być wyrażone w dowolnej formie chyba, że ustawa stanowi inaczej. Art 660 KC przewiduje dla umowy najmu formę pisemną ale tylko pod tym rygorem, że jeżeli nie będzie ona pisemna to uważa ją się za zawartą na czas nieokreślony.
Zatem jak najbardziej może się Pan domagać zwrotu pieniędzy, ale treść umowy będzie trudna do udowodnienia. Dobrze jeśli ma Pan rachunki, faktury itp i jeżeli dziadek przed sądem nie będzie zaprzeczał wszystkiemu. Udowodnienie w procesie spoczywa na tym kto na okoliczność podlegającą udowodnieniu się powołuje, zatem w tym przypadku Pan będzie musiał udowodnić, że należy się Panu zwrot. Najlepiej oczywiście jest się dogadać, bo wynik sporu przed sądem jest niepewny.
Podsumowując, jeżeli to co Pan napisał jest prawdą i nie pominął Pan żadnych istotnych elementów, to należy się Panu zwrot części kosztów które proporcjonalnie przypadają na okres w którym Pan nie mieszkał w budynku plus ewentualne odszkodowanie za nienależyte wykonanie umowy, jednakże będzie to cięzkie do udowodnienia przed sądem.