Vaak wordt gezegd dat met de verhuis naar de villa, het kluizenaarschap van de schilder begon. De vele foto's in de collectie van het Emile Van Dorenmuseum met tal van gasten, veelal uit Brussel, bewijzen het tegendeel. Ook zijn familie zakte vaak af naar Genk, evenals bevriende kunstenaars en kunstverzamelaars. Zo was Herman Richir (1866-1952), sinds hun gezamenlijke academietijd in Brussel één van de beste vrienden van Van Doren, een regelmatige en graag geziene gast. Zijn portretten van de familie sieren nog steeds de muren.
Doorheen de villa was muziek te horen. Dochter Stéphanie (Fanny) was erg muzikaal aangelegd, speelde piano, harmonium en had een mooie zangstem.
De villa was ingericht met antieke stijlmeubelen, siervoorwerpen en kunstwerken, waaronder - naast zijn eigen werk - ook werken van tijdgenoten, zoals Constantin Meunier, Jef Lambeaux, Armand Maclot en Adrien Joseph Heymans.
Het huishouden in villa Le Coin Perdu werd gerund door Fanny. Zij deed onder andere de inkopen, vaak met de fiets. Een inwonende meid, die via een eigen bediendentrap in de keuken haar slaapkamertje kon bereiken, stond naast het huishoudelijk werk ook in voor het onderhoud van de moestuin. De maaltijden waren er bescheiden, met groenten uit de eigen tuin.
Het testament
In de loop van 1955 overhandigde Fanny Van Doren - die kinderloos was gebleven - een eigenhandig geschreven testament aan haar notaris. Vlla Le Coin Perdu, met omliggend park van ongeveer een hectare groot, samen met de inboedel werd daarin aan de gemeente Genk geschonken, maar niet zonder er een uitdrukkelijke wens aan te koppelen.
Fanny overleed op 5 oktober 1956. De notariële akte, gedateerd 7 november 1956 vermeldt:
La villa 'Le Coin Perdu' et les terres y attenant, je les lègues à la commune de Genck. J'aimerais que cette maison fut consacrée à un organisme intellectuel, soit: école de peinture, de musique, bibliothèque ou à défaut, à un but philanthropique. Si possible, j'aimerais que les meubles anciens, cuivres et étains anciens, ainsi que les tableaux accrochés aux murs, restent attachés à l'immeuble, ceci en souvenir du peintre de Genck, Emile Van Doren.
Emile Van Dorenmuseum
In 1975, na verschillende functies, onder andere als repetitieruimte voor een theatergezelschap en woning voor diverse gezinnen, besliste het college van burgemeester en schepenen om de voormalige kunstenaarswoning volledig te restaureren en in te richten als museum. De schilderijen, die jarenlang opgeborgen waren in het politiebureau van Waterschei, zouden eindelijk naar huis terugkeren.
Het Gemeentelijk museum en kultuurhuis Emiel Van Doren opende op 22 september 1976 de deuren en werd, naast museum, ook de vergaderplek van de cultuurraad en de thuisbasis van Heemkring Heidebloemke, die in de kelders een heemmuseum uitbouwde.
Heemkring Heidebloemke ruilde in de zomer van 2008 Le Coin Perdu in voor de gloednieuwe stadsbibliotheek.
Ook de conciërgewoning was recent leeg komen te staan. Dit gaf de kans om na te denken over de toekomst van het museum. Het museum werd officieel Emile Van Dorenmuseum - Huis van Landschap en Kunst, waarbij villla Le Coin Perdu ingezet werd om het verhaal van het kunstenaarsoord Genk in de periode 1840-1940 te ontsluiten. De werking werd verbreed, met o.a. de uitbouw van het visuele en artistieke geheugen van Genk (ondergebracht in het erfgoeddepot in de stedelijke bibliotheek) en een werking voor hedendaagse kunstenaars in residentie.