Kann man in einem Relativsatz, in welchem "in dem" vorkommt wie im Deutschen durch (umgangssprachlich)"wo" ersetzen?
As a general proposition yes. Grammar books say you can use "where" when the noun being modified (in your case "book") has "a strong sense of place." I have yet to find a definition of "a strong sense of place" so I don't know if a book qualifies.

For what it's worth, I think "in which" sounds better in your sentence.

Dieses "wo" gilt in gewissen Kreisen als hessischer Regionalismus. Wir jedenfalls kennen das gar nicht anders.

Am Rande: "wo" ist hier nicht umgangssprachlich, sondern gilt als standardsprachlich.

Nach Duden 9 kann "wo" als relativistischer Anschluss anstelle einer Präposition + Relativpronomen verwendet werden, wenn es sich
- um einen räumlichen Bezug handelt:
Die Krankenschwester führte den Schlosser in einen kleinen Raum, wo ... (ebenso korrekt: in dem) 
oder
- um einen zeitlichen Bezug handelt:
In dem Augenblick, wo ... (ebenso korrekt: als oder in dem).


edit: Nicht korrekt ist es für Personen, Sachen, Begriffe: Der Mann, [ ̶w̶o̶ ]  der hier wohnt ...