Attention, sur la v4, signOut retourne une promesse, pensez donc bien à mettre votre fonction en asynchrone, et à attendre le résultat avec await :
const onLogoutClickedHandler = async () => { await signOut(); router.replace('/'); };