申請の途中で気が変わって働きたくなったら、やめてもいい？

会社を退職し、失業保険を受け取ろうと手続きを進めています。しばらくは失業保険を受け取りながら、ゆっくり次を探すつもりでいました。ところが、手続きを進めるうちに気持ちが変わり、思ったより早く働き始めたくなってきました。よい求人も見つかりそうで、失業保険を受け取り終えるのを待たずに、途中で就職してしまってもよいのか迷っています。せっかく手続きを進めてきたので、途中でやめると、これまでの手続きが無駄になったり、何かペナルティがあったりするのではないかと不安です。また、一度やめてしまうと、残っている失業保険はもう受け取れなくなるのかも気になっています。申請の途中で働き始めても問題ないのか、知っておきたいです。

失業保険の手続きや受給の途中で、気が変わって早く働きたくなった場合、途中でやめて就職してもよいのでしょうか。途中でやめることでペナルティがあるのか、また、残っている分の失業保険がどうなるのかも含めて教えてください。