甄某因涉嫌盗窃罪被拘留，因证据不足被人民检察院不批准逮捕。公安机关的下列做法正确的是( )。
立即释放甄某，发给释放证明书，并将执行回执送达人民检察院
继续羁押犯罪嫌疑人，同时提起复议
认为需要继续侦查的，且符合取保候审条件的，可以决定取保候审
提起复议后还可以向上一级人民检察院提请复核