識別并記錄訪問過站點(diǎn)的機(jī)器人爬蟲(包括但不限于搜索引擎蜘蛛),支持識別1000多種機(jī)器爬蟲。
購買 / 收藏:請先登錄
開發(fā)者:emlog
兼容更多編碼類型的爬蟲
識別并記錄訪問過站點(diǎn)的機(jī)器人爬蟲,包括搜索引擎蜘蛛,支持識別1000多種機(jī)器爬蟲。并展示爬蟲UA、IP、訪問URL和訪問時間等信息,方便站長了解網(wǎng)站收錄情況。
美清宮木博客
鐵桿 2周前
為何我的爬蟲都達(dá)到了上千,卻沒有被收錄。是不是被惡意程序入侵了。
emlog 鐵桿 開發(fā)者 2周前
爬蟲上千正常,網(wǎng)絡(luò)上有非常多的爬蟲,但是爬蟲來過和收錄沒有必然關(guān)系,爬了也未必收錄。
美清宮木博客
鐵桿 2周前
為何我的爬蟲都達(dá)到了上千,卻沒有被收錄。是不是被惡意程序入侵了。
emlog 鐵桿 開發(fā)者 2周前
爬蟲上千正常,網(wǎng)絡(luò)上有非常多的爬蟲,但是爬蟲來過和收錄沒有必然關(guān)系,爬了也未必收錄。