[精讚] [會員登入]
1657

來自網路的爬蟲分析

分析最近來自網路上的爬蟲

分享此文連結 //n.sfs.tw/12812

分享連結 來自網路的爬蟲分析@新精讚
(文章歡迎轉載,務必尊重版權註明連結來源)
2019-10-24 23:31:38 最後編修
2018-10-13 01:48:15 By 張○○
 

自動目錄

我好奇分析了精讚最近的180萬次訪客記錄。

資料是自有的,並非來自 google analytics之類的記錄,同時也有過濾掉三天內重複的來源。

訪客來源

爬蟲或機器人比正常人來得多,從數據分析可看出53%是屬於爬蟲或機器人,可能是人類的比例約為47%。

有些擬人類的爬蟲或機器人可能混進來,因此實際比例可能人類更少。

 

爬蟲的來源

我分析出的爬蟲大約有50-100種之多(事實上可能更多),某些偶爾來幾次的爬蟲就直接歸納到其它項目中,分析出前幾大爬蟲數量和所占爬蟲的比例

前幾大中排第一名的是 google的爬蟲。

第二名的 ahrefsbot https://ahrefs.com/robot ;;; 不知是什麼來頭的公司

第三名是微軟的 bing

第四名是semrush https://www.semrush.com/bot/

此四大爬蟲就約占了爬蟲來源的 79%,也就是說這四隻是超級大爬蟲。

 

爬蟲的來訪對網站的曝光是好事,但會吃掉不少頻寬也是壞事。

還好網站當初在建置的時候我就有考慮過,只要是被判定是爬蟲的來源,在「正被關注」的地方會標注一個大寫的B,表示我知道你的來訪,但是不會列入點擊次數。

 

裝置的來源

藉由 google的分析這近12個月的資料,可以知道本站有約 31.6+1.9=33.5(%)的使用者是來自於行動裝置

 

以上是簡單的分析資料,大概知道就好。By Alexa 的分析 https://www.alexa.com/siteinfo/sfs.tw

到目前為止本站的排名約

參考參考。

END

你可能感興趣的文章

HTC手機資料移轉記錄 剛買一台新的HTC手機,想把舊機的資料移過來,超級簡單...

看懂DSUB DVI HDMI USB等各式影音接頭 看懂DSUB DVI HDMI等各式影音接頭

我有六顆硬碟,該設定 RAID5, RAID50 還是 RAID6? 我有六顆硬碟,該設定 RAID5, RAID50 還是 RAID6?

來自網路的爬蟲分析 分析最近來自網路上的爬蟲

用Nibbler檢視你的網站優缺點 用Nibbler檢視你的網站存取能力、seo、社交媒體和技術

使用大頭貼網站 Gravatar 使用全球公開的大頭貼網站,帶來更多的方便

隨機好文

Linux shell 的date表示法 linux下SHELL中的date表示法

設計的工作絕不接受比價 拿買陽春麵的價格想買牛肉麵,寧願倒掉也不賣

外匯課程經驗 有天遇到某個朋友的正妹朋友,說她有個很棒的外匯投資課程,要我們去聽,只收場地費200大洋。她又說續效最差一個月也有1%,誰還在苦哈哈上班?

維修海棉拖把頭 這類型的海棉拖把很好用,可是這近發現海棉頭越來越不耐用,也許是錯覺,以往都能用個三四個月,現在二個月就差不多掉下來。 這

在Centos7 下安裝 Wildfly10 wildfly以前叫JBoss,2014.11.20改名叫Wildfly,起始版本是Wildfly8,現在已經出到Wil