第17章 爬蟲(第1/2 頁)
“接下來,就是試試獲取小說的內容了。”
接下來,他開始編寫程式以獲取小說的詳細資訊和內容。
由於小說內容比較龐大,他決定把獲取內容的頻率放低。
畢竟是在奶茶店,店裡面還有不少的人在使用著店裡面提供的wIFI。
如果他瞬時間向伺服器的請求量過大,其他人的網路,基本上就會陷入癱瘓的狀態。
他現在只是手癢癢了,想試試手,真正要爬取到足夠多的小說資料,至少需要好幾天的時間。
“接下來,就是見證奇蹟的時刻。”
他開始啟動他的爬蟲程式,程式開始在小說網站上爬取小說的內容。
無數本小說的內容文字一閃而過,便進入了資料庫之中。
“喲,還有點意思。”
他發現,在爬取的過程中,點娘小說網站的反爬蟲機制還算是不錯,他的爬蟲程式很快就被封禁了。
針對Ip的。
不過,他快速升級了他的爬蟲程式,加入了無數的Ip池,以及強大的識別驗證碼能力,使其更難被網站檢測到。
“咦,看來我這掌握的五級資訊科技,比我想象之中的要強!”
經過一番小小的折騰,點娘都市小說分類下的數百萬本小說,全部進入了他的資料庫裡面。
“最強的點孃的反爬蟲機制也不過如此。看來獲取資料集的過程,會比我想象的簡單不少。“
”那現在就是時間的問題了,等我爬取到足夠多的小說資料集,就可以開始訓練我的寫小說AI模型了!”他心中充滿了自信。
現在,就讓小說模型先跑著吧。
今天是週末,奶茶店的人比往常多上不少,等到了快要歇業的時間裡,鋪子裡還有不少的人。
林小玲沒辦法,只好延長了奶茶店的營業時間。
連帶的,王卿一遍看著AI模型的訓練,一遍記著單詞。
“喂,我要下班了,咱們一起走吧。”
王卿還沉迷於網際網路世界的新奇時,林小玲的聲音傳了上來。
他抬頭一看,“都已經十二點了啊。”
“等我一會兒。”
“好,我在門口等你。”
林小玲沒有上樓去,今天太累了,她就在樓下等著王卿收拾東西。
“怎麼還沒出來呀。”
她在店門口等了兩三分鐘,王卿那邊還沒有動靜,就想上樓去看看。
還沒有走到門口,便看到他扛著一臺巨大的電腦主機和一個顯示器,不禁笑了起來。
王卿嘴裡喘著粗氣,額頭上掛著一粒粒細密的汗珠,身上的襯衫溼漉漉的貼在了背上。
他雙手抱著一臺電腦主機和一個顯示器,像只螞蟻一樣艱難地從二樓的樓梯上下了來。
電腦主機和顯示器一字排開,整齊地被王卿抱在了懷裡。
王卿的雙臂緊緊地摟著它們,彷彿他的生命就寄託在這兩個物體之上。
“咯咯。”
王卿奮力想要抱住電腦和主機的動作太過滑稽,讓林小玲也忍不住笑出了聲來。
她微微低頭,將手掌遮住了自己的嘴巴,用力忍住了笑意。
不過,即使她的嘴巴被遮住了,她的眼睛仍然在笑。
“你幹嘛不讓我幫你拿一下顯示器?”
她一邊問道一邊快速的走到王卿的位置,從他的手上接下了顯示器。
“謝謝。”
王卿朝著林小玲投去了一個感激的眼神。
他以前向來是不喜歡麻煩別人的,剛才林小玲又在催他,他一著急,便貪心的想一次將兩件東西都搬下去。
沒想