第065章【靈境GPT-1.0語言模型】(第2/2 頁)

在場的工程師們都一言不發，同時認真聆聽著，新加入的團隊成員都是如此，作為同行越聽越清楚的意識到臺上站著的那個比他們所有人都年輕的羅靖，他的實力有多強。

能成為t10級資深研究員果然是有道理的，至少在場的人都知道自己的技術水平肯定比不過羅靖。

大家自然是希望能跟t10級大神學到點東西，這種機會可不多。

“我們團隊除了繼續在星際2這個專案推進靈境ai之外，我們接下來的新任務就是開發構建一個語言大模型。”羅靖站在會議大螢幕右側不急不緩地說道：

“這個模型的核心其實就是‘自注意力機制’，也就是gpt中的t，比方說讓ai給一段文字序列中的不同詞語標註權重，然後對下文的推測依據權重來進行，這樣做的好處就是即便之前很早的資訊也能被ai用上，不至於讓ai學了之後轉頭就忘了前面的。”

“整個的過程是透過自監督完成，也就是ai自我學習完成，在此期間沒有我們人類指導，當然也沒法指導，沒有人能把百渡百科、維基百科或全網的全部內容都熟記下來。”

這時，與會的一位t5級工程師說道：“頭兒，這個預訓練pre-traed會不會讓靈境gpt呈現出什麼都懂，但樣樣不精通的局面？可以說全面發展反而變得全面平庸，按你之前的描述，讓靈境gpt的語言模型變得更大似乎並不能使它更好的遵循使用者的意圖，甚至不排除會生成一些假的、有害的對人沒有幫助的回答。”

羅靖頓時說道：“好問題。所以要對靈境gpt進行微調，讓它生成的答案更有幫助性，在訓練階段就不能用自監督學習的辦法了，而是要找人類來給它上課。”

此話一出，另一位工程師不禁說道：“這……那得多少人？意思是讓使用者來訓練？那算力、維護和運營成本得爆炸，經費能撐得住嗎？”

不用想都知道前期得持續燒錢並且賺不了錢。

羅靖淡定的說道：“經費問題那是老闆該頭疼的事情，我們只管搞技術和找老闆伸手要錢，找老闆要錢這個事情我來做就是了，你們不用管，迴歸正題……”

頓了片刻，羅靖按動手裡的小遙控器接著說道：“靈境gpt使用人類監督，我已經微調訓練了一個初始模型，這個模型靠人類ai訓練員提供對話內容。”

眾人暗暗吃驚，不愧是大佬，居然一個人就把初始模型給搞出來了。

……