亚洲精品无码乱码成人|最近中文字幕免费大全|日韩欧美卡一卡二卡新区|熟妇性饥渴一区二区三区|久久久久无码精品国产AV|欧美日韩国产va在线观看|久久精品一本到99热动态图|99国产精品欧美一区二区三区

擁有多年NLP經(jīng)驗(yàn)的虎博科技，憑借自身獨(dú)特的技術(shù)創(chuàng)新，打破“成本魔咒”，重新定義“短小精悍”。

國(guó)內(nèi)大模型創(chuàng)業(yè)迎來(lái)了新面孔。

(資料圖片僅供參考)

包含70億參數(shù)和1800億參數(shù)兩個(gè)版本的大模型TigerBot正式亮相，一經(jīng)推出，就以獨(dú)特的實(shí)力，引起了外界矚目。

從評(píng)測(cè)結(jié)果可見，TigerBot與OpenAI同規(guī)模模型的得分十分接近

作為一款國(guó)產(chǎn)自研的多模態(tài)大語(yǔ)言模型，TigerBot不僅能進(jìn)行編程、畫圖、翻譯，還支持多種辦公場(chǎng)景下的任務(wù)，具有高效的學(xué)習(xí)能力、創(chuàng)造力和可控性。

更重要的是，借助更先進(jìn)的微調(diào)算法，TigerBot在只使用少量參數(shù)的情況下，就能快速理解人類的問(wèn)題，提升回答的準(zhǔn)確性。

在同樣50萬(wàn)條數(shù)據(jù)訓(xùn)練的情況下，TigerBot的收斂速度比斯坦福推出的Alpaca快5倍，在公開數(shù)據(jù)集上評(píng)測(cè)顯示性能提升17%。

有點(diǎn)難以置信的是，研發(fā)了如此強(qiáng)勁大模型的團(tuán)隊(duì)，最初只有5個(gè)人，身為CEO兼首席科學(xué)家的團(tuán)隊(duì)Leader陳燁，擔(dān)任了最核心的代碼工作。

后來(lái)成員規(guī)模雖有擴(kuò)充，但也只控制在了10人左右。

那么，這個(gè)在激烈的大模型競(jìng)爭(zhēng)中，TigerBot背后的中國(guó)企業(yè)——虎博科技，究竟是怎樣憑借犀利小團(tuán)隊(duì)殺出一條血路的呢？

01 重新定義“精悍”

眾所周知，訓(xùn)練大模型所需的高昂算力、成本，一度使得ChatGPT這樣的通用大模型，成為了少數(shù)科技巨頭的專利。

然而，擁有多年NLP經(jīng)驗(yàn)的虎博科技，卻憑借自身獨(dú)特的技術(shù)創(chuàng)新，打破了這一“成本魔咒”，并重新定義了何謂“短小精悍”。

具體來(lái)說(shuō)，為了降低模型的訓(xùn)練成本和難度，虎博科技在以下幾個(gè)方面進(jìn)行了創(chuàng)新：

指令完成監(jiān)督微調(diào)

所謂指令完成監(jiān)督微調(diào)，主要就是讓模型更加理解人類提出的各種問(wèn)題。

如果模型像一個(gè)學(xué)生，那么問(wèn)題就像一個(gè)作業(yè)。

如果老師只是給學(xué)生一個(gè)作業(yè)，不告訴他這個(gè)作業(yè)要考察什么知識(shí)點(diǎn)，要用什么方法來(lái)解答，那么學(xué)生可能會(huì)很困惑，于是有些問(wèn)題的回答質(zhì)量往往就不佳。

面對(duì)這樣的問(wèn)題，以往人們想到的辦法，是通過(guò)微調(diào)和提示的方式，來(lái)讓模型變得“更通人性”。

具體來(lái)說(shuō)，微調(diào)是在大量的任務(wù)相關(guān)的數(shù)據(jù)上，重新訓(xùn)練模型的參數(shù)，這就像給了學(xué)生一本厚厚的輔導(dǎo)書，雖然可以讓他學(xué)得更好，但也會(huì)花費(fèi)很多時(shí)間和精力。

而提示則是在每個(gè)問(wèn)題前加上一些特殊的單詞或符號(hào)，就像給學(xué)生一個(gè)小抄，讓小抄引導(dǎo)他寫出正確答案，但這一方法也需要老師花心思制作小抄，而且小抄的內(nèi)容也會(huì)限制學(xué)生的應(yīng)變能力。

對(duì)此，TigerBot的應(yīng)對(duì)之策，是使用一種標(biāo)記語(yǔ)言（Mark-up Language），在每個(gè)問(wèn)題前加上一些特殊的符號(hào)。

這相當(dāng)于給每個(gè)作業(yè)打上了“標(biāo)簽”。

如此一來(lái)，學(xué)生就能明白，這個(gè)作業(yè)是數(shù)學(xué)題，要用加減乘除來(lái)解答；那個(gè)作業(yè)是英語(yǔ)題，要用翻譯來(lái)解答；從而讓模型快速地理解了各種問(wèn)題。

但別看只是個(gè)“打標(biāo)簽”的小小改動(dòng)，真正要踐行這樣的技術(shù)創(chuàng)新，卻絕非易事。

因?yàn)闃?biāo)記語(yǔ)言并不是一種簡(jiǎn)單的任務(wù)標(biāo)簽，它需要有一定的語(yǔ)法規(guī)則和語(yǔ)義表達(dá)能力，才能讓 LLMs（大模型） 準(zhǔn)確地理解和執(zhí)行指令。

其次，標(biāo)記語(yǔ)言并不是一種獨(dú)立的技術(shù)，要讓 LLMs 能夠有效地利用標(biāo)記語(yǔ)言來(lái)完成各種任務(wù)，還需要借助預(yù)訓(xùn)練、微調(diào)、元學(xué)習(xí)等其他多種技術(shù)。

因此，整合各種技術(shù)并設(shè)計(jì)一種通用且易用的標(biāo)記語(yǔ)言，是一項(xiàng)具十分前沿的創(chuàng)新性工作，涉及多個(gè)方面的挑戰(zhàn)和難點(diǎn)。

唯有那些具備深厚理論基礎(chǔ)和實(shí)踐經(jīng)驗(yàn)的團(tuán)隊(duì)，才能做出這類突破。

突破并行訓(xùn)練難關(guān)

除了模型的底層架構(gòu)上的改進(jìn)外，TigerBot另一大降低訓(xùn)練難度和成本的創(chuàng)新，就是突破了deep-speed等主流框架中的若干內(nèi)存和通信問(wèn)題，實(shí)現(xiàn)了千卡環(huán)境下訓(xùn)練數(shù)月無(wú)間斷。

在此之前，要想千卡環(huán)境下進(jìn)行數(shù)月無(wú)間斷的訓(xùn)練，會(huì)面臨很大的技術(shù)難點(diǎn)。

這里可以用一個(gè)形象的比喻說(shuō)明：

想象一下，在一個(gè)擁擠的馬路上，用很多輛小車來(lái)運(yùn)送一座大山，要花費(fèi)多大的時(shí)間和精力？要面對(duì)怎樣的擁堵和阻礙？

在這里，“小車”就象征著每個(gè) GPU 的內(nèi)存空間，“大山”象征著模型的參數(shù)和梯度。

雖然我們有一千輛小車可以用，但是每輛小車的載重能力都很有限，遠(yuǎn)遠(yuǎn)不夠裝下整座大山。

另一方面，模型的參數(shù)和梯度需要在多個(gè) GPU 之間頻繁地交換和更新，需要消耗很多的通信資源。

這就像是要把一座大山從一個(gè)地方運(yùn)到另一個(gè)地方，需要經(jīng)過(guò)很多次的裝卸和轉(zhuǎn)運(yùn)，不僅會(huì)耽誤時(shí)間，還會(huì)消耗大量的資源。

對(duì)此，TigerBot主要使用了三個(gè)技術(shù)，來(lái)進(jìn)行并行訓(xùn)練的優(yōu)化。

首先，TigerBot 使用了一種叫做ZeRO的技術(shù)，它可以把模型的參數(shù)和梯度分散到多個(gè) GPU 上，從而減少每個(gè) GPU 的內(nèi)存占用。

這就像是把大山分成很多小塊，然后用不同的小車來(lái)運(yùn)送一部分小塊。這樣，每輛小車就不會(huì)超載了，而且可以同時(shí)出發(fā)，提高訓(xùn)練的效率。

其次，TigerBot 使用了一種叫做DeepSpeed的技術(shù)，它可以根據(jù)模型的參數(shù)和梯度的大小和分布，自動(dòng)地選擇最合適的通信方式和路徑。

這就像是一個(gè)智能導(dǎo)航系統(tǒng)，它可以根據(jù)貨物的重量和目的地，自動(dòng)地選擇最快的交通工具和路線，從而大大節(jié)約了時(shí)間和資源。

再次，TigerBot 使用了一種叫做BF16的技術(shù)，它可以降低模型的精度要求，從而減少計(jì)算的復(fù)雜度和內(nèi)存的需求。

這就像是將同等大小的山體碎塊換成了塑料或紙板，從而大大從降低運(yùn)輸?shù)呢?fù)擔(dān)。

借由著這些技術(shù)，虎博科技每月在訓(xùn)練上的開銷，能夠節(jié)省數(shù)十萬(wàn)。

這也是為什么，他們能以10人左右小團(tuán)隊(duì)，在幾個(gè)月時(shí)間內(nèi)實(shí)現(xiàn)“媲美”O(jiān)penAI壯舉的原因之一。

02 正向突變

除了上述提到的技術(shù)外，虎博科技在大模型方面，還運(yùn)用ensemble和probabilistic modeling的方法，讓模型在創(chuàng)造性和可控性上做出了適當(dāng)?shù)臋?quán)衡。

同時(shí)，針對(duì)中文連續(xù)性強(qiáng)、多義歧義情況多等問(wèn)題，虎博科技通過(guò)不斷吸取開源模型和代碼中的優(yōu)點(diǎn)，從tokenizer到訓(xùn)練算法上，都做了相應(yīng)優(yōu)化。

而這些提升性能、降低成本的技術(shù)創(chuàng)新，和自然界中的生物面臨環(huán)境壓力時(shí)，所激發(fā)出的“突變”和“進(jìn)化”，有著異曲同工之妙。

面對(duì)訓(xùn)練大模型所需的巨量算力、數(shù)據(jù)時(shí)，實(shí)力并不強(qiáng)勁的中小企業(yè)，也感到了某種“演化壓力”。

為了在這場(chǎng)AI競(jìng)賽中不被時(shí)代拋棄，部分中小企業(yè)，只能被倒逼著選擇了一種更能降本增效的技術(shù)策略。

然而，這樣的“壓力”，卻并不總是能激發(fā)正向的“突變”與“進(jìn)化”，部分實(shí)力羸弱的企業(yè)，可能直接倒在了這場(chǎng)殘酷的大模型競(jìng)爭(zhēng)中，還有的企業(yè)干脆選擇了投機(jī)取巧，以炒作和公關(guān)來(lái)吸引融資。

既然如此，那虎博科技是如何在這樣的壓力下，完成正向“突變”的呢？

談到這個(gè)問(wèn)題，我們就不得不提起虎博科技的創(chuàng)始人兼CEO——陳燁。

某種程度上，與OpenAI的Sam Altman一樣，陳燁也是一個(gè)心懷科技理想的天才創(chuàng)業(yè)者。

在AI領(lǐng)域的造詣上，陳燁不僅三次獲得人工智能頂級(jí)會(huì)議（KDD和SIGIR）最佳論文獎(jiǎng)，在人工智能和機(jī)器學(xué)習(xí)領(lǐng)域發(fā)表了20余篇具有業(yè)界影響的論文，并擁有10余項(xiàng)專利。

并且還曾在美國(guó)的微軟、eBay和Yahoo擔(dān)任主任科學(xué)家和研發(fā)總監(jiān)等職位，成功實(shí)施過(guò)多個(gè)深具業(yè)界影響力的人工智能系統(tǒng)。

而每一個(gè)對(duì)AI技術(shù)進(jìn)行過(guò)深度研究的人，都明白這項(xiàng)技術(shù)的遠(yuǎn)大意義。

這樣的人，如果想在AI領(lǐng)域干一番事業(yè)，就絕不會(huì)僅僅只是為了賺錢。

在2017年，陳燁成立了虎博科技，開始專注于NLP技術(shù)的應(yīng)用落地，愿景是用AI賦能下一代搜索引擎，連接人與全球信息，讓人們獲取知識(shí)更簡(jiǎn)單。

然而，再遠(yuǎn)大的理想，也要有現(xiàn)實(shí)的支撐。

深諳AI技術(shù)發(fā)展路徑的陳燁明白，人工智能的進(jìn)步與迭代，需要漫長(zhǎng)的研發(fā)周期，雖然短期來(lái)看，資本市場(chǎng)對(duì)這類技術(shù)有著很大熱情，也產(chǎn)生了很多泡沫，但如果長(zhǎng)時(shí)間未能看見實(shí)際的應(yīng)用或產(chǎn)出，各路資本就都會(huì)紛紛人走茶涼。

面對(duì)這個(gè)問(wèn)題，理性而成熟的陳燁，選擇了一條更為穩(wěn)健的道路，來(lái)堅(jiān)守自己的理想。

在彼時(shí)的國(guó)內(nèi)AI賽道上，智能金融成為了陳燁首先瞄準(zhǔn)的目標(biāo)。

這是因?yàn)?，金融行業(yè)的運(yùn)轉(zhuǎn)，往往伴隨著巨大的數(shù)據(jù)量，且與教育、醫(yī)療等行業(yè)相比，金融領(lǐng)域的很多數(shù)據(jù)都是公開、且易于獲取的。

于是，結(jié)合自身的NLP技術(shù)，虎博科技研發(fā)的新一代智能金融信息搜索引擎——虎博搜索誕生了。

虎博搜索的數(shù)據(jù)覆蓋 了A 股、港股及美股，包括行情、公告、研報(bào)、新聞等多維度信息。

利用語(yǔ)義挖掘、知識(shí)圖譜、機(jī)器翻譯等核心技術(shù)，虎博搜索不僅實(shí)現(xiàn)了口語(yǔ)化交流問(wèn)答，并且還通過(guò)精確的數(shù)據(jù)抽取，以及跨越語(yǔ)言的功能，從海量信息中挖掘到深層次信息，并提供了本地編輯、報(bào)告全文、溯源定位等多種功能。

而這些功能背后的深度學(xué)習(xí)、知識(shí)圖譜、文本生成等技術(shù)，都是未來(lái)大模型所必將涉及的關(guān)鍵點(diǎn)。

在此后的發(fā)展歷程中，虎博科技又自主研發(fā)了各大金融領(lǐng)域的關(guān)鍵技術(shù)，包括智能推薦、翻譯、輿情分析等，而由此積累的NLP經(jīng)驗(yàn)，也為后來(lái)的TigerBot的誕生夯實(shí)了工程基礎(chǔ)。

03 總結(jié)

縱觀TigerBot誕生的過(guò)程，我們可以發(fā)現(xiàn)，這是一個(gè)既守住了飯碗，又贏得了理想的故事。

科研出身的陳燁，有技術(shù)，也有情懷，但卻并沒有在現(xiàn)實(shí)與理想之間顧此失彼，而是以用戶需求為導(dǎo)向，結(jié)合自身的技術(shù)優(yōu)勢(shì)，開發(fā)出多種適用于不同場(chǎng)景的AI產(chǎn)品。在此過(guò)程中，其依據(jù)對(duì)技術(shù)前沿趨勢(shì)的敏銳洞察，逐步提高了自身的開發(fā)能力和工程化水平，從而在后來(lái)的大模型研發(fā)中，突破了主流框架中的技術(shù)難點(diǎn)和瓶頸。

如果說(shuō)，當(dāng)下的大模型競(jìng)爭(zhēng)，是一場(chǎng)物競(jìng)天擇的競(jìng)賽，那么唯有那些在廣泛的產(chǎn)品和服務(wù)中，積累了足夠多技術(shù)因子的企業(yè)，才能在壓力和挑戰(zhàn)面前，完成“進(jìn)化”與“突變”。