亚洲精品无码乱码成人|最近中文字幕免费大全|日韩欧美卡一卡二卡新区|熟妇性饥渴一区二区三区|久久久久无码精品国产AV|欧美日韩国产va在线观看|久久精品一本到99热动态图|99国产精品欧美一区二区三区

擁有多年NLP經(jīng)驗的虎博科技，憑借自身獨特的技術(shù)創(chuàng)新，打破“成本魔咒”，重新定義“短小精悍”。

國內(nèi)大模型創(chuàng)業(yè)迎來了新面孔。

包含70億參數(shù)和1800億參數(shù)兩個版本的大模型TigerBot正式亮相，一經(jīng)推出，就以獨特的實力，引起了外界矚目。

【資料圖】

從評測結(jié)果可見，TigerBot與OpenAI同規(guī)模模型的得分十分接近

作為一款國產(chǎn)自研的多模態(tài)大語言模型，TigerBot不僅能進(jìn)行編程、畫圖、翻譯，還支持多種辦公場景下的任務(wù)，具有高效的學(xué)習(xí)能力、創(chuàng)造力和可控性。

更重要的是，借助更先進(jìn)的微調(diào)算法，TigerBot在只使用少量參數(shù)的情況下，就能快速理解人類的問題，提升回答的準(zhǔn)確性。

在同樣50萬條數(shù)據(jù)訓(xùn)練的情況下，TigerBot的收斂速度比斯坦福推出的Alpaca快5倍，在公開數(shù)據(jù)集上評測顯示性能提升17%。

有點難以置信的是，研發(fā)了如此強勁大模型的團(tuán)隊，最初只有5個人，身為CEO兼首席科學(xué)家的團(tuán)隊Leader陳燁，擔(dān)任了最核心的代碼工作。

后來成員規(guī)模雖有擴充，但也只控制在了10人左右。

那么，這個在激烈的大模型競爭中，TigerBot背后的中國企業(yè)——虎博科技，究竟是怎樣憑借犀利小團(tuán)隊殺出一條血路的呢？

01 重新定義“精悍”

眾所周知，訓(xùn)練大模型所需的高昂算力、成本，一度使得ChatGPT這樣的通用大模型，成為了少數(shù)科技巨頭的專利。

然而，擁有多年NLP經(jīng)驗的虎博科技，卻憑借自身獨特的技術(shù)創(chuàng)新，打破了這一“成本魔咒”，并重新定義了何謂“短小精悍”。

具體來說，為了降低模型的訓(xùn)練成本和難度，虎博科技在以下幾個方面進(jìn)行了創(chuàng)新：

指令完成監(jiān)督微調(diào)

所謂指令完成監(jiān)督微調(diào)，主要就是讓模型更加理解人類提出的各種問題。

如果模型像一個學(xué)生，那么問題就像一個作業(yè)。

如果老師只是給學(xué)生一個作業(yè)，不告訴他這個作業(yè)要考察什么知識點，要用什么方法來解答，那么學(xué)生可能會很困惑，于是有些問題的回答質(zhì)量往往就不佳。

面對這樣的問題，以往人們想到的辦法，是通過微調(diào)和提示的方式，來讓模型變得“更通人性”。

具體來說，微調(diào)是在大量的任務(wù)相關(guān)的數(shù)據(jù)上，重新訓(xùn)練模型的參數(shù)，這就像給了學(xué)生一本厚厚的輔導(dǎo)書，雖然可以讓他學(xué)得更好，但也會花費很多時間和精力。

而提示則是在每個問題前加上一些特殊的單詞或符號，就像給學(xué)生一個小抄，讓小抄引導(dǎo)他寫出正確答案，但這一方法也需要老師花心思制作小抄，而且小抄的內(nèi)容也會限制學(xué)生的應(yīng)變能力。

對此，TigerBot的應(yīng)對之策，是使用一種標(biāo)記語言（Mark-up Language），在每個問題前加上一些特殊的符號。

這相當(dāng)于給每個作業(yè)打上了“標(biāo)簽”。

如此一來，學(xué)生就能明白，這個作業(yè)是數(shù)學(xué)題，要用加減乘除來解答；那個作業(yè)是英語題，要用翻譯來解答；從而讓模型快速地理解了各種問題。

但別看只是個“打標(biāo)簽”的小小改動，真正要踐行這樣的技術(shù)創(chuàng)新，卻絕非易事。

因為標(biāo)記語言并不是一種簡單的任務(wù)標(biāo)簽，它需要有一定的語法規(guī)則和語義表達(dá)能力，才能讓 LLMs（大模型） 準(zhǔn)確地理解和執(zhí)行指令。

其次，標(biāo)記語言并不是一種獨立的技術(shù)，要讓 LLMs 能夠有效地利用標(biāo)記語言來完成各種任務(wù)，還需要借助預(yù)訓(xùn)練、微調(diào)、元學(xué)習(xí)等其他多種技術(shù)。

因此，整合各種技術(shù)并設(shè)計一種通用且易用的標(biāo)記語言，是一項具十分前沿的創(chuàng)新性工作，涉及多個方面的挑戰(zhàn)和難點。

唯有那些具備深厚理論基礎(chǔ)和實踐經(jīng)驗的團(tuán)隊，才能做出這類突破。

突破并行訓(xùn)練難關(guān)

除了模型的底層架構(gòu)上的改進(jìn)外，TigerBot另一大降低訓(xùn)練難度和成本的創(chuàng)新，就是突破了deep-speed等主流框架中的若干內(nèi)存和通信問題，實現(xiàn)了千卡環(huán)境下訓(xùn)練數(shù)月無間斷。

在此之前，要想千卡環(huán)境下進(jìn)行數(shù)月無間斷的訓(xùn)練，會面臨很大的技術(shù)難點。

這里可以用一個形象的比喻說明：

想象一下，在一個擁擠的馬路上，用很多輛小車來運送一座大山，要花費多大的時間和精力？要面對怎樣的擁堵和阻礙？

在這里，“小車”就象征著每個 GPU 的內(nèi)存空間，“大山”象征著模型的參數(shù)和梯度。

雖然我們有一千輛小車可以用，但是每輛小車的載重能力都很有限，遠(yuǎn)遠(yuǎn)不夠裝下整座大山。

另一方面，模型的參數(shù)和梯度需要在多個 GPU 之間頻繁地交換和更新，需要消耗很多的通信資源。

這就像是要把一座大山從一個地方運到另一個地方，需要經(jīng)過很多次的裝卸和轉(zhuǎn)運，不僅會耽誤時間，還會消耗大量的資源。

對此，TigerBot主要使用了三個技術(shù)，來進(jìn)行并行訓(xùn)練的優(yōu)化。

首先，TigerBot 使用了一種叫做ZeRO的技術(shù)，它可以把模型的參數(shù)和梯度分散到多個 GPU 上，從而減少每個 GPU 的內(nèi)存占用。

這就像是把大山分成很多小塊，然后用不同的小車來運送一部分小塊。這樣，每輛小車就不會超載了，而且可以同時出發(fā)，提高訓(xùn)練的效率。

其次，TigerBot 使用了一種叫做DeepSpeed的技術(shù)，它可以根據(jù)模型的參數(shù)和梯度的大小和分布，自動地選擇最合適的通信方式和路徑。

這就像是一個智能導(dǎo)航系統(tǒng)，它可以根據(jù)貨物的重量和目的地，自動地選擇最快的交通工具和路線，從而大大節(jié)約了時間和資源。

再次，TigerBot 使用了一種叫做BF16的技術(shù)，它可以降低模型的精度要求，從而減少計算的復(fù)雜度和內(nèi)存的需求。

這就像是將同等大小的山體碎塊換成了塑料或紙板，從而大大從降低運輸?shù)呢?fù)擔(dān)。

借由著這些技術(shù)，虎博科技每月在訓(xùn)練上的開銷，能夠節(jié)省數(shù)十萬。

這也是為什么，他們能以10人左右小團(tuán)隊，在幾個月時間內(nèi)實現(xiàn)“媲美”O(jiān)penAI壯舉的原因之一。

02 正向突變

除了上述提到的技術(shù)外，虎博科技在大模型方面，還運用ensemble和probabilistic modeling的方法，讓模型在創(chuàng)造性和可控性上做出了適當(dāng)?shù)臋?quán)衡。

同時，針對中文連續(xù)性強、多義歧義情況多等問題，虎博科技通過不斷吸取開源模型和代碼中的優(yōu)點，從tokenizer到訓(xùn)練算法上，都做了相應(yīng)優(yōu)化。

而這些提升性能、降低成本的技術(shù)創(chuàng)新，和自然界中的生物面臨環(huán)境壓力時，所激發(fā)出的“突變”和“進(jìn)化”，有著異曲同工之妙。

面對訓(xùn)練大模型所需的巨量算力、數(shù)據(jù)時，實力并不強勁的中小企業(yè)，也感到了某種“演化壓力”。

為了在這場AI競賽中不被時代拋棄，部分中小企業(yè)，只能被倒逼著選擇了一種更能降本增效的技術(shù)策略。

然而，這樣的“壓力”，卻并不總是能激發(fā)正向的“突變”與“進(jìn)化”，部分實力羸弱的企業(yè)，可能直接倒在了這場殘酷的大模型競爭中，還有的企業(yè)干脆選擇了投機取巧，以炒作和公關(guān)來吸引融資。

既然如此，那虎博科技是如何在這樣的壓力下，完成正向“突變”的呢？

談到這個問題，我們就不得不提起虎博科技的創(chuàng)始人兼CEO——陳燁。

某種程度上，與OpenAI的Sam Altman一樣，陳燁也是一個心懷科技理想的天才創(chuàng)業(yè)者。

在AI領(lǐng)域的造詣上，陳燁不僅三次獲得人工智能頂級會議（KDD和SIGIR）最佳論文獎，在人工智能和機器學(xué)習(xí)領(lǐng)域發(fā)表了20余篇具有業(yè)界影響的論文，并擁有10余項專利。

并且還曾在美國的微軟、eBay和Yahoo擔(dān)任主任科學(xué)家和研發(fā)總監(jiān)等職位，成功實施過多個深具業(yè)界影響力的人工智能系統(tǒng)。

而每一個對AI技術(shù)進(jìn)行過深度研究的人，都明白這項技術(shù)的遠(yuǎn)大意義。

這樣的人，如果想在AI領(lǐng)域干一番事業(yè)，就絕不會僅僅只是為了賺錢。

在2017年，陳燁成立了虎博科技，開始專注于NLP技術(shù)的應(yīng)用落地，愿景是用AI賦能下一代搜索引擎，連接人與全球信息，讓人們獲取知識更簡單。

然而，再遠(yuǎn)大的理想，也要有現(xiàn)實的支撐。

深諳AI技術(shù)發(fā)展路徑的陳燁明白，人工智能的進(jìn)步與迭代，需要漫長的研發(fā)周期，雖然短期來看，資本市場對這類技術(shù)有著很大熱情，也產(chǎn)生了很多泡沫，但如果長時間未能看見實際的應(yīng)用或產(chǎn)出，各路資本就都會紛紛人走茶涼。

面對這個問題，理性而成熟的陳燁，選擇了一條更為穩(wěn)健的道路，來堅守自己的理想。

在彼時的國內(nèi)AI賽道上，智能金融成為了陳燁首先瞄準(zhǔn)的目標(biāo)。

這是因為，金融行業(yè)的運轉(zhuǎn)，往往伴隨著巨大的數(shù)據(jù)量，且與教育、醫(yī)療等行業(yè)相比，金融領(lǐng)域的很多數(shù)據(jù)都是公開、且易于獲取的。

于是，結(jié)合自身的NLP技術(shù)，虎博科技研發(fā)的新一代智能金融信息搜索引擎——虎博搜索誕生了。

虎博搜索的數(shù)據(jù)覆蓋 了A 股、港股及美股，包括行情、公告、研報、新聞等多維度信息。

利用語義挖掘、知識圖譜、機器翻譯等核心技術(shù)，虎博搜索不僅實現(xiàn)了口語化交流問答，并且還通過精確的數(shù)據(jù)抽取，以及跨越語言的功能，從海量信息中挖掘到深層次信息，并提供了本地編輯、報告全文、溯源定位等多種功能。

而這些功能背后的深度學(xué)習(xí)、知識圖譜、文本生成等技術(shù)，都是未來大模型所必將涉及的關(guān)鍵點。

在此后的發(fā)展歷程中，虎博科技又自主研發(fā)了各大金融領(lǐng)域的關(guān)鍵技術(shù)，包括智能推薦、翻譯、輿情分析等，而由此積累的NLP經(jīng)驗，也為后來的TigerBot的誕生夯實了工程基礎(chǔ)。

03 總結(jié)

縱觀TigerBot誕生的過程，我們可以發(fā)現(xiàn)，這是一個既守住了飯碗，又贏得了理想的故事。

科研出身的陳燁，有技術(shù)，也有情懷，但卻并沒有在現(xiàn)實與理想之間顧此失彼，而是以用戶需求為導(dǎo)向，結(jié)合自身的技術(shù)優(yōu)勢，開發(fā)出多種適用于不同場景的AI產(chǎn)品。

在此過程中，其依據(jù)對技術(shù)前沿趨勢的敏銳洞察，逐步提高了自身的開發(fā)能力和工程化水平，從而在后來的大模型研發(fā)中，突破了主流框架中的技術(shù)難點和瓶頸。

如果說，當(dāng)下的大模型競爭，是一場物競天擇的競賽，那么唯有那些在廣泛的產(chǎn)品和服務(wù)中，積累了足夠多技術(shù)因子的企業(yè)，才能在壓力和挑戰(zhàn)面前，完成“進(jìn)化”與“突變”。