當(dāng)用戶在百度搜索框中輸入問題，如何快速、準(zhǔn)確的在大數(shù)據(jù)中找到最相關(guān)的搜索結(jié)果？
第二屆百度搜索創(chuàng)新大賽賽道二“基于向量交集的TopK搜索”考核的就是這一核心難題：搜索算法。
百度搜索創(chuàng)新大賽是由百度搜索發(fā)起，聯(lián)合全國各大高校、社團、科研組織共同舉辦的一項全國性科技競賽，第一屆已于去年成功舉辦。和第一屆相比，第二屆百度搜索創(chuàng)新大賽以“新搜索·新奇點”為主題，共設(shè)置了五大賽道，同時還設(shè)置了產(chǎn)品賽道，分別傾向于不同的議題，包括搜索答案組織、基于向量交集的TopK搜索、設(shè)計一個解決搜索用戶需求的AI原生應(yīng)用、基于GPU的近似最近鄰檢索算法挑戰(zhàn)、可控圖片生成算法挑戰(zhàn)等。
歷經(jīng)123天的角逐，賽道二“基于向量交集的TopK搜索”共有549人報名，其中組成的113支隊伍上榜，經(jīng)過激烈角逐，最終有9支隊伍入圍決賽，并進入頒獎現(xiàn)場。
01
“基于向量交集的TopK搜索”的優(yōu)化與創(chuàng)新
據(jù)悉，第二屆百度搜索創(chuàng)新大賽賽道二“基于向量交集的TopK搜索”賽題的具體任務(wù)為：給定850萬條規(guī)模的數(shù)據(jù)文件，每條數(shù)據(jù)是最大128維度的整型id向量 （稱為doc），id取值范圍是0-50000，給定一個最大128維的整型id向量（稱為query），求query與doc全集內(nèi)各數(shù)據(jù)的交集個數(shù)TopK（k=100）。
從任務(wù)設(shè)定來看，顯然是不容易的。那么，走上獎臺的背后，有著怎樣的精彩故事呢？作為賽道二冠軍團隊，也是一人組隊的全職奶爸陳熙講述了他的感受。
據(jù)陳熙介紹，他是一名全職奶爸。雖然暫時離開工作崗位，但是卻始終都在關(guān)注著行業(yè)的發(fā)展。而之所以參加此次百度搜索創(chuàng)新大賽，也是一種機緣巧合。他表示，“賽道二TopK的問題是非常經(jīng)典的優(yōu)化問題，但一個經(jīng)典問題可以做出很多創(chuàng)新?！?/p>
在本次比賽中，陳熙的方案之所以能夠碾壓多個團隊，主要在于其基于賽道二要求，不僅實現(xiàn)了多線程多流并行和batch優(yōu)化方案，同時還解決了GPU占用低的問題，提出了高效bitset求向量交集數(shù)的方案，進一步提升了GPU的計算效率。此外，他還創(chuàng)新性提出了基于閾值迭代式求TopK方案，通過縮小范圍來減少計算量，最后獲得了23倍的性能提升。
“最終的性能提升并不是一蹴而就的，而是通過一個個非常小的優(yōu)化積累得到的?！标愇踔赋觯霸谶@次比賽過程中我也碰到了一些難題。比如說在構(gòu)思迭代式求TopK方案時，最開始并沒有一個非常好的思路，但通過閱讀大量相關(guān)論文，最終一步步理清了自己的思路，并提出了最后的優(yōu)化方案?！?/p>
02
參賽是一種經(jīng)歷，更是價值的體現(xiàn)
參賽只是一種經(jīng)歷，但其中所涉及的一系列問題以及所取得的成果，卻是值得銘記的。
陳熙介紹，通過參加第二屆百度搜索創(chuàng)新大賽，他收獲了很多。“首先讓我意識到，即便是一個看似很簡單的問題，也是需要付出非常大努力才能做好的；第二是使用合適的工具能節(jié)省大量的開發(fā)時間。雖然我有8年cuda開發(fā)經(jīng)驗，但之前工作中使用英偉達Nsight 工具的機會比較少，在這次比賽中我深入地使用了該工具，確實對開發(fā)有很大的幫助；第三是這次比賽競爭氛圍非常激烈，大家的成績你追我趕，在這樣壓力下我堅持到了最后，做到了一個非常好的方案，所以我覺得堅持就是勝利?！?/p>
“能夠獲得冠軍，是對我自身能力的一種鼓勵和肯定。同時也在激勵我努力試錯，在認(rèn)定的道路上繼續(xù)前行?！标愇跆钩?。
從業(yè)內(nèi)來看，面向工程優(yōu)化方向的比賽是很少的?！鞍俣扰c英偉達能夠為大家提供這樣一個平臺，真的非常難得，也希望通過這次比賽大家能關(guān)注到高性能優(yōu)化的人才?！标愇醣硎?，“在 AI 大模型爆發(fā)的關(guān)鍵時刻，搜索技術(shù)也迎來了革新的轉(zhuǎn)折點。賽題為我們描繪出了搜索技術(shù)的發(fā)展方向，讓我們一起努力共同促進行業(yè)繁榮發(fā)展?！?a title="點擊進入搜狐首頁" id="backsohucom" data-spm-data="2" style="background-color: transparent; border: 0px; margin: 0px; padding: 0px; color: rgb(0, 102, 204); white-space: nowrap;" target="_blank" rel="noopener">
原創(chuàng)文章，作者：陳晨，如若轉(zhuǎn)載，請注明出處：http://2079x.cn/article/603598.html
