一、“顯微鏡”級(jí)別洞察力背后的黑科技

無論何時(shí)，市場(chǎng)洞察都是營(yíng)銷人的眼睛，視線看向哪里、看到了什么，都左右著未來商業(yè)潮水的走向。

20多年前，“市場(chǎng)洞察”更多還被稱為“市場(chǎng)調(diào)研”，由于可獲取的樣本量有限，調(diào)研結(jié)果在如今看來并不精準(zhǔn)，更難以稱之為“洞察”。

互聯(lián)網(wǎng)的興起才讓“洞察”真正成為可能。但受限于技術(shù)和產(chǎn)品能力，廣告主只能通過粗粒度的行業(yè)通用標(biāo)簽來投放。例如，不同廣告主只能共用一個(gè)“美妝”的行業(yè)標(biāo)簽，商業(yè)分析依舊無法達(dá)到理想中的“精準(zhǔn)”。

如今，5G時(shí)代下，流量潮水正逐漸褪去，接近飽和的移動(dòng)互聯(lián)網(wǎng)廣告市場(chǎng)正宣告著存量時(shí)代的來臨，營(yíng)銷步入精細(xì)化階段。這意味著，洞察需要更加精準(zhǔn)才有能力支撐更清晰的商業(yè)決策。

以美妝行業(yè)為例，廣告主不僅需要看見對(duì)美妝感興趣的人群在哪里，更需要知道對(duì)自己品牌感興趣的人群有哪些。

廣告的投放也不止于有限且固定的位置，還可以結(jié)合上下文場(chǎng)景。如主打美白的產(chǎn)品可以植入到所有與“美白”相關(guān)的內(nèi)容場(chǎng)景中。

洞察不再只是粗獷的行業(yè)調(diào)研，而是能夠看見某一細(xì)分品類甚至某個(gè)產(chǎn)品的市場(chǎng)利益分析。

事實(shí)上，上述這些功能都藏在巨量引擎的商業(yè)數(shù)據(jù)產(chǎn)品巨量云圖中。有了這些精細(xì)的洞察，曾經(jīng)相對(duì)模糊的營(yíng)銷的中上游如今有了更加清晰的視野，廣告主也能有的放矢，把控更多決策細(xì)節(jié)。

“顯微鏡”級(jí)別的洞察背后，是機(jī)器對(duì)萬億級(jí)數(shù)據(jù)流的抽絲剝繭，以及人類與機(jī)器的高效聯(lián)動(dòng)。最初，巨量引擎技術(shù)團(tuán)隊(duì)圍繞“精準(zhǔn)洞察”需求，決定在3個(gè)層面升級(jí)技術(shù)能力，開發(fā)出更精細(xì)、靈活、快速的解決方案：

1. 基礎(chǔ)層：提升機(jī)器的內(nèi)容理解豐富度，產(chǎn)出更多樣化的標(biāo)簽。

2. 應(yīng)用層：洞察不僅要精準(zhǔn)，更要為廣告主真正所需。因此搭建一個(gè)標(biāo)準(zhǔn)化標(biāo)簽生產(chǎn)平臺(tái)，靈活滿足廣告主個(gè)性化標(biāo)簽需求，做到“所需即所得”。

3. 效率層：提升數(shù)據(jù)查詢速度，確保廣告主即時(shí)看到分析結(jié)果，以快速跟進(jìn)決策。

二、基礎(chǔ)層：讓機(jī)器理解更豐富的世界

在巨量引擎，內(nèi)容是最基礎(chǔ)的“原料”，無數(shù)內(nèi)容流匯成數(shù)據(jù)的基本盤，為商業(yè)分析提供不竭動(dòng)力。但事實(shí)上，正如原油要經(jīng)過一系列工業(yè)流程才能變成有商業(yè)價(jià)值的石油，從海量?jī)?nèi)容中提煉出精準(zhǔn)的商業(yè)洞察還需要很多操作。其中最關(guān)鍵的一環(huán)就是讓機(jī)器能理解更多信息。機(jī)器獲取的信息量越大，輸出的標(biāo)簽顆粒度就會(huì)越細(xì)，最終發(fā)現(xiàn)更具象的商業(yè)洞察。

整體上從兩個(gè)方面入手。一是在識(shí)別粒度上，將機(jī)器的文本理解能力提升至詞粒度；二是在識(shí)別廣度上，讓機(jī)器具備理解視頻的能力。二者都是為了讓機(jī)器從海量?jī)?nèi)容中獲取更多的信息，“看見”一個(gè)更豐富的世界。

1. 細(xì)粒度的文本理解能力

在文本識(shí)別方面，機(jī)器的理解能力按照精細(xì)程度主要分為三個(gè)級(jí)別。同樣一篇文章，初級(jí)水平的機(jī)器只能知道這段文本講的是汽車，因此標(biāo)簽的分類也十分粗糙；中級(jí)水平的機(jī)器能理解到語句級(jí)別，識(shí)別出這篇講汽車的文章中有多少篇幅講的是發(fā)動(dòng)機(jī)；高級(jí)水平的機(jī)器更聰明一些，能夠識(shí)別出句子中的關(guān)鍵詞。文章中某輛汽車的品牌、型號(hào)、外形、性能、配置等各方面表現(xiàn)都能被準(zhǔn)確識(shí)別出來。

在巨量引擎，機(jī)器的文本理解水平已經(jīng)精確到了詞粒度，達(dá)到了目前語義理解的最小單位。簡(jiǎn)單來說，技術(shù)同學(xué)會(huì)制定一套具備商業(yè)屬性的關(guān)鍵詞策略，例如語義上是否相關(guān)、詞頻高低、熱度搜索趨勢(shì)、數(shù)據(jù)源是否有商業(yè)屬性等，機(jī)器會(huì)根據(jù)這套策略將識(shí)別到的詞語按照關(guān)鍵程度進(jìn)行排序，越符合規(guī)定策略的詞則排名越高，最終被定義為商業(yè)關(guān)鍵詞。這些商業(yè)關(guān)鍵詞如果再經(jīng)過系統(tǒng)的“美工”，就是我們?cè)诜治鲋薪?jīng)常看見的詞云圖。

2. 更廣泛的內(nèi)容識(shí)別范圍

對(duì)機(jī)器來說，視頻通常集圖像、音頻、文本等各個(gè)形態(tài)于一身，所以識(shí)別難度也比文本更高。在技術(shù)領(lǐng)域，通過機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)和理解多種形態(tài)信息的能力稱為多模態(tài)學(xué)習(xí)，這其中“模態(tài)”就是指各種信息的載體，如文本、圖像、聲音等。因此，視頻理解就是一個(gè)典型的多模態(tài)學(xué)習(xí)應(yīng)用場(chǎng)景。通過“多模態(tài)學(xué)習(xí)”，機(jī)器能夠識(shí)別出更多數(shù)據(jù)形態(tài)，對(duì)內(nèi)容的理解也會(huì)更充分。

整體而言，讓機(jī)器理解視頻主要分為表征、融合和分類三個(gè)步驟。

“表征”的作用類似于翻譯，即將文本、圖像、聲音等不同類型的數(shù)據(jù)轉(zhuǎn)換成機(jī)器能理解的“數(shù)據(jù)語言”，即同一種結(jié)構(gòu)的數(shù)據(jù)。在“融合”階段，機(jī)器將采取不同的策略將多種模態(tài)的信息進(jìn)行整合，尋找這些信息之間的關(guān)聯(lián)性，形成統(tǒng)一的認(rèn)知。最后，機(jī)器在充分理解之后再把數(shù)據(jù)按照一級(jí)、二級(jí)行業(yè)屬性等規(guī)則進(jìn)行歸類，相似的數(shù)據(jù)歸為一類，最終輸出“標(biāo)簽”。

多模態(tài)技術(shù)科普視頻:機(jī)器是如何理解視頻的？

通俗來講，有了多模態(tài)技術(shù)的加持，就像人類掌握了多國(guó)語言。一方面，在缺失某種模態(tài)的情況下也能憑借另一種模態(tài)理解內(nèi)容；另一方面，通過對(duì)不同模態(tài)的信息進(jìn)行融合，機(jī)器對(duì)內(nèi)容的理解也更加準(zhǔn)確。

通過對(duì)文本與視頻的理解，機(jī)器將底層龐大的內(nèi)容流“劃分”成了各式各樣的標(biāo)簽，這些標(biāo)簽中有相對(duì)粗粒度的類目標(biāo)簽，也有精細(xì)到詞粒度的關(guān)鍵詞，它們組成了龐大的商業(yè)標(biāo)簽庫，成為滿足廣告主不同營(yíng)銷需求的底層基礎(chǔ)。

三、應(yīng)用層：高效滿足個(gè)性化洞察需求

雖然通過內(nèi)容理解技術(shù)，機(jī)器最終能夠輸出更精準(zhǔn)的標(biāo)簽。但這些標(biāo)簽屬于標(biāo)準(zhǔn)化產(chǎn)物，產(chǎn)出后無法再更改和調(diào)整，因此依然很難滿足一些廣告主的個(gè)性化需求。

例如，如果廣告主只想投放對(duì)自己品牌感興趣的人群，或僅想知道與自身產(chǎn)品相關(guān)的利益點(diǎn)分析，那么就需要重新生產(chǎn)出一套符合自己需求的個(gè)性化標(biāo)簽，這其中需要對(duì)標(biāo)簽進(jìn)行定義、根據(jù)規(guī)則在底層數(shù)據(jù)庫中進(jìn)行挖掘、以及評(píng)估測(cè)試等多個(gè)流程，最后才能上線使用。

這一系列流程都是在標(biāo)簽平臺(tái)上實(shí)現(xiàn)的。簡(jiǎn)單來講，標(biāo)簽平臺(tái)是搭建在內(nèi)容理解的能力基礎(chǔ)之上的標(biāo)簽生產(chǎn)和管理工具。通過一套標(biāo)準(zhǔn)化的流程，讓不懂技術(shù)的業(yè)務(wù)同學(xué)也能夠根據(jù)實(shí)際需求自定義標(biāo)簽規(guī)則，在平臺(tái)上靈活生產(chǎn)標(biāo)簽。后來標(biāo)簽平臺(tái)經(jīng)過內(nèi)測(cè)后對(duì)外開放，在巨量云圖上線為“標(biāo)簽工廠”。

用技術(shù)同學(xué)的話說，標(biāo)簽平臺(tái)的價(jià)值就像是將餐廳的后廚開放出來。如果菜單上沒有符合客人胃口的菜，那么就可以直接去后廚，挑選合適的食材，做出想要的美食（標(biāo)簽）。

一言以蔽之，標(biāo)簽平臺(tái)讓精準(zhǔn)洞察具備了“適配性”：不僅精準(zhǔn)，且為廣告主真正所需。

最終，通過內(nèi)容理解和標(biāo)簽平臺(tái)，廣告主才能通過對(duì)全平臺(tái)的內(nèi)容指標(biāo)分析，看到各種品類的市場(chǎng)趨勢(shì)。甚至還能通過分析某一特定品類的UGC及PGC內(nèi)容，得知產(chǎn)品賣點(diǎn)與用戶認(rèn)知是否契合、正負(fù)評(píng)論各有哪些、產(chǎn)品利益點(diǎn)表現(xiàn)情況等。

人群方面，廣告主還能在標(biāo)簽平臺(tái)上圈選出本品的興趣和機(jī)會(huì)人群，以及找出與目標(biāo)群眾重合度高的KOL，大大降低營(yíng)銷決策的風(fēng)險(xiǎn)。

四、效率層：讓商業(yè)分析唾手可得

如同古代的行軍打仗，戰(zhàn)報(bào)的送達(dá)時(shí)間密切影響著戰(zhàn)略決策，事關(guān)戰(zhàn)局輸贏。商業(yè)分析也是如此，對(duì)廣告主而言，如果數(shù)據(jù)不能被即時(shí)看見，就意味著不能盡快復(fù)盤，敏捷應(yīng)對(duì)，那么其價(jià)值就會(huì)被削弱，即便洞察精準(zhǔn)，依舊如管中窺豹。

事實(shí)上，廣告主每發(fā)出一次查詢請(qǐng)求，系統(tǒng)都要在海量數(shù)據(jù)庫中進(jìn)行查詢、計(jì)算、分析等一系列復(fù)雜的操作，最終才將目標(biāo)數(shù)據(jù)呈現(xiàn)在廣告主眼前。但在廣告主看來，這一切僅發(fā)生在眨眼之間。

如此高效的處理速度主要源于對(duì)數(shù)據(jù)存儲(chǔ)方式的優(yōu)化。對(duì)機(jī)器而言，不同類型的數(shù)據(jù)存儲(chǔ)方式很大程度上決定了查詢速度的快慢。就像從一個(gè)擁有10萬本藏書的圖書館里找到四大名著一樣，如果能將書籍按照內(nèi)容以及首字母進(jìn)行分類和排序，很快就能找全四大名著。

因此，在數(shù)據(jù)存儲(chǔ)方式上，團(tuán)隊(duì)請(qǐng)了一個(gè)“外援”——ClickHouse，一種高性能的開源數(shù)據(jù)庫管理系統(tǒng)，專門擅長(zhǎng)處理云圖這種數(shù)據(jù)量大、經(jīng)常承接各種靈活查詢需求的場(chǎng)景。憑借列式存儲(chǔ)結(jié)構(gòu)（一列一個(gè)文件）和按列計(jì)算的特性，結(jié)合業(yè)務(wù)側(cè)數(shù)據(jù)分片處理，ClickHouse能夠高效讀取與計(jì)算出廣告主需要的數(shù)據(jù)。

例如廣告主想對(duì)一二線城市愛吃巧克力的女性進(jìn)行內(nèi)容分析，傳統(tǒng)的數(shù)據(jù)庫則需要讀取所有數(shù)據(jù)才能依次篩選出一二線城市、女性、愛吃巧克力三個(gè)標(biāo)簽，最后三個(gè)條件都符合的才是廣告主的目標(biāo)人群。但如果使用ClickHouse這個(gè)“外援”，系統(tǒng)無需讀取全部數(shù)據(jù)，只需查詢這三個(gè)標(biāo)簽所在的“列”，再對(duì)這三組數(shù)據(jù)在用戶分片上進(jìn)行“交并差”并行處理就可以了，大大節(jié)省了查詢時(shí)間。

在此基礎(chǔ)上，再通過“BitMap”技術(shù)縮小數(shù)據(jù)的存儲(chǔ)空間。Bit是計(jì)算機(jī)數(shù)據(jù)系統(tǒng)中的最小單位，一個(gè)bit值可以為1或0，我們經(jīng)常聽到的“byte”（字節(jié)）可以換算為8個(gè)bit。而 “BitMap”正是采用bit數(shù)組的數(shù)據(jù)結(jié)構(gòu)，將原始數(shù)據(jù)與bit數(shù)組里的位置建立映射關(guān)系。由于Bit的存儲(chǔ)單位很小，因此往往能夠節(jié)省大量存儲(chǔ)空間。

高度抽象一點(diǎn)說，“BitMap”的原理就像英語的縮略詞一樣。例如把雅思寫成全稱的形式“International English Language Testing System”需要占用45個(gè)字符，而如果直接簡(jiǎn)寫成“IELTS”只需要5個(gè)字符就夠了，這樣機(jī)器讀取的時(shí)間就會(huì)大大縮短。

根據(jù)業(yè)務(wù)測(cè)試反饋，憑借ClickHouse和“BitMap”組合，巨量云圖的查詢速度提升了10-50倍，查詢時(shí)間已控制在3-5秒間，真正實(shí)現(xiàn)了商業(yè)分析的“所需即所得”。

結(jié)語：

內(nèi)容理解從底層解決了標(biāo)簽的精準(zhǔn)問題，標(biāo)簽平臺(tái)從上層讓精準(zhǔn)的洞察發(fā)揮出更多價(jià)值，查詢技術(shù)讓一切信息秒速進(jìn)入人們的視線，正是通過一次次技術(shù)上的突破，才成就了如今洞悉更多商業(yè)細(xì)節(jié)的能力。

從創(chuàng)意生產(chǎn)到洞察分析，現(xiàn)在巨量引擎團(tuán)隊(duì)又有了更多新思考，例如讓情感分析更加細(xì)膩、系統(tǒng)更加智能、生產(chǎn)更高效... 營(yíng)銷的科學(xué)性也正是在無數(shù)次思考中走向普羅大眾。相信，這些細(xì)微的思考也會(huì)在未來帶來更先進(jìn)的技術(shù)，解決更多難題。

關(guān)鍵詞： 顯微鏡 科技