作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD(國際數據挖掘與知識發現大會，簡稱 KDD)將于 2019年8月4日—8日在美國阿拉斯加州安克雷奇市舉行。自 1995 年以來，該會議已經舉辦了二十多年，其對論文接收非常嚴格，每年的接收率不超過 20%。今年也是KDD第一次采用雙盲評審政策，評審更為嚴格，Research track的接收率僅為14%。

在如此嚴苛的評審條件下，京東城市憑借在城市計算領域的學術和行業積淀，依然有6篇重磅論文被KDD2019收錄，展現了AI和大數據前沿技術在智能城市建設中的應用。

接下來，本文將分享這6篇關于物流人力資源調度、城市細粒度人流量推測、城市交通預測、軌跡數據版權保護、城市的地塊表征學習、天氣預報精準預測等問題的優秀研究成果。

?

?

與往年一樣，本次KDD大會分為 Research 和 Applied Data Science 兩個 track。

據了解，今年KDD Research track 共評審了約 1200 篇投稿，其中約 110 篇被接收為 oral 論文，60 篇被接收為 poster 論文，接收率約 14%。

ADS track收到大約 700 篇論文，其中大約 45 篇被接收為 oral 論文，約 100 篇被接收為 poster 論文，接收率約 20.7%。

以下為京東城市本次被KDD大會收錄的6篇論文簡介，想深入了解的讀者請查看每篇論文末尾的原文鏈接。

1、題目：E?icient and E?ective Express via Contextual Cooperative Reinforcement Learning

作者：Yexin Li , Yu Zheng , Qiang Yang

近年來，物流快遞服務覆蓋了越來越多的城市，不僅推動了線上購物的普及，也給城市生活帶來了極大的便利。

當對物流的需求呈逐步增長的時候，運營者通常通過增加快遞員的數量來完成日益增長的配送件任務，但這種方式由于對快遞員的管理調度比較欠缺，從而造成勞動力的浪費，并且不能從根本上解決送取件效率低下的問題。

因此我們提出了一個基于強化學習的優化模型，來實現快遞員的動態調度管理，從而達到只利用一部分現有快遞員來高效完成每天的大量送取件任務的目的。

在一個物流系統中，通常包含兩類任務：

一是配送到達配送站的各個包裹到指定地點;

二是前往客戶實時下單地點收取包裹。即我們平時所說的送件和收件。

基于此，我們本次所研究的優化模型包括兩個步驟：

一是到達配送站的包裹如何分配給每個快遞員;

二是從配送站出發的快遞員，該如何實時規劃他們的工作路徑。

要優化上面的兩個步驟，使得快遞員每天能完成盡可能多的任務，并不是一個容易的問題，需要解決的挑戰難點有三個：

第一個難點是，物流快遞系統非常大，并且是隨時間不斷動態變化的。要同時管理調度大量的快遞員來完成每天大量的送取件任務非常困難。

第二個難點是，在完成第一個步驟時，即如何在配送站分配包裹給每個快遞員，我們需要基于實際情況考慮多個因素：分配給同一個快遞員的包裹有相近的目的地;分配包裹時需要考慮將來可能產生的取件任務;各個快遞員最好有大致相同的任務量，以免造成勞動力的浪費或工作過量的情況。

第三個難點是，對于第二個步驟，即如何實時規劃每個快遞員的作業路線，由于物流系統的動態性質，以及快遞員作業時的一些隨機因素，再加上我們的目標是使得在長時間內完成的總送取件任務數最大，這些都使得傳統的最優化模型并不能很好的解決這個問題。

解決方案

針對以上難點，本文提出了一個基于強化學習的優化模型。針對第一個難點，我們先將城市劃分成了多個獨立的片區，然后分別管理每個片區內的快遞員。

這樣做的原因有兩個：第一，可以很大程度上降低問題的復雜度;第二， 位于城市中距離較遠的兩個片區中的快遞員并不會有協同合作，所以同時考慮整個城市并沒有實際操作上的必要性。

城市片區的劃分是基于已有的Connected Component Detection方法來完成的，最后得到的各個片區滿足相互獨立的性質。

如圖所示，其中每個顏色表示一個獨立的片區，每個片區有一些快遞員在片區內作業來完成送取件任務。

?

?

針對第二個難點，我們提出了一個名為Balanced Delivery Service Burden (BDSB)的聚類方法，即對當前片區內的所有包裹，基于它們的目的地來做聚類，得到的每一類包裹分配給同一個快遞員。

針對第三個難點，我們提出了Contextual Cooperative Reinforcement Learning (CCRL) 優化模型，這是一個基于multi-agent 強化學習理論的模型。通過CCRL我們可以對每個片區學習得到一個快遞員的指導策略，來實時規劃各片區內的快遞員作業路線，從而達到最大化長時間內完成的總送取件任務數量的目的。

本文根據歷史物流數據設計了一個物流系統的仿真器，然后在仿真器中訓練以及驗證提出的算法模型。

論文原文鏈接：http://urban-computing.com/pdf/yexinKDD2019.pdf

2、題目：UrbanFM: Inferring Fine-Grained Urban Flows

作者：Yuxuan Liang, Kun Ouyang, Lin Jing, Sijie Ruan, Ye Liu, Junbo Zhang，David S. Rosenblum，Yu Zheng

近年來，城市人流量監控系統在智慧城市當中扮演著重要的角色。然而，細粒度的監控系統需要部署大規模的設備和傳感器，這意味著系統維護需要大量的資金支持。

于是，京東城市聯合西安電子科技大學和新加坡國立大學提出了一種基于深度神經網絡的模型UrbanFM (Urban Flow Magnifier)，能夠利用粗粒度城市人流量數據準確地還原細粒度人流量數據，從而減少設備維護成本。

細粒度的城市流量監控系統是現代智慧城市信息系統中的一個關鍵組件，為城市的長期規劃，實時交通管理等決策提供了基礎的信息支撐。

這些流量監控系統的傳感部分從路沿的監控攝像頭到埋在地下的磁感線圈，再到各大運營商的信號基站，都在無時無刻為智慧城市的大腦服務。它們就好像是城市的眼睛，將整個城市的實時流量傳輸到控制中心，為大腦中央的管理人員提供一個管理城市的藍圖。

?

?

▲1.1 城市人流監控案例

然而，維持細粒度的監控系統的成本不容小覷，考慮到我們需要在城市的大量區域部署這些傳感器，最終系統的傳感器量級可能會是十萬乃至百萬級別的。維護這樣大量的傳感器將需要耗費我們大量的人力以及能源。考慮到全球智慧城市的興起，這樣的人力物力消耗將會更大，甚至可能會阻礙全球的進一步智慧化。

為了減少維護成本，一個簡單的想法是減少傳感器的數量，但是這樣也會降低監控系統的粒度進而降低可用性。于是我們提出一個新的想法：“能不能減少監控系統中傳感器的數量，但是卻不改變系統所能獲取到的信息粒度和精度?”

根據以上想法，我們先將整個城市進行柵格化劃分，每個格子代表城市中的一個區域。很明顯，根據不同的劃分方式我們能得到不同粒度的城市人流量數據。例如，圖1.2(b)展示了原有的細粒度某一時刻北京的城市流量圖，而圖1.2(a)是傳感器減少后對應時刻的粗粒度城市流量圖。圖中的每一個格子的顏色(熱度值)代表某一時刻該點的流量。我們的目標就是通過粗粒度的城市人流量數據來推斷細粒度的人流量數據。

即給定一個特定的放大倍數和粗粒度人流量圖，來推斷該時刻對應的細粒度人流量圖。

?

?

▲1.2 不同粒度城市人流量示例

然而，推斷細粒度的城市人流量需要考慮以下兩個難點：首先，粗粒度流量圖與對應的細粒度流量圖之間具有空間結構性關系。從圖中可以看到，粗粒度的流量圖中每一個大區域(super-region)是由細粒度的幾個小區域(sub-region)組成的，有著空間層次性。在同一時刻中，粗粒度圖的每個大區域的流量等于所有構成該區域的小區域人流量的總和，如圖樣例所示。

所以，我們需要把這種空間層次性反映在我們的模型架構中。此外，不同區域之間也會有空間關聯性，比如鄰近區域的流量應該是相似的，而空間特征類似的區域流量也會相似。因此，我們需要考慮到空間上的層次性與關聯性來進行模型設計。

其次，除了城市人流量本身信息，我們還需要考慮外部因素的影響。通常來說，這些外部因素包括天氣，時間，節假日等。比如，圖1.3(a)展示了北京的一個核心區域，我們可以將這個核心區域看成粗粒度的大區域，進一步地將該區域劃分為6*6個細粒度的小區域。每個小區域對應的地理屬性(例如2級路段數目、景點數目等)也在圖1.3(a)當中示出。

我們可以根據這些地理屬性將該核心區域分為住宅區、辦公區和游客景點等。之后，我們在圖1.3(b)到(e)中繪出了不同外部因素條件下，該核心區域對應細粒度小區域的分布密度圖。將圖1.3(b)和1.3(d)對比可以看出，工作日雷暴雨的時候，人們會傾向于留在室內辦公區而不是出門在外;再比如，將圖1.3(b)和1.3(c)對比可以看出，人們在周末早上會傾向于公園里游玩而不是去公司上班。

單獨來看，這些外部因素會對我們推斷細粒度城市人流量有不可忽視的影響。而且，這些因素還可能因為互相耦合而增加我們分析這些影響的難度。所以，如何考慮到外部因素的影響成為了挑戰之一。

?

?

▲圖1.3 外部因素的影響示例

解決方案

從本質來看，推斷細粒度的城市人流量是一個以低信息熵的輸入推導并恢復高信息熵的輸出的問題，這和圖像超分辨率是很相似的。然而，圖像超分辨率相關算法并不能考慮到以上提及的難點與挑戰。借鑒了圖像復原(包括超分辨率、去噪等)的核心思想，即空間特征提取-高層特征抽象-根據高層信息重建的范式，我們提出了一個基于深度神經網絡的模型UrbanFM。

該模型能同時考慮到空間結構性以及外部因素的影響，基于粗粒度的城市流量數據來實時推斷細粒度的城市人流量。該模型的框架如圖1.4所示，此時放大倍數。拆解來看，主要分為推斷網絡(Inference Network)和外部因素融合網絡(External Factor Fusion)兩個部分。

?

?

▲ 圖1.4 UrbanFM整體框架

推斷網絡是模型的主網絡。首先，它將粗粒度流量圖作為輸入，使用殘差網絡(ResNet)進行特征提取，同時能考慮到區域之間的空間關聯性。之后，將提取出的高階特征進行分配上采樣(distributional upsampling)來得到每個粗粒度大區域對應的細粒度小區域的分布矩陣。最后，將原始粗粒度流量圖和分布矩陣進行按位相乘即可得到細粒度流量圖。

其中，分配上采樣是核心模塊，能夠很好的考慮到粗粒度和細粒度人流量圖之間的空間層次性關系。

具體來說，分配上采樣模塊先使用Subpixel塊對原始粗粒度圖提取的高階信息進行上采樣，將特征圖的尺寸放大倍得到細粒度的特征圖;再使用一個卷積層和提出的N2歸一化層將放大后的特征圖轉化為分布矩陣。這里的N2歸一化層相比于直接使用損失函數約束空間層次性有幾大優勢。

它是一個無參數層，沒有給網絡帶來額外開銷，并且易于實現(如圖1.5所示)。在實驗中，我們也發現使用N2歸一化層比使用損失函數約束空間層次性的效果要好很多。

?

?

▲圖1.5 N2歸一化層的實現

此外，我們還設計了外部因素融合模塊來綜合考慮所有的外部因素的影響，從而來提升推斷的準確率。外部因素分為離散變量和連續變量。對于離散變量，我們將它們分別進行向量嵌入(embedding)。之后，我們將所有嵌入向量和連續變量拼接作為卷積神經網絡的輸入來提取高階表示。最后，將該高階表示分別在推斷網絡的不同位置進行融合，如圖1.4所示。

實驗結果

我們使用了四個不同時間段的北京的人流量數據進行了多角度的實驗來驗證模型的性能。此外，為了探究模型的適應性，我們也使用了一個局部區域(北京歡樂谷主題公園)的人流量數據進行了模型驗證。數據集的細節如圖1.6所示。

?

?

▲圖1.6 數據集細節

通過實驗結果可以發現，與領域內領先算法相比，UrbanFM在北京四個時間段的推斷結果的均方根誤差，平均絕對誤差以及平均絕對相對誤差上的性能表現均有明顯提升。

?

?

除了性能表現上的提升之外，我們還能通過對distributional upsampling模塊輸出進行可視化來觀察外部因素對實際推斷的影響。為此，我們選取了位于北京大學附近的一個大區域作為代表，以時間為影響自變量，將7：00到21：00時間段內該區域內對于4*4的小區域的流量分布展示在圖1.7的GIF中。該區域的左上方是實驗室和辦公區，中間是餐飲區，下方是住宅區。

?

?

實驗區域

?

?

?

?

▲圖1.7 流量分布矩陣可視化

首先我們看到工作日的流量圖(第一行)。從圖中可以看到，當模型沒能考慮時間的影響時(UrbanFM_ne, ne 意為no external)，所推斷出來的流量分布近乎于不變，即從早到晚的流量分布權重一直都集中在辦公區域，而這顯然是符合我們的經驗直覺的。

而當我們的模型把時間的因素給考慮進來后(UrbanFM)，可以看到早上的辦公區域的分布首先是較低的，并隨著時間的推移，住宿區的人流量開始降低，辦公區的流量開始增大， 并在10-11點到達頂峰;這樣流量分布一直平穩維持直到下午6點的下班時間，隨后辦公區域流量開始減少，人口開始回流到住宿區。

而對比到周末的流量分布(第二行)，可以看到周末時UrbanFM模型對辦公區區域的所推斷的流量分布顯著地少于工作日時。這和我們的直覺吻合，即，人們一般在工作日的白天工作而在晚上以及周末時回家休息。

因此，這樣的動態可視化不僅強調了外部因素對于我們進行細粒度流量推斷的影響，還提高了我們深度學習模型的可解釋性，這樣的可解釋性可以讓我們更直觀地觀察以及分析不同因素對不同地區的流量分布的影響，為后續的管理和決策提供有力的支持。

關于更多的技術細節，更多的對模型的量化評估以及更多的可視化分析，歡迎讀者們關注我們的paper以及我們的github。

參考資料：

[1] UrbanFM: Inferring Fine-Grained Urban Flows (KDD, 2019)

Link: https://www.comp.nus.edu.sg/~david/Publications/kdd2019-preprint.pdf

論文原文鏈接：

http://urban-computing.com/pdf/yuxuanUrbanFMKDD2019.pdf

3、題目：Urban Tra?ic Prediction from Spatio-Temporal Data Using Deep Meta Learning

作者：Zheyi Pan, Yuxuan Liang, Weifeng Wang, Yong Yu,Yu Zheng, Junbo Zhang

城市交通預測是城市計算領域中一個非常重要的研究課題，準確的交通預測可以幫助我們更好地理解城市交通，給交通系統的改進提供思路，同時也能對民眾提供及時的城市交通預警。

然而，準確的城市交通預測需解決以下兩個挑戰：

1) 交通數據間復雜的時空相關性，即一個地點的交通狀況會影響其未來一段時間內的交通，也會影響其周圍區域的交通。

如圖2.1(a)所示，當地點S3發生交通事故時，可能導致它相鄰的地點S1,S2,S4堵車;當地點S4有重大事件發生時(例如，演唱會),將有大量的人群涌向S4，從而影響S4未來一段時間的交通狀態。

2) 不同地點間，數據的時空相關性是多樣的，并且這樣的相關性取決于地理信息，如地點周圍的興趣點，路網結構等。

如圖2.1(b)區域R1、R2和R3擁有不同的POI分布和路網結構。其中，R1、R3有較多的辦公樓，表示工作區，而R2有較多的住宅，表示一個住宅區。如圖2.1(c)所示，這些區域的POI分布、路網結構不同，導致，R1、R2、R3三個區域的流入人流量趨勢各不相同。

但同時，由于R1與R3的POI分布較相似，它們的流量趨勢呈現出一定的相似性。因此，交通預測的核心挑戰就是建模交通數據中的時空相關性和地理信息對時空相關性的影響。

?

?

▲圖2.1 城市交通預測的挑戰

解決方案

為了能在一般化的非規則空間結構上(如路網)預測未來交通，我們首先需要將交通的關聯模式抽象成圖結構。其中，每個點表示的地圖上的地點，而邊表示的是兩個地點間的關聯。接下來，我們提出參數生成的方式，來建模地理信息對時空相關性的影響。如圖2.2所示，我們用一個模型從節點的地理特征中，學習節點和邊的特性，而后用這些特性，進而學習時間、空間的關聯性模型。最后用學到的模型進行交通預測。

?

?

▲圖2.2

為此，我們引入sequence-to-sequence架構，如圖2.3所示，其中包含：

1. 循環神經網絡(RNN)，將交通數據編碼映射到高維的空間，學習高維特征。

2. 元知識學習器(Meta-Knowledge Learner)。如圖2.3(b)我們用兩個元知識學習器，分別從點和邊的地理信息中學習點元知識(Node meta knowledge,NMK)和邊元知識(Edge metaknowledge，EMK)，用于生成模型的參數。

3. 基于元學習的圖注意力網絡(Meta-GAT)。該網絡接收RNN的輸出，用于建模多樣的空間關聯。由于在圖結構中，不同的邊所描述的空間相關性取決于這條邊的特征屬性，所以，我們用一個元學習器從地理信息的元知識中學習GAT模型(圖2.3(c))。

4. 基于元學習的循環神經網絡(Meta-RNN)。該網絡接收Meta-GAT的輸出，用于建模多樣的時間關聯性。我們從每個節點地理信息的元知識中學習RNN的參數，來對多樣的時間相關性建模(圖2.3(d))。

?

?

▲圖2.3

實驗結果

最后，我們使用出租車流量預測和道路車輛速度預測這兩個真實的任務來驗證模型的性能。如表2.4所示，從MAE和RMSE這兩個指標上看，我們的模型在使用更少參數的情況下，都要優于之前最好的結果。

?

?

▲表2.4

同時我們測試了各個模塊的提升效果。如圖2.5所示，在基準模型基礎上，每加上一個模塊，模型都能取得更好的結果。應用上所有模塊后，模型的預測準確率最高。

?

?

▲圖2.5

為了進一步說明深度元學習的有效性，我們對模型所學習到的點元知識進行評估。對于每個節點，其元知識是表征該節點特性的嵌入向量。一組好的嵌入向量需要能表征節點之間的相似度。

為此，我們在節點的嵌入空間下(Embedding space)，找到每個節點的k鄰近節點。然后，用交通數據的測試集計算每個節點和其k臨近節點的平均相似度。這里我們選用兩種序列相似度指標：Pearson相關性(CORR)和一階時間相關性(CORT)，這兩個值越大，表示相似度越高。如圖2.6所示，用元學習方法學到的嵌入空間，每個節點與其周圍節點的相似度明顯高于在非元學習方法的嵌入空間下節點與其鄰近節點的相似度。

?

▲圖2.6

最后，我們用一個實例來展現元學習的優勢。在出租車流量預測任務中，我們選取3個典型的區域：永泰園、中關村和三元橋，分別對應于住宅區、辦公區和交通樞紐。然后，我們在嵌入空間下，分別找到它們最近的節點，并且將所有節點所對應的交通流量畫在圖上。圖2.7(a)展現的是非元學習下，每個區域和它在嵌入空間下相鄰區域的流量比較。可以發現，在該嵌入空間下，節點和其相鄰點并不相似。而圖2.7(b)展現的是元學習下的結果，對于每個區域，其嵌入空間下相鄰的區域都跟它有非常相似的流量趨勢，進而說明了元學習方法的有效性。

?

?

▲圖2.7

論文原文鏈接：http://urban-computing.com/pdf/kdd_2019_camera_ready_ST_MetaNet.pdf

4、題目：TrajGuard: A Comprehensive Trajectory Copyright Protection Scheme

作者：Zheyi Pan, Jie Bao, Weinan Zhang, Yong Yu, Yu Zheng

軌跡數據記錄了人們活動的大量信息，在城市各個場景中被廣泛使用，如交通預測，興趣點推薦等等，因此很多公司或科研機構向他人公開或售賣數據。但由于軌跡中包含非常多敏感而有價值的信息，所以有必要構建一種機制來有效監管軌跡信息的共享和傳播，來識別其他惡意用戶的二次售賣行為，阻止他們非法獲利。

然而，由于惡意用戶可以修改軌跡數據后發布或售賣，如何在數據被篡改后依然識別數據的版權方，是一個很大的挑戰。

?

?

▲圖3.1 軌跡數據的版權保護

另外，由于軌跡數據敏感，沒有公認的第三方機構能夠存儲所有軌跡數據來監管數據的版權信息，導致版權信息的真實性難以驗證。

解決方案

為了解決以上問題，我們提出了一個去中心化的軌跡版權保護方案。該方案將版權信息嵌入到軌跡數據中，使之能夠有效抵御惡意用戶的攻擊(即在被惡意用戶篡改軌跡數據的情況下，依然能識別出軌跡數據所包含的版權信息)。

同時，該方案能夠追蹤所有的交易記錄和版權信息，使任何一筆軌跡交易記錄和已嵌入的版權信息能夠被驗證。

該版權保護方案主要包含三個部分：1)將原始軌跡在時空網格上切分成若干段子軌跡，并將用戶的版權信息嵌入到每條子軌跡中;2)對于每一條子軌跡，我們通過調節該軌跡的重心距來嵌入版權信息;3)用一個區塊鏈去中心化地維護所有軌跡數據交易的版權信息，使得在沒有將數據交給第三方機構的前提下，方案能夠驗證交易記錄和版權信息的真實性。

?

?

▲圖3.2. TrajGuard系統框架

我們在兩個真實的軌跡數據上測試了我們的方案，實驗結果能夠充分驗證該方案的有效性。

論文原文鏈接：

http://urban-computing.com/pdf/kdd_2019_camera_ready_TrajGuard.pdf

5、題目：Unifying Inter-region Autocorrelation and Intra-region Structures for Spatial Embedding via Collective Adversarial

作者：Yunchao Zhang, Yanjie Fu, Pengyang Wang, Xianli Li,Yu Zheng

無監督地理表征學習主要借助地塊內部一些有效的地理特征以及一些結構化的數據來進行地塊的辨別。

已有的一些工作主要借助圖表征學習將每個地塊看作一個圖節點或者一張圖來進行學習;這樣的方法很難同時周全地考慮到區域內部的一些結構特征和區域間的空間相關性。

于是，京東城市聯合密蘇里科技大學和南京大學提出了一種基于無監督協同對抗學習的模型CGAL(Collective Graph-regularized dual-adversarial Learning)來同時建模區域內的結構特征和區域間的自相關性進行地理區域的表征學習。

背景介紹

城市的地塊表征學習主要為了融合學習城市內的多源異構的特征數據來進行地塊的辨別，這些表征同時也可以幫助更好的理解城市的結構和動態變化過程，幫助區域規劃，提高城市的管理效率。

但同時，城市中的很多數據都是沒有標簽的，這對很多真實的應用場景帶來很大的挑戰。為此，本文采用深度無監督學習模型來探索地理表征的學習。同時為了保存學習時地塊內部和地塊之間的一些特征和相關性，模型構建了多種結構化的特征，采用基于自動編碼器的監督協同學習對抗網絡進行表征的學習。

問題描述

本文首先將城市劃分成很對個地塊區域，每個地塊內部有很多建筑，POIs分布，路網，打卡文本信息，人口流量信息等。對于每個區域，可以將內部的每一個類別的POI當做一個節點來構造多個圖結構特征;同時區域之間可以根據：1)文本描述信息;2)人口流量;3)區域功能三個方面的特征計算他們之間的自相關性矩陣S。

?

我們的目標是利用每個區域構建的一些圖結構特征和區域之間計算的相關性，來學習一個映射函數，該函數能將每個區域的原始高維特征映射學習得到一個低維空間的表征向量，該向量能同時保存有區域內部的結構特征和區域之間的相關性。

解決方案

模型的整體框架如下所示：

?

?

▲圖4.1：CGAL整體模型框架

整個模型框架主要包含三個部分：(1)對每個區域構建多視角圖特征;(2)利用無監督協同圖正則對抗編碼-解碼網絡進行地塊區域的表征學習;(3)學習得到的區域表征在人口流量預測任務上的應用。

首先，在每個地塊區域內部構造多視角圖結構特征，比如，每一類POI當做一個節點，可以計算每一類POI之間的平均距離，得到一張圖，同時每一類POI之間轉移的人口流量可以用來構建另一張圖。

?

?

▲多視角特征圖構建

然后，我們提出協同圖正則對抗自編碼網絡來聯合學習區域內的特征和區域間的關系特征，具體地，對于每個區域，輸入為內部構建的多個圖結構特征(地理距離圖、人口流量圖)，一種集成編碼方法將多視角特征聚集學習得到一個隱含的表征向量，然后分解拆開映射得到原始的多視角輸入。

與此同時，在中間的隱含表征層，模型提出了利用對偶對抗學習的方法進行隱含表征向量的正則化，該部分包含兩部分對抗網絡：

(1)利用KL divergence最小化學習得到的后驗分布(隱含向量的分布)與先驗概率的分布距離，得到基本的生成對抗網絡(GAN)的目標函數表達式，不同于傳統的GAN，這里是讓隱含特征分布逼近設置的一個先驗概率分布。

?

?

(2)利用另外一個生成對抗網絡進行隱含向量自相關性的約束正則，任意兩個區域學習得到的隱含向量可以計算得到一個cosine相似度，將這個相似度矩陣和利用已有數據特征計算得到的相似度矩陣進行逼近。

?

?

最后正則化部分的目標函數如下，編碼器作為公用的一個Generator，加上兩個不同的Discriminator，再加上Decoder的還原輸入部分的loss 進行參數的交替迭代優化學習：

?

?

最后，每個區域都能學習得到一個保存了區域內部特征屬性和區域間相關性的隱含表征，利用該表征對區域的人口流入數量進行預測。

實驗結果

文章利用學習得到的每個地塊表征，建立一個簡單的線性回歸模型來進行地塊的流行度預測，地塊流行度根據地塊流入人口量計算得到，流量越大，流行度越高。

通過在真實的數據集上進行實驗比較，文章提出的CGAL模型比幾個流行的模型效果都有更好的提升。

?

?

▲圖4.3：CGAL模型與其他模型的實驗性能比較

同時，通過對輸入的圖特征數量的改變，發現多視角的圖特征作為輸入相較于單視角的圖特征能有更好的模型效果，這也驗證了構造更多有效的特征信息能夠為地塊的表征學習帶來更多有用的幫助。

?

?

▲圖4.4：多視角特征與單視角特征的實驗效果比較

在隱含表征層，當使用人口流動計算得到的相似度進行約束正則時，模型性能效果比使用文本數據和POI數據計算得到的相似度要更好，表明實際的人口流量預測任務與已有的人口流動數據更加相關。

與此同時，利用對偶對抗網絡進行隱含表征層的共同約束正則相比于使用單個對抗網絡有著更好的實驗性能，這也驗證了模型提出的在學習地塊區域表征時應該同時考慮區域內部的特征和區域之間的相關性這一想法的合理性。

?

?

▲圖4.5：使用不同相似指標和不同數量對抗網絡的實驗效果比較

參考資料

[1] Unifying Inter-region Autocorrelation and Intra-region Structures for Spatial Embedding via Collective Adversarial Learning

[2] Ensemble-Spotting: Ranking Urban Vibrancy via POI Embedding with Multi-view Spatial Graphs

論文原文鏈接：http://urban-computing.com/pdf/yunchao.pdf

6、題目：Deep Uncertainty Quantification: A Machine Learning Approach for Weather Forecasting

作者：Bin Wang, Jie Lu, Zheng Yan, Huaishao Luo, Tianrui Li, Yu Zheng, Guangquan Zhang

天氣預報無時無刻不在影響著我們真實世界中的生活和感受。精準的天氣預報可為居民出行、糧食儲藏、能源預測、產能優化、交通導流、航空航海等諸軍民需求提供更精準的天氣預報以供于決策支持。

傳統的數值天氣預報NWP方法受初始化隨機性的影響，預報往往存在較大偏差;而完全基于歷史數據驅動的機器學習方法則易受數據噪聲的干擾。如何針對氣象要素復雜性、不確定性進行有效建模和準確預報，成為一個極具挑戰性的問題。

解決方案

本文基于序列到序列的深度學習模型，設計了融合多源信息的神經網絡模型DUQ，有效融合了NWP、歷史觀測、氣象站和時刻信息;針對氣象要素的高度不確定性，設計了具備不確定性量化功能的似然損失函數NLE，用于訓練深度學習模型。

?

?

▲圖5. DUQ模型框架

所設計的深度學習方法不僅能夠更準確地進行氣象要素單值預報，也可以對氣象變化范圍進行區間預報。連續9天的天氣預報實驗結果如下表所示，與傳統的數值天氣預報方法相比，該方法能夠降低51.28%的預報誤差。

?

?

同時，本研究首次匯報了一個重要實驗觀測：采用所設計的NLE似然損失可以獲得比MAE、MSE結合Dropout、L1和L2正則方法更高的泛化精度。該現象在以往研究中從未被提及，值得進一步深入分析和研究。

論文原文鏈接：http://urban-computing.com/pdf/kdd19-BinWang.pdf