第 17 章:风险评分模型设计

“给我一个数字,我就能撬动地球。—— 前提是这个数字已经归一化了。” 在前面的章节中,我们学习了各式各样的异常检测算法,它们会吐出各种数字: * K-Means:离群距离 (Distance)。单位可能是米、元、或者抽象的欧氏距离。 * LOF:局部离群因子 (Factor)。通常大于 1,没有上限。 * Isolation Forest:异常概率/分数 (Score)。通常在 0 到 1 之间。 但老板和业务方不想看这些天书。他们只想知道: “这个用户的风险是 85 分(高危),还是 20 分(安全)?” 这就需要我们构建一个 风险评分模型 (Risk Scoring Mode

第 16 章:模型驱动异常检测

“如果你想把一个苹果从一堆西瓜里分出来,你不需要描述苹果长什么样,你只需要切几刀。” 前两章我们讨论了基于统计(Z-Score)和距离(KNN, LOF)的异常检测。 但在大数据时代,它们都有一个致命伤:慢。 计算距离矩阵是 $O(N^2)$ 的复杂度。如果你有 100 万条数据,计算量就是 $10^{12}$ 次。即使是现在的超算也得跑很久。 本章我们将介绍基于模型的方法,特别是工业界的神器——隔离森林 (Isolation Forest)。它不计算距离,而是通过“随机切割”来快速锁定异常。它的复杂度是 $O(N)$,线性的! (图注:左图:正常点深埋在中心,需要切很多刀才能分离。右

第 15 章:基于距离与密度的异常检测

“离群并不意味着你是错的,只意味着你是孤独的。” 上一章的统计方法(Z-Score)假设数据服从某种分布(如正态分布)。但在现实世界中,数据的形状可能千奇百怪(如双螺旋、甜甜圈、不规则的多簇)。 这时候,任何假设分布的模型都会失效。我们需要回归几何直觉: 异常点就是那些离大家都远的点。 本章将介绍两类不依赖分布假设的算法:KNN(看距离)和 LOF(看密度)。 1. KNN 异常检测:简单的力量 KNN (K-Nearest Neighbors) 不仅可以做分类,也可以做异常检测。 它的逻辑非常朴素:如果你的 K 个最近邻居都离你很远,那你就是异常点。 (图注:正常点 A 的邻

第 14 章:统计异常检测

“虽然每片雪花都是独一无二的,但有些雪花实在是太独特了。” 在文本分析项目中,我们的目标不仅是聚类(发现常态),更是风险挖掘。 什么是风险?风险通常意味着“异常”。 * 大部分工单都在说“快递慢”(常态)。 * 突然有一条工单说“快递员在门口放火”(异常)。 如何用数学定义“异常”?最古老也最经久不衰的方法是统计学。 统计学告诉我们:“正常”就是大多数,“异常”就是极少数。 (图注:在正态分布中,落在 3σ 之外的区域就是异常区。) 1. 核心概念:你离平均值有多远? 1.1 正态分布假设 (The Normal Assumption) 统计方法的核心假设是:正常数据服从

第 13 章:UMAP原理与实践

“数学家在咖啡杯和甜甜圈之间看到了同伦,UMAP 在高维数据和二维流形之间看到了同构。” t-SNE 统治了数据可视化界很多年,直到 2018 年 McInnes 等人提出了 UMAP。 UMAP (Uniform Manifold Approximation and Projection) 建立在深奥的代数拓扑和黎曼几何理论之上,但它的效果却是立竿见影的: 它比 t-SNE 快得多,且保留了更多的全局结构。 在实际的文本分析项目中(如 BERT/OpenAI Embedding),UMAP 已经逐渐成为首选的降维引擎,正是看中了它在速度和结构保持上的平衡能力。 (图注:UMAP 像搭
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×