PODCAST · technology
TigerGraph 随身听:带你走进图分析
by TigerGraph
你可能不知道,我们每天都在使用图:每次访问LinkedIn时,看到1度、2度或3度联系人,我们都从该社交网站基于图数据库构建的专业网络图中获得结果。 Facebook、Instagram和Twitter都使用图数据库和图分析来了解用户之间的相互关系,并将他们与正确的内容联系起来。 每次执行搜索时,我们都在点击搜索引擎的知识图。 亚马逊上的那些产品推荐——“购买此商品的人也购买了……”或“这些商品经常一起购买”? 这也来自图分析查询。 TigerGraph的分析速度比关系型数据库快1000倍:关系数据库将数据存储在单独的表中,需要耗时的表联接来分析关系。图数据库将数据存储为预连接的实体,因此无需进行表联接——只需遍历图或连接的数据即可查看和分析关系。TigerGraph的核心是设计有高性能存储和计算功能的分布式图数据库。 每个实体和连接实体的每个边都是计算单元,可提供最佳性能。您的数据会自动划分为多个节点,您无需记住哪个节点包含特定数据,TigerGraph会为您跟踪。TigerGraph比其它图数据库快40到300倍:第一代图数据库是使用本机图存储构建的,但不能处理大数据或查询量,也不能在图内部执行超过三个级别或连接的操作(称为跃点)。 随着图中的每一跳,搜索范围都会大大扩展,并且收集到的见解会更深入。第二代图数据库建立在NoSQL存储的基础上,从而允许它们加载大量数据。 但是,它们仍然无法扩展涉及三跳或更多跳的查询。 较旧的图数据库通常也不支持“数据库分片”,即在多个服务器上对数据进行分区以提高可伸缩性,这意味着无法分发具有TB级数据的大型图。 这些遗留图数据库的设备不足,无法满足当今的实际需求,因此需要一种能够高效并并行执行许多跃点以对大数据提供亚秒级查询性能的系统。TigerGraph具备企业级平台功能及稳定性,拥有最低的拥有成本和从千兆字节到TB的无摩擦扩展,并已准备好进行PB规模的部署。TigerGraph正在与其他行业领导者合作,以最终确定图查询语言GQL的ISO标准。 TigerGraph支持GSQL,这是一种高级的图灵完备的查询语言,使用户能够在几天之内开发复杂的AI和机器学习应用程序。TigerGraph能帮助你解决哪些问题?TigerGraph是唯一的企业级可扩展图数据库,基于互联数据进行高级分析和机器学习。TigerGraph
-
41
第40期:对话LDBC董事会成员乌博士,企业如何正确合规使用LDBC基准测试
近期LDBC宣布TigerGraph成为第一个成功通过1TB LDBC SNB 商业智能工作负载测试的企业。但国内LDBC被滥用严重,很多国内厂商不顾LDBC的要求,在市场上宣传了很多不实信息,误导国内受众。本期播客通过和专家对话详细解读 LDBC 基准测试。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-40/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
40
第39期: GNN课程详解——图数据切分与模型数据载入
上期我们介绍了基于图神经网络的图异常值检测,今天我们就来了解一下图数据切分与模型数据载入的问题,本期内容节选自TigerGraph图课堂的内容,由TigerGraph高级客户成功顾问叶力豪为大家详细讲解。如果想看完整版内容,可以登陆TigerGraph官网观看。另外,也跟大家预告一下我们明天的图课堂直播课程,本期内容将分享TigerGraph的全新方案:在图数据库中使用GNN对十亿级数据进行全量推理。关注TigerGraph微信公众号,点击菜单栏中的“直播报名”就可以报名啦。下面就开始今天的内容吧。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-39/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
39
第38期: 基于图神经网络GNN的图异常值检测
今天我们要介绍的是由伊利诺伊大学芝加哥分校正在攻读博士学位的博士生窦英通撰写的基于图神经网络的图异常值检测文章,作者致力于图数据挖掘、欺诈检测和安全机器学习。文章的内容基于他最近的论文和 在KDD 2022 机器学习在金融领域workshop的分享。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-38/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
38
第37期:使用 TigerGraph图技术增强机器学习,选自O’Reilly 电子书
大家好,欢迎收听本期的TigerGraph 随身听,不知道大家对于图技术增强高级分析和机器学习了解多少?今天我们来为大家介绍一本最新的专门介绍这方面的书——由O‘Reilly出版的《使用 TigerGraph图技术增强高级分析和机器学习》。很多小伙伴可能已经下载了这本书的早期版本,自去年4月12日首次发布以来,到今年9月份,历经六次重要更新,目前该书的最新版本已增加到223 页,内容包含:图基础、图机器学习、统一ID(实体解析)、客户360和客户旅程分析、初创公司投资分析、欺诈检测和反洗钱、个性化推荐等章节。还没有下载最新版的小伙伴,可以点击文中或者文末的下载链接,即可免费下载最新的电子书。你就是“尊贵的”首批读者啦。首先跟大家介绍一下主导本书编写的作者:TigerGraph的机器学习和人工智能副总裁Victor Lee博士。Victor 博士一直致力于研究图数据挖掘,他在加州大学伯克利分校获得了电子工程和计算机科学专业本科学士学位,在斯坦福大学获得了电子工程专业硕士学位,在肯特州立大学获得了计算机科学博士学位。在加入TigerGraph之前,他曾担任约翰.卡罗尔大学的客座教授。Victor 博士有着极强的学术背景、数十年的行业经验、以及对产品质量与服务的管理经验。了解完作者,我们就开始今天的内容吧。期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-37/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
37
第36期:TigerGraph Cloud 3.8 产品更新亮点全解析
TigerGraph 以构建用户友好的图数据库即服务为使命,为所有人开启更智能的洞察,我们的产品和研发团队一直在努力将TigerGraph Cloud提升到易用和企业级的下一个阶段。11月TigerGraph Cloud发布了最新版本3.8,相信大家已经通过上周的消息有所了解。不知道大家是否已经试用了最新版本?如果还没有,今天的随身听我们将为大家更全面地介绍TigerGraph Cloud最新版本中的一些全新工具和改进,帮助大家了解产品最新情况。如果你已经体验过最新版本,也欢迎评论区给我们留言告诉我们你的使用体验,帮助我们进一步优化产品,带给大家更好的使用体验。这里主要给大家介绍的是全新上线的图可视化和分析工具TigerGraph Insights、TigerGraph ML Workbench( 机器学习工作台)、TigerGraph GraphStudio最新版、Admin Portal等。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-36/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
36
第35期:图技术如何赋能保险业务的探索
数字化是保险业竞争的“下半场”,各大险企已经逐年加大对数字科技的投入。在保险公司通过数据扩张市场、发展企业的过程中,图技术先天的对大量数据和复杂维度的处理能力,能够很好地解决保险公司在数据分析时的难点。如今,图技术已经成为保险业数字化的必需。今天,我们就保险行业的两个典型场景来聊聊图技术如何赋能保险业务的探索。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-35/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
35
第34期:双十一背后的图技术应用
过去数年间,线上购物转变了我们的购买方式, 带来了新的“消费者时代”。相应地,电子商务也在拥抱人工智能、推荐引擎,甚至自动化平台,来帮助消费者考虑应该购买什么。人工智能平台生成的洞察可以提供巨大的价值,还可能为公司带来进一步的收益,以及为消费者提供更好、更个性化的客户体验。说了这么多那跟图技术有什么关系呢?今天我们就来聊聊图技术在电子商务上的应用和价值。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-34/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
34
第33期:图和机器学习,为电话欺诈打造更好的“磁石”,选自《原生并行图》
如今,越来越多的企业正利用图分析来增强机器学习,今天的随身听我们就一起来聊聊图和机器学习。如果您正从事机器学习相关的工作,但对图分析却不太了解,那么您可以点击文末的“下载按钮”,下载完整的《原生并行图》白皮书,来增强您对图的了解,从而更好地利用图来增强机器学习。下面就一起来收听今天的TigerGraph 随身听吧。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-33/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
33
第32期:你知道TigerGraph 认证、培训、社区、Meetup吗?
TigerGraph一直致力于推动图技术在各行各业的发展,也鼓励越来越多的开发人员学习和应用图技术。为了帮助更多人学图、懂图、更会用图,TigerGraph提供非常多样化的学习内容和形式,助力每一位认真学习的用户。如果你刚刚知道图技术,想简单了解;或者,你已经开始尝试利用图技术解决问题;当然,你或许已经是图技术的深度用户,利用图技术在进行创新开发。无论是哪种情况,你都可以在TigerGraph找到感兴趣的内容,或者来TigerGraph社区和世界各地的朋友沟通探讨图技术更多新的可能。本期随身听我们就一起来了解一下TigerGraph为大家提供什么样的内容和平台,在哪里能找到这些内容,如何与更多专家交流互动。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-32/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
32
第31期:利用高级图分析优化复杂制造业(1)—— 物料清单BOM查询
今天我们来聊聊高级图分析在复杂制造业的应用。这里我们主要围绕离散制造业展开讨论。现在来看,智能制造已经成为制造企业实现智慧转型的关键词。那么复杂制造业,如何借助高级图分析,更好地实现智能制造,从而逆势增长呢?本期随身听,我们主要来看下物料清单BOM查询的应用案例。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-31/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
31
第30期:什么是图?我们为什么要用图?
刚结束愉快的假期,本期随身听我们聊点轻松入门的内容,让更多小伙伴了解图技术。欢迎分享给身边需要科普的朋友一起收听。下面就开始我们今天的内容。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-30/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
30
第29期:大型动力制造企业配件保障系统优化:图计算在复杂制造业的应用案例(下)
上一期随身听来自点春科技的CTO及副总裁王福强老师介绍了图数据库及其在制造业的一些应用。今天王老师将针对具体的项目进行分享,该案例以建国初期就成立的老牌大型动力制造企业为例,下面我们就一起来了解该企业如何利用图技术提升售后服务的效率和客户体验吧。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-29/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
29
第28期:图计算在制造业的应用案例 (上)
本期随身听我们为大家邀请到了点春科技CTO及副总裁王福强老师,王老师专注于数据治理,主数据,制造业数字化转型等相关解决方案的建设与实施,拥有20年制造业及软件解决方案的咨询服务经验。今天将为大家分享图计算在制造业的相关应用。下面我们就一起来收听本期的TigerGraph随身听吧。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-28/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
28
第27期:全球消费品巨头,优化供应链管理,降低原材料采购的风险和成本
前面我们分享过了零售业中的人工智能+图分析,主要说的是图技术在家居和商超连锁企业的应用。今天将分享一个在消费品企业中的图应用案例,该公司是世界上四大消费品企业之一。下面就跟我们一起来了解一下世界领先企业的图应用成果吧。https://www.tigergraph.com.cn/walkman/episode-18/一、方案背景该案例主要围绕冰淇淋业务展开研究,单冰淇淋这个品类就能为公司带来80亿美元的销售额。然而,面对突如其来的疫情打击,渠道的关闭和旅游业的下降导致了销售额的下降和供应链反应不及时所带来的成本压力。因此,在该项目中,企业希望使用TigerGraph来管理其冰淇淋生产中香草香精的成本。香草是世界上第二昂贵的香料,价格超过600美元/公斤。其中75%来自马达加斯加,其余的来自巴布亚新几内亚、印度和乌干达。该公司从许多国家的众多供应商那里为其世界各地的工厂采购香草,在一年的不同时期,有时通过中间商购买,有时直接购买。价格和质量差别很大,而这些都会影响所需的数量。除了香草原料本身,还有包装和运输也会影响其采购。问题所在由此可以看出,该公司的数据集是多层次的、复杂的。在客户看来相同的产品,实际上可能是使用各种配方和公式制作的,这取决于当地的口味和供应情况。此外,虽然该公司的所有数据都存储在其微软Azure数据湖上,但每个国家和业务职能部门都有自己的数据集和模式。该公司无法轻松地将数据连接在一起,以进行跨地区和跨职能的比较。在应用TigerGraph之前,该公司的数据工程师必须得从不同的数据记录系统中收集数据摘要,然后使用非常复杂、不灵活且容易出错的Spark脚本将它们合并到一个大表中。由此产生的表格是巨大的,难以使用,也难以向终端用户解释。这样也很大程度限制了企业的发挥,导致以下类似的问题都没办法提出:. 是否有更便宜但特性相似的香草替代来源?. 如何混合不同来源的香草以获得一致的成分?. 是否在不同地区被同一供应商收取不同的价格?. 哪些产品和客户会因单一供应商的失败而面临风险?. 如果一个供应商无法供货,销售会受到什么影响?. 该来源是否符合公司的采购政策?解决方案为了解决上面提到的问题,该公司和TigerGraph组建了一个12人的项目小组来实施PoV。目标被明确列出,包括一些确定的PoV查询,比如:. BOM展开是如何与材料相一致的?. 为供应商提供多层次的材料自我参考. 最终有多少材料会使用给定的原料/包材?. 不同地域的A级供应商所影响的吨位数?. 是否有类似技术参数的低成本材料可供选择?基于相似的配方或成分,给定成品和类似产品的配方细节如何?由TigerGraph 的合作伙伴协同建立的PoV的规格包括广泛的可视化要求。而且,PoV建立在TigerGraph Cloud实例上,支持多个并发用户。那么最终效果如何呢?实现成效我们都知道,如果没有能力查看其在所有地区的香草采购情况,该公司与供应商相比就会处于不利地位,最终将支付过高的价格。 比如为某个品牌的冰激凌购买香草的成本节约1%,就相当于节约了数百万甚至数千万美元。这只是该公司在全球范围内生产和采购的数千种产品中的一种,因此如果能从图分析中受益,将会很好地提高采购效率。通过在TigerGraph上建立了一个图数据库,其中的数据是以自然的物理表现形式进行建模的,一些标准的信息需求通过一个交互式仪表盘提供给终端用户,然后由GSQL分析师团队建立定制的查询,从而逐步的使业务用户能够从中央图数据库中自助提取数据。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-27/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
27
第26期:【国家电网】电网一张图、电力设备管理知识图谱、电力现货市场模拟仿真系统
上周我们分享了国家电网如何利用图技术来打造电力图计算平台,并实现了秒级EMS实时网络状态分析,受到了不小的关注。而今天的随身听将进一步分享 “电网一张图“时空数据管理系统、电力设备管理知识图谱、电力现货市场模拟仿真系统,里面涉及的内容绝不仅仅只是针对电力行业,企业信息管理是各个企业都面临的问题,那国家电网是如何利用图技术进行优化,又取得了怎样的成果?那就跟我们今天的随身听一起来学习一下吧。一、“电网一张图“时空数据管理系统首先,能源互联网为什么需要“电网一张图”?能源互联网已经发展成为多元化能源生产、传输、消费的枢纽,交流与直流、大电网与分布式微网并存,电从远方来与电从身边来并存。跨层级、跨区域的协同配合和信息互动明显增强,各电压等级能源流相互影响越来越大。为此,构建融合发、输、供、用为一体的“电网一张图”,强化电力系统在线计算和一键查询到底的全局分析控制能力迫在眉睫。电网信息管理系统的现状与问题电力系统发、输、供、用具有即发即用实时平衡的特点,受传统观念影响和信息技术水平限制,国际国内普遍按照电源侧、电网侧、用户侧各自构建各自的能源流图,并按照不同电压等级和业务部门人为将一个大电网分散到多个信息系统分别进行测量、控制和分析。这种割裂电能生产、传输、消费的电网信息系统建设模式,忽视了电能即发即用和电网各侧物理联结的网络拓扑关系,非常不利于电网全局协同控制和优化,急需改变。企业信息系统发展趋势而这种企业信息系统的问题不仅仅只是发生在电力行业,各行各业都有这样的趋势。为什么会这样呢?因为长期以来,以应用为中心的方式建设信息系统,这种建设方式把应用与数据模型紧密捆绑,而且一个数据模型仅为单一应用服务,难以提供全局化服务,因而一定会导致数据孤岛和代码混乱。如何改变?国家电网在能源互联网过程中提出了“数据一个源,电网一张图,业务一条线”的数据融合与共享理念。” 为了更好地落实该理念,国家电网将“电网天然一张图”转化为“信息关联一张图”,构建与互联网搜索引擎类似的、可提供快速便捷数据查询访问服务的高效数据关联索引图,为内外部应用提供数据共享服务,实现数据“即时获取”,解决专业壁垒凸显、跨专业流程不贯通、数据共享实时性不强、数据价值未充分挖掘等数据共享共用问题。“电网一张图”数据集成的技术方案为了实现“电网一张图”,从原来的以应用为核心逐渐转变成以数据为中心,这样的特点是数据应用分离、功能扩充容易、数据结构多样、集成成本合理,然后把数据中台和“电网一张图”的数据引擎融合在一起,这样就具有了以下几个特点:首先是数据生成层、管理层、应用层相互分离。在这样的一个模式下就可以支持数据层扩充、管理层扩展、应用层不断扩大,而且,实现数据和知识的统一表达,支撑低成本定制化应用和开放性应用的开发。这也就意味着引入了互联网技术的精髓–“关联索引图”来构建电力企业“互联网搜索”型数字引擎,从而提升数据使用价值,提升全网分析控制能力。“电网一张图”的机制实现了多维关联:. 拓扑链接关系关联:让全电压等级电网上下贯通;. 时间演化属性关联:使电网运行状态被连续监控分析;. 空间地理环境关联:利用外部的气象和地理运行环境关联关系分析。综合以上几个维度,这样就可以实现对电网的运行状态进行全面而系统的分析。“电网一张图”的价值与意义利用“电网一张图”拓扑服务,打破了电力生产、传输、消费数据壁垒,提升电网全局能源流感知分析能力。“电网一张图”能够实现发、输、供、用各端能源数据流的精确、快速、实时数据管理与分析,从而为快速调整优化资源,高效精准的满足客户电力服务提供了技术手段。“电网一张图”对电力市场的所有参与者统一建模,能更好地满足电力交易市场数据准确、实时响应的需求,使各方市场主体可以更公平、更透明的参与市场交易,优化营商环境。分布式电源的快速发展及储能和控制装置大规模接入使得电网结构日趋复杂,主配网交织影响日益显现,利用“电网一张图”在线计算大电网运行关键指标,实时评估电网安全风险,能够有效的支撑大电网安全可靠运行。在电网一张图上已经实现了很多应用,这里为大家列举3个应用实例。“电网一张图”应用实例:营配调基础数据治理利用“电网一张图”图计算技术开展全电压等级电厂/配电变压器供电路径搜索、配网大馈线手拉手核对、主/配网孤岛设备整治、异常环路整治等工作,破解营配调数据质量治理问题,促进基础数据融合贯通。“电网一张图”应用实例:精准发布停电信息利用“电网一张图”的拓扑特点,实现了考虑备自投策略的主、配网故障停电范围分析和考虑负荷转供方案的主、配网检修计划停电范围分析。该功能将优化分析出的配变停电信息推送至供电服务指挥系统,由供电服务指挥系统将停电信息精准发布至电力客户手机上。可以有效减少大量的客户投诉。“电网一张图”应用实例:变电站负荷画像和在线计算可开放容量利用“电网一张图”图计算功能,获取变电站供电范围内配电变压器信息,根据配电变压器所供负荷数据和用户行业分类,绘制变电站分类负荷画像,支撑区域电网规划和精细化母线负荷预测。二、电力设备管理知识图谱电力领域知识图谱的特点与四层架构电力领域的知识图谱有什么特点呢?与传统的通用知识图谱相比又有哪些区别呢?我们发现,领域知识图谱在知识来源、知识表示、知识获取和知识应用四个方面都与通用知识图谱有区别。而且电力领域知识图谱是以结构化数据为主、非结构化数据和半结构化数据为辅,而且要求数据和知识相互融合。因此我们提出了这样的一个知识图谱的技术架构,由数据源层、物理本体(也叫主设备本体层)、语义知识图谱层(也就是关系本体层)和应用本体层这四层构成。电力领域知识图谱的构建原则与流程我们提出了电力领域知识图谱的构建原则,包括这五项原则——清晰性、一致性、灵活性、可扩展性和自动化。我们也总结了两种方法,一种方法是“自上而下”为主,这种主要适用于结构化数据的分析;另一种方法是“自下而上”为辅,这种适用于非结构化数据的管理。所以在这里我们就根据电力系统的结构化数据与非结构化数据共存、以结构化数据为主这样的特点,并根据本体构建、数据抽取、知识融合、知识存储的步骤,提出了电力领域知识图谱的构建原则与流程。双轮驱动的数据知识融合技术架构电力系统的一个特点就是数据和知识相互融合,基于这个特点,我们又提出了双轮驱动的数据知识融合技术架构。数据包括结构化数据和非结构化数据。其中,结构化数据包括台帐数据、运行数据、调控云数据,非结构化数据包括各种的文本、图像等数据。运行知识包括标准、规程、规定,关联关系包括拓扑连接关系、从属关系、过程关系和层级关系。因此,从数据融合角度,包括这五个部分,分别是:本体构建、实体辨识、冲突解决、数据溯源和数据融合。在知识融合角度,也包括五个部分,分别是知识抽象建模、关系推演、深度知识发现、通用模式生成和知识融合。并且,在本体构建和知识建模、实体辨识和关系推演方面,数据和知识之间需要相互融合。这就是双轮驱动的数据知识融合集成的策略。电力设备管理知识图谱的应用价值电力设备知识图谱构建完成以后,实际上最主要的功能就是,我们可以从更多的维度实现对于设备质量事件的分析,比如我们可以从厂商维度、电网运行维度、运行环境维度等进行综合分析。这样就可以实现设备质量分析从过去的“单一设备维度”向“多维关联分析”维度的转变。电力一次设备质量事件标签自动生成接下来我们看看如何利用电力设备质量的标准专用词典,进行建模,从这些词典中,我们进行中文分词,形成缺陷/故障分析的描述词矩阵,对描述进行特征词提取,最后我们对电力设备的质量问题进行事件分类,这样我们就可以对新出现的质量事件,进行标签的自动生成。我们利用缺陷/故障的历史数据,已经实现了对标签的自动生成。电力设备管理知识图谱的智能搜索技术这样,我们就融合自然语言处理、词性标注、自定义字典、句法分析、语义解析、TigerGraph的无编程查询生成器,研发了智能搜索引擎,提升了用户搜索体验。并且,在智能搜索挖掘技术中,我们融合了问句深度解析、知识推理等技术,研发了电力设备管理知识图谱的智能搜索技术,可以灵活布置在任何界面上,而且提问方式自然,交互方式友好。电力设备管理知识图谱的典型功能在电力设备质量管理知识图谱中,开发了设备质量概览仪表盘、设备台账管理、故障缺陷查询、时序分析、疑似家族性缺陷分析与供应商质量评价这几个功能。接下来我们再一起聊聊电力现货市场模拟仿真系统的研发。三、电力现货市场模拟仿真系统基于图计算的电力现货市场仿真平台总体架构这里我们主要是充分利用图计算网络分析应用速度快的特点,研发了由电力市场运营模拟控制/电力系统运行监视器、电力市场运营模拟器、电力系统运行模拟器、和电力市场参与者行为模拟器联合构成的电力市场仿真平台框架。基于图计算的电力市场运营模拟基于TigerGraph图数据库,我们建立了包含火电机组、梯级水电站以及抽水蓄能电站的安全约束机组组合的图计算模型,这里包含了:1)系统平衡模型;2)火电机组约束模型;3)梯级水电站约束模型;4)抽水蓄能电站约束模型;5)网络安全约束模型。这些都可以基于TigerGraph图数据库进行建模。电力市场模拟仿真系统主界面我们基于电力市场图数据模型、可视化软件架构,研发了电力市场模拟仿真系统主界面。左侧是基于图数据模型自动生成的电网单线图,右侧描述了我们电力市场模拟系统中计算模型的计算情况。电力市场模拟仿真系统的功能界面在这里,我们设计了电力系统、输电线路、发电机和负荷输入参数,计算结果,发电机投标、结算、以及优化结果等功能界面。总结最后,我们来总结下这两期内容的一些重点:1) 图数据模型和电力系统以及能源互联网的物理结构高度匹配,可以自然高效地对电力系统和能源互联网进行图建模,大幅度提升了数据管理规模和查询速度;2) 将电力系统的节点-开关设备图和母线-支路计算图模型,与图节点/分层并行计算、优化计算、智能计算等函数库,以及生动灵活的人机界面设计有机融合,构建了电力图计算平台,提出基于图数据库查询的电网分析应用实现模式,使得计算性能出现数量级飞跃;3) 利用电力图计算平台,研发了秒级EMS实时网络状态分析软件,首次实现了万级节点系统SCADA采样周期内(5秒)完成状态估计、在线潮流、预想故障分析等实时网络状态分析的目标;4) 利用TigerGraph 图数据库支持大规模建模与高效查询的特点,构建了融合发、输、供、用为一体的“电网一张图”,有效打破了条块层分割的传统数据壁垒以及人为构筑的思维意识墙,为电力企业建设能源互联网探索了有效的技术支撑手段;5) 提出双轮驱动的数据知识融合战略,以电网物理设备为核心构建物理本体,在此基础上,依据所属关系和拓扑结构形成关系本体,建设电力设备质量管理知识图谱,推动设备管理水平的提升;6) 充分利用图计算网络分析应用速度快的特点,研发了由电力市场运营模拟控制、电力市场运营模拟仿真、电力系统运行模拟仿真、电力市场参与者行为模拟仿真的电力市场仿真平台。以上就是我们分析的关于国家电网的图技术应用,欢迎点击下方按钮,查看视频回放。对于本期内容,如果您希望了解更多详细信息,欢迎拨打我们的400电话400-997-9909,即可快速联系到我们的业务同事,您也可以点击下方的”联系我们“,打开TigerGraph 官网,在线提交需求,或者下载免费企业版。国家电网精彩分享视频回放: https://uao.so/wapt20b46522本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-26/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
26
第25期:【国家电网】电力图计算平台 + 秒级EMS实时网络状态分析
近两个月,高温热浪席卷全国,多地气温突破历史极值,而且高温持续时间长。作为水电第一大省的四川,更是遭遇了60年以来的罕见高温。持续高温下,电力的重要性变得前所未有的突出。用电结构上的刚性外送和调节能力欠缺也加剧了省内的供需紧张。如何解决限电问题?简单点讲,就是电越多越好。但实际上,问题并没有那么简单,要考虑“供电侧、电网侧、用户侧”的综合应对。随着未来电力使用场景在电力自动化、数字经济等领域的不断加深扩大,尖峰化的用电负荷将随着我国电气化进程和居民用电比例的提高成为未来的常态。如何在面临尖峰负荷时实现低碳保供,将成为检验新型电力系统的试金石。今天的随身听,我们将根据来自国家电网全球能源互联网美国研究院刘广一老师分享的内容和大家一起探讨下国家电网如何利用图技术来打造电力图计算平台,并实现了秒级EMS实时网络状态分析。一、图数据库与电力图计算平台图数据库 vs 电力系统首先我们来看看图数据库和电力系统之间的关联关系,为了方便大家了解,我们在正文中放了对比图,供大家参考。 如果把电力系统中的母线、变压器、负荷、开关、各种保护设备、杆塔等作为节点,把线路和这些物理设备之间的连接关系作为边,那么电力系统本身就是一张天然的图。基于图数据库查询的计算模式在使用基于关系数据库的传统方式时,电力系统分析应用由三部分构成——数据读入、核心计算、和结果输出。在分析过程中,我们发现,数据读入和结果输出的时间消耗占比非常大。如果我们基于图数据库查询,来建立电力系统的分析应用,这时算法尽可能地贴近数据,基本消除了数据读入与结果输出时间,这就使得电力系统分析应用的计算性能获得大幅度提升。充分利用图节点并行机制节点并行计算是图计算的特点,而且是并行计算的终极形式。但是长期以来,在电力系统中并没有得到有效利用。经过分析发现,利用图节点并行机制,我们可以大幅度提升电力系统网络分析软件的计算性能,计算速度可以提升5倍以上。比如可以在以下这些场景中充分利用图节点并行机制:1)厂站内拓扑分析;2)支路潮流计算;3)母线注入功率计算;4)母线电压幅值、相角修正;5)状态估计增益矩阵生成;6)状态估计右端项计算;7)节点、边中介中心数计算;8)分岛故障辨识;9)等等。充分利用图分层并行计算对于电力系统分析来讲,单单有图节点并行机制,还不够。我们必须要研发能够解决大型线性方程组直接法的LU分解法。在这方面,我们系统总结了图结构分析、图动态变换、图属性计算等三种图计算类型,研究了线性方程组LU法与这三种图计算模型之间的关系,提出了图分层并行计算的实现机制,研发了相应的图分层计算函数,这样就开拓了图计算的应用领域,拓展了图计算在电网分析技术中的应用场景。“电网一张图”血管造影可视化技术我们还将输电网的“主血管”与配用电网的“毛细血管”在一张图上统一展示,直观展示重要用户、分布式电源在电网中的位置,从而形成了“电网一张图”血管造影可视化技术。语音智能调度图技术基于自定义词典、中文分词、语义分析和TigerGraph提供的无编程查询自动生成器,研发了智能式语音调度技术。基于TigerGraph 图数据库,研发了电力图计算平台基于TigerGraph 图数据库,我们研发的电力图计算平台。首先从架构上看,这个电力图计算平台包括三部分,一个是TigerGraph 图数据库,第二个是基于Kafka开源软件的任务调度机制,第三个是基于Angular框架的可视化界面。从功能上讲,这里包括四个部分:第一部分,就是电力系统的图模型,这里包括节点-开关图和母线-支路图;第二部分,就是这里集成了大量的通用的图计算函数;第三,在此基础上,我们开发了一系列的电力专用计算模块,比如雅可比图生成、支路潮流计算、节点注入计算、增益图生成、幅值修正、相角修正等;最后,基于前面这些模块,我们开发了互动可视化的展示模块。这样就构成了一个电力图计算平台。实际上,这个平台是一个通用的图计算平台,不仅仅可以用于电力系统的这些应用,也可以用于其它的能够使用图数据库来描述的分析计算应用,比如天然气网络、通讯网络、交通网络、水网、气网等。二、秒级EMS实时网络状态分析下面我们重点介绍下基于TigerGraph 图数据库研发的秒级EMS实时网络分析系统。首先,我们探讨下为什么要研发秒级EMS实时网络状态分析系统?随着大规模可再生能源以分布式、集中式的发电方式接入电网,我们电网的电源网络负荷结构、形态功能、运行特性都发生了巨大变化,使得电力系统安全运行风险增大、调节能力不足、电力供应保障难、认知控制故障防御难,因此必须重构电网认知、控制与故障防御体系。构建智慧型调度控制技术支撑系统,作为故障防御体系的重要组成部分,实现大电网在线决策与电网紧急闭环控制的联动,对电网故障的实时跟踪分析从分钟级提升为秒级,提高调度风险辨识、控制决策和应急响应水平。那么在秒级EMS系统分析过程中, 对分析计算的功能提出了全、快、准的三个特征。全局性,包括模型全、数据全、功能全,这样就意味着我们的计算规模更大;快速性,体现在这样三个方面:获取快、计算快、响应快,这样的话,就要求我们的计算速度更快;准确性,有三个侧面:信息准、决策准、控制准,这样就对计算精度提出了更高的要求。以上这三个方面,都意味着对计算性能的大幅度提升。电力系统分析的计算量通常以电网节点数的平方成正比,那么现代大电网分析的计算量就将成百上千倍地增长。所以我们必须千方百计地寻找各种方式,来提升电力系统实时网络分析的计算性能。于是我们就提出了秒级EMS实时网络状态分析的目标。什么样的目标呢?就是对于一个万级节点系统,我们要求这三个技术,包括状态估计、基态潮流和100个预想故障分析,能够在5秒内计算完成。这个5秒的含义呢,就是要小于SCADA采样周期的5-10秒。为了实现这样一个目标,我们要求状态估计要在800毫秒内完成,基态潮流要在150毫秒内完成,预想故障分析,要在3秒内完成。到目前为止,我们基于图计算的研究成果已经实现了这些目标。某省级电网8502母线系统,总计算时间小于1.8秒,10790母线系统,总计算时间小于2.8秒,主配网11525母线系统,总计算时间小于3.5秒。利用图计算解决现有系统的计算瓶颈那么这个解决问题的思路是什么呢?首先我们看看,在现在的EMS系统中,计算的瓶颈在哪?经过实际统计分析,我们发现,在状态估计中数据读入和结果输出所占时间高达64.3%,在线潮流数据读入和结果输出所占时间更是高达85.6%。可以看到数据读入和结果输出占用的时间都是非常长的,真正用于核心计算的时间相对就少了。对于核心计算部分,我们还可以继续分解,一部分是与矩阵分解和前推回代有关的部分,另外一部分就是与这些无关的部分。那为了解决这些问题,我们就采用这样三种技术路线:1)利用图数据库与图计算模式,来消除数据读入和结果输出的时间;2)对于与矩阵分解无关的计算,我们使用图节点并行计算的模式;3)对于与矩阵分解有关的部分,我们使用图分层并行计算的模式。借助这几项图技术,就可以使性能大幅度提升。秒级EMS实时网络状态分析的四大创新1)第一个就是利用图数据库取代关系数据库来提高数据管理效率;2)第二个就是利用基于图数据库查询的应用实现方式,对EMS实时网络状态分析软件进行重构,这样就基本消除了数据读入与结果输出的时间;3)第三个就是我们要充分利用图节点并行和图分层并行机制,这样就实现了并行计算性能极大化;4)第四个就是基于时空演化图机制,研发大电网实时运行状态分析软件。秒级EMS实时网络状态分析的计算性能那么利用这样的技术,对某省电网实际数据,我们实现了从500KV到10KV母线(包括T接线)的主配网联合拓扑分析、状态估计、在线潮流计算与预想故障分析,总计算时间小于4秒,实现了在SCADA采样周期内完成电网安全分析的目标。对于某省电网220KV以上主网系统,与当前生产系统中的计算时间相比,状态估计、在线潮流和预想故障分析计算总时间提升20多倍,数据读入时间几乎减少到0,核心计算时间提升10倍左右,结果输出时间提升近50倍。以上就是本期的随身听,下周三,我们将继续带您一起探讨图技术在国家电网的更多应用,包括“电网一张图“时空数据管理系统、电力设备管理知识图谱、电力现货市场模拟仿真系统等。对于本期内容,如果您希望了解更多详细信息,欢迎拨打我们的400电话400-997-9909,即可快速联系到我们的业务同事,您也可以通过下方链接,访问TigerGraph 官网,在线提交需求,或者下载免费企业版。https://www.tigergraph.com.cn/contact/本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-25/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
25
第24期:中国移动图分析应用—实时反欺诈、视频推荐、一人多号、实名不实人、机器学习
作为目前全球网络规模最大、客户数量最多、品牌价值和市值排名位居前列的通讯运营企业,中国移动在利用图技术优化业务运营方面也是走在前列。今天的随身听,我们一起来看看中国移动某省级公司的案例分享。场景分析1:在线通信实时反欺诈电信欺诈久已有之,且有日益猖獗之势。传统欺诈检测解决方案主要依赖于对单个业务实体的行为分析,从其行为中发现异常模式。随着信息技术的快速发展,诈骗人员也在不断升级作案手段。比如,据了解,最新的犯罪手段通过利用GOIP设备同时进行多个手机号通话,该设备同时还支持群发短信、远程控制、机卡分离等功能,从而达到隐藏身份、逃避打击的目的。由于此类型作案号码频繁跳转,隐蔽性极高,加之该类案件侦破经验较少,国内单起案件平均侦破周期长达数月之久。基于关系型数据库构建的传统欺诈解决方案在设计上无法解决这一挑战。在这个场景中,TigerGraph 帮助客户构建了在线通信实时反欺诈系统,包括多个模块,比如黑号识别、模型打分、基于图的特征提取等。无论是从性能还是结果来看,TigerGraph 均体现出了明显的优势,使得在关系型数据库中无法处理的场景得以实现,比如可以:. 全量处理全省每天所有通话数据,在 TigerGraph中生成通话网络图,规模为顶点10亿,边150亿;. 每日3亿次更新,峰值时每秒1万条边更新,查询平均响应时间0.5s;. 基于 TigerGraph对关系特征的优异计算能力,系统实现了实时(毫秒级)返回118个基于图的特征收集和模型打分结果;. 2分钟识别恶意号码并推送到消费者,白号准确率99.99%+,黑号准确率80%+。除了实时反欺诈外,TigerGraph还作为客户的图数据分析平台,为其提供底层的技术支持,从而在此之上进行更多图应用场景的开发,比如我们接下来分享的个性化视频推荐。场景分析2:个性化视频推荐如今网络电视越来越普及,各大电信运营商也在加大布局自己的电视盒子,也就是我们熟悉的网络机顶盒,中国移动在这方面更是走在前沿,因为他们已经在利用图技术优化平台的视频推荐了。众多周知,推荐能力已作为企业精准化营销的重要工具深入各个行业,是企业服务能力、品牌实力的重要体现,随着媒体资讯信息的不断丰富及用户对个性化、实时推荐的需求不断提升,企业亟需探索新的推荐手段与方法。 如何通过捕捉消费者的实时行为,与以往的观览记录相结合,确保向正确的人推广适合的视频内容呢?传统的推荐系统采用数据快照执行离线全量统计计算,而这些快照可能来自数天之前。它们不具备当今所需的实时建模和细致剖析能力。在当今需要次秒级响应的激烈竞争中,仅拥有旧推荐系统是不够的。访问者的关注持续时间很短:要马上抓住,否则就会失之交臂。该中国移动省级公司为了给客户提供更为实时的精准内容推荐,新的解决方案中通过搭建知识图谱,引入TigerGraph图分析技术使挖掘的特征包含用户行为偏好及资讯信息。基于Kakfa Loader获取到用户的实时阅览内容,通过多跳数据分析改进了用户细分和推荐引擎,从而改善了推荐影片的质量。除了“千人千面”的个性化内容,“实时” 响应也是实现个性化精准推荐的重要标准。利用图计算系统将数据实时传输到Hadoop系统、传统数据库仓库或者其他外围系统。借助TigerGraph 图计算系统,针对点播数据以及用户关系数据进行实时处理,再通过TigerGraph 图数据库来计算分析千万级用户的点播特征数据与实时数据关联分析。经测试,目前搭建的流处理架构,利用TigerGraph 图计算实时处理能力,推荐准确率高于80%,模型查询时间小于20ms。为每一位客户提供更好的内容和服务,不仅仅是提供实时更个性化的推荐,更重要的是避免给客户带来不必要的打扰和时刻守护用户的通讯安全。场景分析3:一人多号除了前面提到的欺诈风险,“一人多号”现象在生活中也非常普遍,很多人都会办理两张卡,甚至三张卡,比如一张移动卡,一张联通卡,甚至一张电信卡。也有可能你的亲人办理了一张卡,但是这张卡的使用者其实是你。那运营商为何要花这么大力气识别出这些一人多号呢?我们可以想象一下,如果无法识别一人多号,那么可能会有潜在的风险,比如电话卡买卖,并用于电信欺诈,甚至,不法分子利用他人信息办理不同的电话卡从事其他违法行为。另一方面,也可能导致错失机会,比如无法更精准地了解特定用户的行为轨迹或者兴趣,无法更好地进行个性化推荐,从而可能导致潜在收入的下降等。那么,如何利用图技术更好地识别“一人多号”呢?简单来说,我们可以基于筛出的可疑号码,找出该号码一段时间内的位置轨迹,从而找出那些相同时间段内轨迹拟合度最高的号码。对于“一人多号”这个场景,主要的挑战在于要根据用户一段时间的行为轨迹,比如一个月,基于相似度算法查找出相似的号码。之前该客户用了10倍的硬件资源,都无法得到计算结果,而借助TigerGraph 的超高速的计算效率,仅用一台机器便可完成计算任务。场景分析4:实名不实人接下来和大家讨论的场景,是我们生活中处处可见的实名认证相关的问题。实名制相信大家都不陌生,比如在搭乘交通工具、入住酒店、进行大宗交易、银行开户,以及我们今天讨论到的电话卡使用等,都需要验证你是你、你是这个手机号的合法使用者等。虽然实名制推行了很多年,也越来越被大众所接受,但在安防的角度上,仍然存在着管理漏洞。当前电信网络诈骗持续高发的一大根源,就是因为大量“实名不实人”的银行卡、电话卡被骗子购买后实施诈骗。谨防“实名不实人”,第一时间阻击电信诈骗,也成了很多警方破获新型电信诈骗案的关键。在这个场景中,为有效发现“实名不实人”的卡号,从源头打击诈骗号码,中国移动该省级公司借助TigerGraph 图计算分析技术,打造了一套专业的系统,包括三个模型,分别是常驻地分析、交往圈分析、同时通话分析模型,这三个模型互为补充,从而可以准确判断号码是办理人在使用,还是办理人的家人在使用,还是转卖给了其他人使用。比如针对同证件下开通2个及以上号码的用户,会从这三个模型进行分析。如果同时满足以上这三个模型,那么这很可能就是高危用户,就需要立即对相关号码进行关停处置。如果只是满足了一个或两个模型的用户,则需要经人工研判后处置。借助 TigerGraph 图可视化,可以更轻松地表示复杂通话关系。对于异常号码预警,每天辅助关停异常号码接近上千个,关停号码的复开率只有不到10%,可以看到这套系统对于“实名不实人”的问题起到了很好的辅助作用。场景分析5:图计算和机器学习结合的创新方式最后要和大家分享的,就是图计算和机器学习结合的这种创新方式。不管是在线通信实时反欺诈,还是个性化视频推荐、一人多号,还是实名不实人的场景中,都会用到基于图的特征提取。比如在实时反欺诈中,基于全省级的通话数据,TigerGraph 可以毫秒级返回118个基于图的特征收集和模型打分结果,为机器学习生成新的训练数据来检测电话欺诈,从而很好地提高了机器学习模型的精准度。这在其它图数据库中是无法实现的。比如传统的机器学习主要是基于通话历史进行特征预测,判断出哪些人可能是欺诈者。而在基于深度图关联得到的图特征进行机器学习预测时,对比发现,前面的欺诈者中,有些可能是销售,有些可能是爱搞恶作剧的人。因此,大幅地降低了误判的比例。更重要的是,这些图特征的收集,即使是面对全省级的通话数据量,TigerGraph 仍然可以做到毫秒级地收集和打分,也就是接近于实时。这意味着,运营商可以及时发现欺诈者,并在欺诈发生前,就告诉消费者 ”对方可能是欺诈者,请提高警惕”,从而避免欺诈损失。以上,我们主要讨论了中国移动某省级公司利用图技术增强的4个场景,后续,我们也会再分享更多的应用。如果您也有类似的场景,或者其他问题,欢迎联系我们,我们的专家很乐意和您一起探讨。 联系我们: https://www.tigergraph.com.cn/contact/本周四直播:图数据库在复杂制造业的应用最后,跟大家预告一下本周四上午10:30 TigerGraph图课堂直播课程,本次直播我们为大家邀请到了点春科技股份有限公司的CTO/副总裁王福强老师,王老师拥有20年制造业软件解决方案的咨询服务经验。专注于数据治理、主数据、制造业数字化转型等相关解决方案的建设与实施。本次直播将围绕“图数据库在制造业的应用”为主题,以某大型制造业配件保障项目作为实际案例解析。同时,来自TigerGraph的解决方案总监李憓松老师将分享 “Graph+AI赋能未来制造业发展”,帮助制造企业灵活应对市场变化。赶紧报名吧。 报名直播: https://www.tigergraph.com.cn/activities/webinar/complex-manufacturing/本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-24/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
24
第23期:TigerGraph 机器学习工作台 (Machine Learning Workbench)
今天我们要介绍的是TigerGraph全新推出的机器学习工作台。在开始介绍之前,我们先简单了解一下为什么要使用机器学习。为什么要使用机器学习?所谓的监督机器学习就是试图做出模型,在一切还未知的时候预测事件的当前状态,或者试图预测未来会发生什么,如果你能从当前的数据中提取出更多的数据来更好地理解它,你就能做出更准确的预测。通常,人们利用它来进行产品推荐、优化运营、欺诈检测和预防其他犯罪活动。因此有很多方法可以使用机器学习。那么什么是TigerGraph 机器学习工作台?又能用它来做些什么呢?TigerGraph 机器学习和人工智能副总裁 Victor Lee 在采访中提到:“图技术已被证明可以加速和改进机器学习和性能,但事实是,对于许多数据科学家来说,使用 API 和库来实现这一目标的学习曲线非常陡峭。因此,我们创建了机器学习工作台,在数据科学家与图机器学习 API 和库之间提供一个新的功能层,以促进数据存储和管理、数据准备和机器学习训练。 事实上,我们已经看到早期采用者通过使用机器学习工作台和 TigerGraph图数据库,他们的机器学习模型的准确性提高了 10% 到 50%。”TigerGraph 机器学习工作台(ML Workbench)是一个基于Jupyter的Python开发框架,可以使数据科学家,人工智能和机器学习的从业者更容易、也更熟悉地使用图分析,而无需学习很多新的数据处理方式。数据科学家可以使用TigerGraph 机器学习工作台,更快速地构建图神经网络 (GNN) 模型,轻松探索图神经网络(GNN)。它提供了 Python 级别强大而高效的数据管道,将数据从 TigerGraph 流式传输到用户的机器学习系统,执行常见的数据处理任务,例如对图数据集的训练、验证和测试,以及各种子图采样方法。易于训练的图神经网络(GNN)当数据之间存在明确定义的关系时,图神经网络往往优于其它机器学习技术,因为它直接对图数据的连通性进行建模。从最近的研究来看,图神经网络已经证明了它在各种业务领域和应用程序中的成功。借助 TigerGraph 机器学习工作台,您现在可以轻松探索图神经网络在您领域中的潜力。TigerGraph机器学习工作台专门用于处理企业级数据,其中内置的子图抽样,图数据处理,用于准备训练、验证、测试图数据集等功能,更是可以帮助用户在大型图上轻松训练图神经网络,而无需强大的机器。如何使用TigerGraph机器学习工作台?而想要开始使用TigerGraph机器学习工作台也非常简单。如果您想使用本地版本,只需到我们的官网下载该产品,TigerGraph 机器学习工作台旨在与您现有的机器学习框架和基础架构集成工作。并与市场上主流的机器学习框架兼容,例如PyTorch Geometric、Deep Graph Library (DGL)和TensorFlow等,用户可以灵活地选择其最熟悉的框架。TigerGraph机器学习工作台还可以即插即用,既可以插入您现有的本地基础设施,也可以与您云端的机器学习框架整合,比如 Amazon SageMaker、Google Vertex AI,以及Microsoft Azure Machine Learning。为了帮助大家快速上手,我们准备了教程和技术文档。同时还有可以为您提供帮助的顾问,如果您想对比同样的项目任务使用图技术和现有方法哪个更好,欢迎试用我们的产品进行比较。当然,我们也期待看到更多新的用例,一些新的案例取得的效果令人非常惊喜。点击下方链接,了解更多TigerGraph机器学习工作台。https://www.tigergraph.com.cn/product/ml-workbench/本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-23/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
23
第22期:Unity 中基于图技术的欺诈检测
欺诈无处不在,甚至在游戏行业也是如此。在Graph+AI 2022 春季全球峰会上,来自游戏平台开发商Unity Technologies的高级数据科学家 Jiang Lun,为大家分享了用于Unity游戏引擎中欺诈检测的图技术。本次随身听,我们将为大家进行详细解读。在游戏广告领域里,既有供应方(游戏发行商),也有需求方(广告商)。Unity广告通过统一竞拍将两者联系起来。从游戏发行商来看,欲出售广告位的源游戏将向Unity广告服务端提交请求,然后,来自需求方的广告商将对这些位置出价以展示他们的广告。因此中标者将能够提交他们的广告创意、添加展示位置并触发事件,尤其是广告事件。接着,当特定的广告事件被触发后,广告商将向游戏发行商支付费用。基本上,这就是游戏开发者在游戏广告领域赚钱的方式。那在此过程中,会出现什么问题呢?有这样一个问题我们必须重点谈谈。在现实中,并非所有发行商在游戏广告方面都是“诚实的”,他们中的一些人,我们称为欺诈者,总想不劳而获,大多数欺诈是游戏发行商实施的。而调查此类欺诈,有专门的欺诈检测部门。他们的目标是保护广告商免受“无效广告”的侵害。欺诈到底是什么?欺诈有很多种,根据Unity的政策,游戏行业中存在非常多的欺诈,我们每天都能看到新类型的欺诈出现,这确实让人火大。根据以往的经验,有几种常见的欺诈类型,比如设备农场、SDK伪造、垃圾点击、机器人、滥用激励和其他类型的诈骗。所以在游戏广告的领域里欺诈无所不在,这就是为什么我们需要使用图技术。在使用图技术之前,我们先来了解一下他们是如何检测欺诈的:正如之前提到的广告事件,对于那些广告事件而言,它们在游戏中的某个广告时刻出现,而且不是单独出现。它们成群结队,按顺序排列,形成广告事件和模式。我们可以看到它们的模式,而模式又有许多不同的组合和不同的形状。现在,我们处理此类欺诈的方式是这样的:收集并分析这些广告事件,以发现潜在的欺诈模式,再根据不同的实体聚合不同类型的广告事件。例如,我们知道实体有游戏发行商、游戏、玩家,我们可以将这些聚合结果与在其它地方得到的实体特征及其嵌入相结合。来看看一个Unity正在做的案例。正如您在上图中看到的,首先他们有多个渠道,分别对应于发行商,游戏本身,还有玩家。除了都使用相同的来源和事件以外,它们彼此互相独立,然后我们聚合这些广告事件,并从不同的聚合层面将它们与不同类型的特征连接起来。例如,这里有一些发行商特征,和发行商嵌入,将它们与发行商层级的事件聚合连接起来。整个特征向量将通过机器学习管道,将不同类型的模型组合在一起,在每个聚合层面进行预测。在这三条管道运行之后,会有三种不同的预测,一个在发行商层面,一个在游戏层面,还有一个在用户层面。这就是我们在不使用图技术的情况下检测欺诈的方式。现在的问题是,这些结果彼此之间不一定相符,或者说不一定总相符。而且它们不一定真的彼此独立。例如,如果我们预测某个发行商存在欺诈行为,有没有可能,这个发行商旗下的所有游戏都是无辜的?这在现实世界中不太可能发生。在现实世界中,我们所编织的,是这样一张错综复杂的关系网。所以在真实的游戏广告网络中,彼此之间都是有联系的。这就是我们面临的现实问题。我们可以从这些关系模式中,看到很多诸如此类的例子,这就是我们的初衷和原因,我们试着利用图来解决欺诈问题。那么这张图中什么是重要的?其中之一是邻域拓扑。我们可以看到游戏、发行商和玩家这三个实体,它们相互联系,形成社区和集群。两个实体之间也有许多共享信息。Unity使用了哪些基于图技术的方法来检测欺诈?示例一:利用标签传播侦测欺诈信息的传播方法基于图技术来检测欺诈的方法之一,是侦测欺诈信息的传播方式。比如刚才提到的,有多个独立的管道用于不同聚合层面的预测,现在如何结合这些信息,全面了解每个实体的欺诈可能性?一种方法是通过消息传递算法传递和聚合节点特征及其各自的预测。例如,标签传播,是最常见的算法之一,而且它也很简单。因此,聚合来自邻居结点的信息,然后利用这些信息更新中心结点,从而更新预测,并且还可以更新其特征。然后在调整或消息传递阶段完成后,我们可以全面了解每个实体,然后将此实体用于后续的业务操作。同时也可以将这些情况一起报告给客户,使其更可信,更全面。示例二:利用社区检测算法(如Louvain算法)进行欺诈社区检测我们使用的另一种方法是欺诈社区检测。正如我们从下图中看到的,欺诈类游戏和非欺诈类游戏,通常不会单独出现,它们往往成群聚集在一起,或者形成一个社区。欺诈类游戏往往与其它欺诈游戏是关联的,而非欺诈类游戏往往与其它非欺诈类的游戏是关联的。当然也有例外,我们可以在中心集群中看到。另外,非欺诈类游戏社区与一个欺诈类游戏相关联,这个欺诈类游戏混合在了无辜社区中。这就很难被侦测出来。容易发现的是…非欺诈实体和欺诈实体的孤立节点,还有一个小集群,一个小社区,一个欺诈类游戏。这就是Unity正在做的一个欺诈社区检测,他们试图找到欺诈团伙,通过社区检测算法,比如Louvain算法。示例三:基于图技术,在游戏广告网络中生成节点嵌入除了这些技术,Unity还尝试基于图技术,在游戏广告网络中生成节点嵌入。这里有很多方法可以创建嵌入,以前没有使用基于图技术的方法,直到他们意识到,游戏广告网络中的一切都是相互关联的。因此,使用基于图技术的嵌入方法,将能够创建包含实体邻域拓扑信息的嵌入,尤其是在一些特定的问题上,比如特定游戏的费用分析。例如,我们可以看到在游戏广告网络中,发行商会有他们的源游戏(Source Game),广告商有他们的目标游戏(Target Game),这意味着每当用户打开源游戏点击上面的广告时,广告商希望在源游戏中显示广告,然后他们的目标游戏将被推广给用户。然后广告商将不得不为这些广告事件向发行商付费,并在每个源游戏中投钱。计划在不同源游戏中投入的资金、发行商或目标游戏的数量被称之为目标游戏的画像,这个画像对于创建嵌入非常有用。这些嵌入可以用于许多不同的地方,例如欺诈检测、营收优化和其他用例,这就是基于图技术的嵌入方法可以发挥重要作用的地方。以上就是我们关于Unity基于图技术的欺诈检测的案例分享。更多图技术应用案例分享欢迎关注TigerGraph公众号或登陆TigerGraph官网查看。Unity公司介绍Unity是一家视频游戏软件开发公司,专门为游戏开发者提供实时3D开发平台。此外,Unity还帮助游戏开发者通过向广告商出售游戏内广告位来实现变现。手游是目前全球来看表现最好的行业之一,其2021年收入超过850亿美元,复合年均增长率超过18%,所以到2023年,游戏行业的大部分收入将来自手游。2020年第四季度的报告中显示,Unity每月服务的广告超过了230亿,玩家每周花在Unity手游上的平均时间为2小时22分钟。此外,50%的新手游都是由Unity提供技术支持,所以这是一个相当有前景的行业。本期随身听,相关资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-22/欢迎关注微信公众号,只需搜索“TigerGraph服务号”或者“TigerGraph”,即可了解更多图技术对企业的价值。
-
22
第21期:图数据库对比指南 TigerGraph vs Neo4j,指导图数据库选型
Gartner®在今年3月份发布了《图技术如何带来商业价值》的最新研究报告,其中提到:将数据表示为图很有用,因为人们把世界理解为相互连接的对象(即人、地点和事物)。 对象可以是静态的,例如在简单的、受约束的组织结构图中,也可以是动态的,例如系统之间的动态交互。 人们会顺着从一个对象到另一个对象的关系,以便从连接中获得新的见解,因为“关联”变得更显而易见。为你的组织选择最好的图数据库是一个重要的决定。不幸的是,买家往往难以判断不同的图数据库供应商所提出的相互矛盾的断言——这些断言往往包含错误信息。经常有小伙伴问,你们和Neo4j有什么区别?今天就和大家分享一份图数据库对比指南,通过对TigerGraph和Neo4j这两个领先的图数据库进行比较,希望可以帮助您更好地做出购买决定。考虑到篇幅有限,这里我们将节选5个主题和大家分享,分别围绕速度、可扩展性、关键功能、图数据库即服务和总体经济影响展开。更全面的内容,比如决策摘要、客户反馈、参考资料等,请下载完整版白皮书。首先,关于速度:我们简单的用一组数字来说明:使用TigerGraph,单台物理机可支持每秒遍历1000万个以上的节点和边,每秒10万次以上更新。在公开数据集测试中可以发现,相比TigerGraph,Neo4j的查询延迟了10到1000倍。其次,关于可扩展性,我们会从Schema、数据加载和分片、查询、分布式事务处理这4个方面进行横向对比:Schema:TigerGraph是统一 schema,而如果使用Neo4j的话,对于每台机器/数据库,你必须手动将schema分为不同的子模式;数据加载和分片:使用TigerGraph,你只需从一个作业中加载,系统会自动分区。而使用Neo4j,你必须手动对数据进行分区,并分别加载到每台机器中;查询:使用TigerGraph,即使数据分布在几十台机器的数据库上,你也会像使用单个数据库一样进行查询。而使用Neo4j,你必须设计多阶段/相关查询来手动查询每台机器,然后将结果拼接在一起;分布式事务处理:TigerGraph 完整符合单机和集群的ACID规范,而Neo4j,仅单机符合ACID规范,不支持集群ACID规范。在Neo4j Fabric 中,ACID 合规性仅在单个图中得到保证,即它不支持跨多个图的事务。 如果你在同一事务中对多个图进行写入操作,可能导致数据损坏这类常见错误。小结:TigerGraph 是原生分布式架构,是能够自动分区的真正的分布式图数据库,性能高,支持与用户无缝对接,不需要为分布式查询做过多额外的处理。而Neo4j 其实并非真正的原生分布式,它实际上是独立的单机数据库的联合,因为需要通过复杂的手工处理,将多个单机图数据库联合在一起,无论是初期搭建还是后续运维都需要大量人工成本,而且容易出错。接下来,我们来比较 TigerGraph 和 Neo4j 提供的几个关键功能:设计:TigerGraph是C++核心引擎,原生分布式图存储,支持大规模并行处理,压缩数据比可以达到0.49(即加载到 TigerGraph 后,数据集占用的磁盘空间只有原来的0.49),并且Schema优先的设计可以使查询性能最优化。而Neo4j,是Java核心引擎,原生单结点图存储,只有有限的并行性,未压缩数据,无schema的设计会降低查询性能;深度链接分析 (OLAP):TigerGraph 支持在所有数据集(包括超大的分布式图)进行深度链接分析,可以从 3跳 到 10 跳以上,并且可以在数据库内直接运行大型图,可以确保数据库内始终是最新数据。而Neo4j,在中型到大型图上如果需要更深入的分析,你需要将数据导出到Spark进行外部处理,而这将需要额外的基础设施成本;图查询语言:TigerGraph 的图查询语言是GSQL,这是一种图灵完备的语言,可以原生表达复杂的图计算和分析,可用于即席查询和复杂的参数化存储过程。并且TigerGraph一直在国际上积极参与行业标准语言GQL的制定,确保GSQL可以100%兼容GQL,加上GSQL 和 SQL 非常类似,因此语言学习成本低。而Neo4j 的图查询语言是Cypher,能够处理基本查询,包括模式匹配;事务和集群一致性:正如在前文讨论的“分布式事务处理”,TigerGraph 在整个集群中符合 ACID,而Neo4j 仅在单机级别符合 ACID;图算法库:如今,越来越多的企业正在利用图算法加速机器学习,获得大规模的洞察力。TigerGraph 目前已发布50多个图算法,所有这些图算法都开放源代码,用户可定制、可审计,并且这些图算法可直接在TigerGraph 图数据库内运行,无需导出数据到其他平台,从而保证数据库内始终是最新数据。而Neo4j,使用预先编译的API调用,用户不能修改参数或逻辑,而且数据必须导出,以便在一个单独的平台上运行;可视化界面:GraphStudio™ 是TigerGraph提供的简单而强大的可视化图分析工具,支持完整的工作流程,比如可视化建模、ETL、图探索和查询开发。并且带有AdminPortal,可用于监控和管理。只要是使用TigerGraph,你就可以同时使用GraphStudio 和 Admin Portal,无需额外费用。而Neo4j的可视化工具是Bloom,仅用于图探索,你需要额外付费才可以使用其它功能;可视化工具包:TigerGraph 提供适用于各种用例的工具包,包括客户 360、金融犯罪和供应链优化等。而Neo4j 目前还没有提供相应的工具包;API 标准:TigerGraph 采用统一的行业标准,支持REST API、JSON 输出、JDBC、Python、Spark、GraphQL等。而Neo4j 采用多种标准,以及它们专有的 Bolt API;连接器:TigerGraph 一直在提供多样的连接器,从而使用户更好地与上游和下游数据源深度集成,比如数据摄取连接器包括JDBC、Kafka、Snowflake、Spark,同时也可用流式数据连接器。数据可视化连接器包括PowerBI和Tableau,还有D3、Plotly/Dash 等。生态系统方面,TigerGraph 支持包括C++、pyTigerGraph和Ruby。 而Neo4j 的数据摄取连接器包括 JDBC 和 Spark, GO、Java 和其他驱动程序。云产品 – 图数据库即服务(类似于SaaS)在比较了速度、可扩展性,以及几个关键功能后,接下来我们一起来看看TigerGraph Cloud和Neo4j Cloud (Aura DB)提供的关键功能:免费套餐:TigerGraph 提供终身可用的免费套餐,支持用于非商业用途。支持50 GB 存储空间,并且顶点和边的数量不受限制。而Neo4j 提供的是”共享 “的免费套餐,最多支持5万个顶点和17万5千条边。可能有小伙伴会问这个“共享”是怎么回事?我们可以想象成“整租”和“合租”,即TigerGraph 提供的是一套“整租”的空间,而Neo4j 提供的是类似于“合租”的空间,并且最多支持5万个顶点和17万5千条边;入门套件:TigerGraph 提供 25 个以上的入门套件,适用于各种流行的用例(例如客户 360、实体解析/统一ID、欺诈检测、知识图谱和推荐引擎等)。而Neo4j 目前还没有提供这方面的入门套件;大小:在TigerGraph 云上,每个实例支持高达768GB RAM,2TB 磁盘,如果你需要更高的配置,也无需担心,因为TigerGraph 支持真正的分布式。而Neo4j 每个实例最多 64 GB RAM,128 GB 磁盘;此外,TigerGraph 提供开箱即用的HA多副本,可以轻松实现高可用。通过专用链接和 VPC 对等互连确保网络安全,并且支持多用户、基于角色的访问控制以及集成式登录。而Neo4j 在这些方面都是相对欠缺的。最后,我们来聊聊两大图数据库带来的总体经济影响:Forrester 分别在去年10月份发布了《Neo4j图数据平台的总体经济影响™》报告,今年4月份又发布了《TigerGraph的总体经济影响™》报告。我们可以根据Forrester的研究报告来对比TigerGraph和Neo4j:根据Forrester的计算,TigerGraph 三年内的投资回报率为600%,净现值为 2428 万美元。而Neo4j 三年内投资回报率为417%,净现值为418万美元。您可以查看底部的相关资源,下载Forrester完整的研究报告,查看这些经济影响是如何得出的。总结通过以上的对比,相信大家对于两大图数据库有了一些新的认识,下面我们简单地总结下今天分享的内容。今天我们一起从5个方面横向对比了TigerGraph和Neo4j,包括速度、可扩展性、关键功能、图数据库即服务和总体经济影响。除了今天我们一起讨论的5个方面外,在完整的白皮书中,我们还从决策、客户反馈方面对比了两大图数据库。您可以下载完整的白皮书,查看更详细的对比。当然,评估任何产品的最佳方式就是亲自体验。你可以通过在我们的官网注册TigerGraph Cloud来开始使用免费套餐——这只需要几分钟,无需信用卡。如果希望本地部署试用,你也可以通过我们官网下载免费企业版。最后,图数据库及图分析解决方案正成为所有IT堆栈的核心组件,无论您最初选择了哪款产品,作为这项技术的早期采用者,我们都要祝贺您,您都将收获极佳的效益。相关资源推荐阅读:Neo4j “万亿”关系图背后的真相https://www.tigergraph.com.cn/blog/truth-behind-neo4js-trillion-relationship-graph/推荐阅读:TigerGraph 和 Neo4j 的可扩展性对比https://www.tigergraph.com.cn/blog/evaluating-scalability/免费下载白皮书《图数据库对比指南:TigerGraph vs Neo4j》,指导图数据库选型https://www.tigergraph.com.cn/developers/graph-benchmark/buyers-guide/2022 Gartner® 研究报告:图技术如何带来商业价值https://www.tigergraph.com.cn/about/gartner-cool-vendor/TigerGraph的总经济影响™,Forrester Research, 2022年4月https://www.tigergraph.com.cn/about/forrester-tei/Neo4j 的总经济影响™,Forrester Research, 2021年10月https://neo4j.com/whitepapers/forrester-total-economic-impact/TigerGraph Cloud入门套件https://www.tigergraph.com.cn/product/cloud/starterkits/下载免费企业版https://www.tigergraph.com.cn/product/enterprise-free/本期随身听,相关视频和资料,您也可以前往官网查看:https://www.tigergraph.com.cn/walkman/episode-21/欢迎关注微信公众号,只需搜索“TigerGraph服务号”,即可了解更多图技术对企业的价值。
-
21
第20期:七大理由——为什么AI驱动型企业选择TigerGraph?
人工智能和机器学习对企业来说变得越来越重要,因为大家都意识到企业必须能够详细了解业务和客户数据才能跟上竞争的步伐。现在,企业只需要捕获并能够分析正确的数据,并使用这些数据实时获取可执行的洞察力,从而提供更具个性的产品和服务。随着计算能力变得更强大和更经济,人工智能 (AI) 和机器学习 (ML) 等更复杂的数据建模变得更容易获得。虽然企业一直在 AI方面持续投资,但为什么他们难以利用 AI 和机器学习的潜力? 一个重要的原因是传统数据工具使得在这些领域实现高投资回报率变得很困难。 由于大部分数据都是表格形式,并且通常以二维表格式存储,因此在实际场景中如何解释数据方面存在差距,换句话说,如果没有合适的机器学习模型,数据可能无法解释或不正确。 这就引起了怀疑,因为德勤最近的研究表明, 44% 的管理层最关心的前三个问题之一就是会根据 AI 建议做出错误的决定。另一个问题是数据的数量和质量,尤其是当公司在整个组织中仍然存在数据孤岛时。 如果数据分布在非集成工具中,则很难聚合使用,这意味着重要的战略洞察力可能隐藏在架构复杂性之下,而机器学习仅限于在小范围内运行。 SAP 表示,74% 的企业表示他们的数据环境非常复杂,以至于限制了敏捷性,85% 的企业都在努力处理来自不同位置的数据 。成功的机器学习模型依靠丰富的、海量的数据蓬勃发展。 没有它,人工智能通常不可能学习或产生有用的见解。TigerGraph 如何释放 AI 潜力?凭借其速度、规模和分析的复杂性,TigerGraph创建了一种新的原生图数据库类型,可以实现 AI 的全部潜力。这包括三个关键属性:轻松扩展、高级分析和完整的洞察。首先是轻松扩展,连接整个组织的所有数据将需要一个可扩展的图数据库,TigerGraph可以轻松实现。其次是高级分析,揭示数据中的所有战略洞察力,需要顶级图分析能力。最后就是完整的洞察,现实世界互联数据的演变支撑着机器学习的真相之旅。作为AI驱动型企业,为什么要选择TigerGraph呢?我们一起来看看,这七大理由或许也是您在选择图分析产品时需要考虑的因素。本期随身听,相关视频和资料请前往官网查看:https://www.tigergraph.com.cn/walkman/episode-20/欢迎关注微信公众号,只需搜索“TigerGraph服务号”,即可了解更多图技术对企业的价值。
-
20
第19期:图数据库建模schema最佳实践,嘉宾来自TigerGraph客户成功团队
我们都知道,数据建模(schema)的设计不是一个一蹴而就的过程,而是随着对于数据和业务需求不断变化演化的过程。图数据库相较于其他类型的数据库,schema的调节更灵活影响更小,大家不用过分纠结于在一开始就做出完美的schema,也可以避免过度设计等工程陷阱。本期随身听我们将会把设计图schema的一些常识和对于TigerGraph来说性能较优的设计思路分享给大家。本期随身听我们邀请到了 TigerGrph客户成功团队的工程师林选磊为大家解读《图数据库建模最佳实践》,今天的内容是满满的干货,为了方便大家更好地理解本期内容,我们在官网链接中添加了图示,可以搭配图文一起收听。本期随身听,官网链接如下,你可以在这里找到完整的图文:https://www.tigergraph.com.cn/walkman/episode-19/欢迎关注微信公众号,只需搜索“TigerGraph服务号”,即可了解更多图技术对企业的价值。
-
19
第18期:零售业中的人工智能+图分析
在之前的随身听中我们详细解读了图+人工智能/机器学习的相关研究和应用,但图分析的创新应用远不止于此。在Graph+AI全球春季峰会上,我们还看到了很多新的应用趋势,比如今天要和大家分享的主题——零售+图分析。从历史上看,零售业通常都不是新技术的早期采用者。但是新冠疫情让零售业面临巨大挑战,因此,为了更高效地实现商业价值,企业对于已有技术要求更高,也由此加速了新技术在零售业务各个方面的应用,,例如:客户360、精准营销、以及供应链优化等等。那今天我们就三个零售案例为大家讲讲图技术如何推动零售企业发展并创造新的商业价值:案例1:一家全球领先的家居零售商,也是美国最大的家居电商购物平台案例2:一家知名连锁零售超市,也是英国最大的连锁超市之一案例3:沃尔玛,一家跨国连锁零售企业,曾连续多年在《财富》世界500强企业中位居首位……本期随身听,相关链接和案例下载,你可以在这里找到:https://www.tigergraph.com.cn/walkman/episode-18/欢迎关注微信公众号,只需搜索“TigerGraph服务号”,即可了解更多图技术对企业的价值。
-
18
第17期:图技术助力风险识别管理,如案件反欺诈调查、企业经营位置风险识别等
常见的金融风险大致可分为两个类型:可防可控风险和难防难控风险。比如用户违约风险,以及用户收入降低导致购买力下降风险,我们统称信用风险。黑产,中介,团伙欺诈等属于欺诈风险。信用风险,欺诈风险以及操作风险,这些都是可以通过各类不同等级的金融风控技术极大程度地降低。金融风控技术的演进可以基于所需要处理的数据维度而抽象成从点到线再到面。也就是从人工审核到规则,到算法模型再到关联图谱。对应的技术分别是从数据分析到机器学习再到图谱应用。主要过程如下:第一阶段-审核:主要依赖对信息的人工审核。但身份证、手机号码、银行流水等材料的伪造成本很低,金融机构就需投入大量人力审核信息主体的身份及材料的真实性;第二阶段-规则:基于数据分析而制定的各种策略和规则,并通过收集大量多样化的数据,如第三方信息等对信息的真实性进行交叉验证。这比传统的人工审核具有更强的反欺诈能力。但由于数据来源多、规模日益庞大,如何整合多元异构数据源,利用已有数据交叉验证成为新挑战;第三阶段-模型:利用机器学习模型,将多源异构的大数据整合成机器可以理解的知识,通过机器学习模型来判断节点的好与坏;第四阶段-关联图谱:将单点身份和单条链路的资料转换成对于面的形式的风险检测,不仅关注节点个体本身,而且更加关注个体之间的关系,从而实现欺诈的识别和防御。简而言之,图分析应用就是一个较好的切入点。然而在传统的金融企业中,图技术并没有被大规模的应用。这些企业仍然使用关系型数据库进行数据存储,进行的风控也仅仅从个体本身来出发去分析个体之间的差异。但由于信息伪造成本极低,就导致欺诈风险的欺诈行为高发且难以防范。其实,这些企业所拥有的这些数据本身就隐含着海量的挖掘价值,而传统的金融企业却无从下手,所以越来越多的金融科技公司开始着手对图技术进行研究与应用,使用图数据库去存储数据,并且利用图分析算法来甄别团伙欺诈行为,这就极大程度地提高了数据存储和数据挖掘的能力,也可以为金融风控业务提供实时有效的风险信息。这里我们就要重点讲讲为什么要用图技术?并给大家介绍几个使用图分析技术进行风险识别的典型场景。期随身听,相关资料链接,你可以在这里找到:https://www.tigergraph.com.cn/walkman/episode-17/欢迎大家关注微信公众号,只需搜索”TigerGraph“ ,即可第一时间收听。
-
17
第16期:中国联通—基于图的数据治理,加速企业数字化转型
大家好。我是联通数字科技有限公司的冯翰斌。首先特别感谢TigerGraph提供这样的机会,能够让做图应用的行业、企业共同分享和探索各自领域内图相关知识的探索与实践。在数字化转型的背景下,中国联通大数据业务也是得益于全国数据物理大集中的优势,率先探索市场化对外服务,也积累了一定的市场化要素配置的经验。因此,今天的内容也是基于公司的一些技术能力的实践为大家分享,主题是基于图的数据治理加速企业数字化转型。下面我们就一起来看看如何在企业数字化转型的背景下,用图技术来助力数据治理。 我今天的分享主要分为两部分。第一部分主要是介绍公司的背景、已有业务以及大数据能力体系。第二部分,我会详细介绍图在数据治理的细分领域及血缘关系分析上的应用。其中包括数据加工链路中上下游影响分析,如何解决数据冗余存储、冗余计算等资源浪费的一系列问题。本期随身听,相关资料链接,你可以在这里找到:https://www.tigergraph.com.cn/walkman/episode-16/欢迎大家关注微信公众号,只需搜索”TigerGraph“ ,即可第一时间收听。
-
16
第15期:如何在你的数据中找到竞争优势? 相信Graph+AI将会给你带来启发
2022 Graph+AI 全球峰会回放渠道已开放,90位演讲嘉宾,51场主题分享,6场圆桌讨论等你来很多TigerGraph的听众都知道,Graph+AI峰会是专门讨论图技术加速高级分析、人工智能和机器学习的专业峰会。自从2020年首次举办以来,至今已有三个年头了。我们惊喜的看到越来越多的人对图技术更加了解,越来越多的人愿意尝试图技术来解决业务瓶颈、或享受创新红利。今年的Graph+AI全球峰会,已经在5月底圆满落幕,51场主题分享和6场圆桌讨论已经全部在TigerGraph中国官网上发布,只需登陆官网,即可免费直接观看90位领域专家的精彩分享,免除了登陆外网的繁琐流程。可能有小伙伴会困扰,这么多的话题和内容该从哪里开始呢?为了帮助大家更好地“消化”这些内容,同时,将有价值的内容有效地应用到实际项目当中,我们将通过不同专栏、不同的主题和角度来深入解读本次峰会的全部演讲内容。今天我们将为大家精选本次Graph+AI全球峰会图+人工智能/机器学习相关主题进行介绍,如果你对其中的议题和内容非常感兴趣,欢迎登陆我们的官网观看完整版视频,如果你想听我们的专家重点解析这部分的内容,可以报名我们的直播,我们的专家将结合中国市场的实际情况,分享企业该如何利用图+人工智能/机器学习提升业务价值。本期随身听,相关资料链接,你可以在这里找到:https://www.tigergraph.com.cn/walkman/episode-15/欢迎大家关注我们的微信公众号,只需搜索”TigerGraph“ ,即可第一时间收听我们的随身听。
-
15
第14期:百万美元图技术挑战赛已结束,获奖作品亮点解析
Graph+AI 2022全球峰会已经落下帷幕,百万美元图技术挑战赛各大奖项也全部揭晓。一个个图技术创新方案令人印象深刻,从解决心理健康问题到处理医患矛盾,再到预测危机将如何在世界经济中蔓延,让我们看到了图技术解决现实世界的问题的各种可能性,让我们更有理由相信,通过图技术可以让世界变得更美好。这也正是TigerGraph举办全球挑战赛的初衷。那今天我就带大家一起来了解一下这些令人惊喜的获奖作品,或许你能从中受到新的启发,通过图技术解决你身边看到的实际问题,和全球小伙伴一起改善世界。特大奖:25万美金的获胜者——Mental Health Hero(精神健康卫士)第一个要隆重介绍的当然是本次大赛的特大奖:25万美金的获胜者——Mental Health Hero(精神健康卫士)。我们都知道心理健康问题越早介入越有利于患者的康复。其实很多病症也都是有迹可循,如果能通过数据分析及早地干预,患者就可以在最佳的时期得到最合适的治疗,这不仅能避免很多不必要的损失,甚至能挽救一个人的生命。Mental Health Hero就是这样一个基于图的心理治疗解决方案,旨在解决当今最大的公共卫生流行病之一,即普遍存在的焦虑和抑郁等心理健康问题。它通过使用图数据库从社交媒体情绪、治疗会话和书面记录等多种方式创建一个人的整体视图来解决这些问题。利用相似性算法根据其他具有相似行为的患者的结果推荐适当的护理。解决这类问题将有助于该领域的上下游产业链,比如康复治疗师可以调整对患者的护理,医疗机构可以从客户群中了解谁更需要预防性帮助,政府可以制定公共卫生计划来对患者群体进行分类并为他们提供适当的照顾。这也将有利于减少医疗资源不必要的浪费,使其利用最大化。当然,最大的受益者自然是患者本人及其家庭,通过这套解决方案可以及时获得最佳治疗。18个奖项全部内容,请访问活动官网:https://www.tigergraph.com.cn/graph-for-all/本期随身听,相关资料链接,你可以在这里找到:https://www.tigergraph.com.cn/walkman/episode-14/最后,欢迎大家关注我们的微信公众号,只需搜索”TigerGraph“ ,即可第一时间收听我们的随身听。
-
14
第13期:利用高级图分析提高供应链可视化程度
大型制造业,供应链中断时有发生,导致高额成本。在大规模制造业中,供应链可能占公司成本的10%-20%。尽管企业投入了大量资金,但供应链中断却时有发生,从而导致一系列问题,比如:关键部件交付延迟;某些部件供应过剩,造成供应链堵塞;计划外物流费用;装配线全面闲置;供不应求造成销售损失;向供应商支付合同违约金等后果。提高供应链可视化程度:如果供应链管理能够得以拓展延伸,提供整个价值链的集成视图,那么它能带来更高的商业价值和更大的竞争优势,而图分析是实现这一方案的唯一基础。今天我们就来说说如何利用高级图分析提高供应链可视化程度,从而帮助企业获取更高的商业价值。相关资源链接,您可以访问官网查看:https://www.tigergraph.com.cn/walkman/episode-13/
-
13
第12期:如何利用图分析更好地检测团伙欺诈?
提到团伙欺诈,你首先想到的是什么呢?是热搜上经常出现的欺诈新闻?还是近期接到的欺诈电话?除了这些,我们日常比较容易看到的欺诈行为。在我们看不见的地方,发生着损失更大的金融欺诈犯罪。这些欺诈行为已经严重地影响到了人们的生活和工作,而这背后更是造成了巨大的经济损失。我们看到很多文章或话题也都是基于“日益严重的欺诈问题”这一前提。有证据表明团伙欺诈在疫情期间上涨了 30%,听起来这是一个很大的数字,对吧?但事实上,很难真正评估金融欺诈犯罪的实际严重程度。新冠疫情让人们的生活和工作更加网络化。尤其是居家隔离期间,一切交易都在网上。这也让欺诈团伙有了可乘之机。而传统形式的金融犯罪在这种情况下可能相对会减少。所以当我们谈论金融犯罪时,我们很少再提及贷款经营者,我们谈论的是非常有组织的团伙欺诈,他们会交换信息、共享和销售信息,并对存在已知漏洞的特定机构进行战略攻击。这是相当复杂的犯罪行为,当欺诈团伙发现某个漏洞时,欺诈行为会突然开始出现,并迅速成为一个大问题。欺诈除了对金融机构的直接影响,我们也发现欺诈与客户体验之间存在直接关联。传统的系统还有用吗?欢迎收听本期随身听。相关链接,请登录官网:https://www.tigergraph.com.cn/walkman/episode-12/另外,你也可以关注我们的微信公众号,只需搜索TigerGraph,即可第一时间收听。
-
12
第11期:一起来看看2022 Graph+AI 全球峰会议程,哪些是你感兴趣的?
上一期的随身听,我们为大家介绍了Graph+AI全球峰会的几位特邀嘉宾,很多朋友表示非常期待他们的分享。现在距离Graph+AI全球峰会开幕还有不到7天,报名已经进入倒计时,他们很快就和大家见啦。作为图领域的全球盛会,除了前面提到的大咖嘉宾,还有哪些亮点值得我们关注?今天我们就继续来聊一聊三天精彩不断的Graph+AI全球峰会。开聊之前先提醒一下各位朋友,别忘了注册报名,不然错过就要等一年啦。详细版的大会完整议程,小伙伴可以登录官网查看:https://www.tigergraph.com/graphaisummit/微信用户,也可以关注TigerGraph微信公众号,第一时间收听。
-
11
Graph + AI Summit Spring 2022 - With COO Todd Blaschka
Graph + AI Summit Spring 2022, being held virtually May 24-26, 2022, is focused on accelerating analytics, AI, and machine learning projects with graph algorithms. This open industry conference covers the many uses of graph database technology, ranging from thought leadership about artificial intelligence and machine learning to practical, hands-on workshops and labs to solve specific real-world problems.In this episode, TigerGraph COO, Todd Blaschka, discusses the history of the conference, the importance of its open format, and highlights from the upcoming conference's agenda.For more information about Graph + AI Summit, visithttps://www.tigergraph.com/graphaisummit/ or https://www.tigergraph.com.cn/graphaisummit/
-
10
第10期:Graph + AI 2022全球峰会已开启免费注册,一起来认识几位特邀嘉宾
Graph+AI 2022全球峰会开幕在即,作为业界唯一一个聚焦图技术加速分析、人工智能和机器学习的公开会议,分享的嘉宾可谓是众星云集,议程主题一经发布往往就会引发热议。也有小伙伴会疑问:为什么TigerGraph要坚持主办这样一场峰会?首先这是为所有图技术用户打造的专业活动。图数据库多年来一直是增长最快的类别。在这个数字化转型的时代,图的应用非常重要。而且图还是人工智能和机器学习应用的基础技术。我们之所以组织这样一场围绕图和AI的峰会,就是因为在服务领域中,还没有一个开放的行业活动让所有图相关的从业者,无论他们是用户还是其他供应商,都能够进来讨论和分享最佳实践、创新用例,从而带动整个图数据库市场的发展,Graph+AI全球峰会就是想填补这一空白。那么,作为图技术领域的思想盛会,今年又有哪些重磅嘉宾值得关注?哪些议题不能错过?今天的随身听就为大家介绍几位本届峰会的重磅嘉宾和他们将要分享的内容。微信收听链接:https://mp.weixin.qq.com/s/-fcb6gvNoPpMGaaWNNamUA官网收听链接:https://www.tigergraph.com.cn/walkman/episode-10/
-
9
第9期:图分析在保险行业有哪些应用?嘉宾来自泰康在线
大家好,欢迎收听TigerGraph随身听,本期我们将带大家了解图数据库在保险行业的营销和反欺诈应用。分享嘉宾是泰康在线副总裁兼首席技术官陈玮。陈玮先生受邀参加了Graph+AI 中国峰会,本期内容选自陈玮先生在此次峰会上的精彩分享,欢迎收听。互联网保险方兴未艾,数字化接踵而来。保险的交易正在被一步步的数据化。无论是基于数据的自动决策,还是基于数据的人工判断,经过底层数据计算后的决策数据成为了关键。保险公司在存储数据方面,用的最多的是商用或开源的关系型数据库,绝大多数的交易数据都存储在这类数据库中。随着半结构化、非结构化数据的增多,陆续引入了NoSQL数据库来满足合适的应用场景,比如键值数据库,可以帮助我们非常迅速地查询日志文件和缓存数据。但随着今天数据量的逐渐增多,数据间的关系比孤岛似的数据更能展现出独特的价值,而且数据的时效性也在业务中逐渐凸显出来,而这块就和我们的数据计算引擎密切相关。大家知道,我们最早查询数据,是用数据库的直接查询,而后发展,我们用商业的分析软件进行离线计算。面对大数据时代来临,我们采用Hadoop、Storm等大数据分布式计算引擎。今天,我们多了一项新的技术选择——就是图数据库。第一时间收听,欢迎关注TigerGraph微信公众号:https://mp.weixin.qq.com/s/8vXLN5_o8Zgi4Q-DX8XIRQ官网链接,请访问https://www.tigergraph.com.cn/walkman/episode-9/图数据库 保险反欺诈
-
8
第8期:选择图数据库只关心产品性能,还远远不够?
尽管目前图数据库的价值已经受到了市场的认可,大部分企业也都加大了对于图技术的投入和应用。但对于企业而言要选择一款图数据库投入实际生产也是一个不小的挑战。图数据库的最终应用对于企业长期发展来说至关重要。面对市场上的图数据库和图分析产品,应该如何选择?产品性能自然是首要考虑的因素,除此之外,企业在选择合适的图数据库时还需要注意哪些方面?而哪些又是企业在做评估时容易忽略的问题,会对未来的项目实施,甚至业务发展产生影响?本期随身听,我们来一起聊聊企业如何选择图数据库。更多图分析介绍,欢迎大家微信关注TigerGraph。微信收听链接:https://mp.weixin.qq.com/s/zL9_dJa3a8JoajP-nVzu8w官网详情链接:https://www.tigergraph.com.cn/blog/graph_application/graph-database-selection/
-
7
第7期:带你快速了解TigerGraph的架构,节选自业界首家图数据库攻克 36TB LDBC
大家好,本期随身听,我们为您带来TigerGraph产品和创新副总裁郁介斌博士关于TigerGraph攻克36TB LDBC的精彩分享。这里我们将主要介绍TigerGraph的产品架构,方便你可以更清晰地认识TigerGraph,如果你对完整的内容感兴趣,欢迎点击以下链接观看完整视频。https://www.tigergraph.com.cn/walkman/episode-7/
-
6
第6期:如何打造身份图谱,保护电信客户免遭身份盗用?
目前针对电信欺诈者,我们仍缺乏较有力的应对措施。手机是银行转账、电子商务交易以及网络应用登陆的主要验证设备,手机的应用越广泛,欺诈者利用电话信息犯罪带来的后果就越严重。只需一个简单的短信验证码或者一通电话,一宗大额交易就可能面临潜在的欺诈风险。欺诈会给电信公司带来各类风险,例如盈收锐减,品牌受损以及客户流失等等,所有这些最终都会影响公司的整体价值和股价。电信欺诈形式多样,我们这里重点关注两类:身份盗用和运营漏洞欺诈。更多信息及相关链接,请访问官网https://www.tigergraph.com.cn/walkman/episode-6/
-
5
第5期:免费开源的增强型图数据科学库,更新至50多种图算法,如何开始?
最近TigerGraph机器学习和人工智能副总裁Victor Lee 博士的最新博客,分享了TigerGraph更新了包含 50 多种算法的增强型图数据科学库。那这一更新有哪些亮点值得关注?对于用户来说有哪些帮助呢?我们一起来了解一下。更多信息及相关链接,请访问官网:https://www.tigergraph.com.cn/walkman/episode-5/
-
4
第4期:2021年顶级高薪IT认证有哪些?
数据工程认证是数据工程师专业技能的最好证明、也是进入该领域工作的敲门砖。在招聘时,专业认证是能让你的技能被快速认可的加分项,更能助力未来职业发展。如今企业对数据工程师的需求不断增长,而要成为一名优秀的数据工程师,有哪些认证值得关注?更多信息及相关链接,请访问官网: https://www.tigergraph.com.cn/walkman/episode-4/
-
3
第3期:如何用“图”预防“先用后付”中的欺诈?
现在,越来越多的商品可以选择“先用后付”的方式购买,即在线免费或支付一部分费用后即可购买产品,在获得产品后可以选择全款或分期付款进行支付。这在淘宝、京东和亚马逊上已经很常见了,并且正以每年 39% 的速度增长。高速的增长同时伴随着日益增加的欺诈风险。 先用后付中的欺诈以几种不同的方式发生。例如:欺诈者可以访问现有客户的帐户并进行未经授权的购买。欺诈者还使用某人被盗的身份开设虚假的账户,等等。那如何有效防范这些欺诈行为呢?更多信息及相关链接,请访问官网:https://www.tigergraph.com.cn/walkman/episode-3/
-
2
第2期:为什么说图 + 人工智能可能是数据管理的未来?
在第一期的节目中,我们简单地介绍了图这种数据分析工具,今天我们就来再聊聊为什么越来越多的人认为图+人工智能可能是数据管理的未来?这里我们引用Alin 博士在一次采访中的回答,节选2段分享给大家。Alin博士是加州大学圣地亚哥分校的数据科学教授, 同时也是TigerGraph的首席科学家。更多信息及相关链接,请访问官网:https://www.tigergraph.com.cn/walkman/episode-2/
-
1
第1期:图分析简介——基本数据分析工具
今天是TigerGraph 随身听的第一期,我们一起来聊聊现在很火的数据分析工具——图。图技术已经成为现代企业的强需求。从医疗保健到能源再到金融服务,几乎每个行业的公司都在应用图分析的力量来获得实时洞察力,并回答关键的业务问题。Gartner预测,到2025年,80%的数据分析创新将使用图技术。图分析是一组分析技术,用来洞察诸如人、地点和事物等实体之间的深层关系。传统的数据分析技术速度慢,而且无法实时发现隐含的关系模式,与之不同的是,今天的图分析可以帮助企业找到新的业务洞察。从数字化转型、供应链管理到气候变化跟踪,这类信息对于当今企业而言至关重要。但是这些数据在不断变化。30天前对客户的了解,现在可能就不再准确。企业需要一种能够实时分析和预测客户行为的工具。借助图技术,企业可以创建业务场景相关的数字孪生模型,然后,基于该模型,根据实时的真实数据分析和预测供应链或消费者行为变化。如果你不熟悉图,并想知道它可以为你的公司做什么,请继续关注我们下期随身听。更多信息及相关链接,请访问官网:https://www.tigergraph.com.cn/walkman/episode-1/
We're indexing this podcast's transcripts for the first time — this can take a minute or two. We'll show results as soon as they're ready.
No matches for "" in this podcast's transcripts.
No topics indexed yet for this podcast.
Loading reviews...
ABOUT THIS SHOW
你可能不知道,我们每天都在使用图:每次访问LinkedIn时,看到1度、2度或3度联系人,我们都从该社交网站基于图数据库构建的专业网络图中获得结果。 Facebook、Instagram和Twitter都使用图数据库和图分析来了解用户之间的相互关系,并将他们与正确的内容联系起来。 每次执行搜索时,我们都在点击搜索引擎的知识图。 亚马逊上的那些产品推荐——“购买此商品的人也购买了……”或“这些商品经常一起购买”? 这也来自图分析查询。 TigerGraph的分析速度比关系型数据库快1000倍:关系数据库将数据存储在单独的表中,需要耗时的表联接来分析关系。图数据库将数据存储为预连接的实体,因此无需进行表联接——只需遍历图或连接的数据即可查看和分析关系。TigerGraph的核心是设计有高性能存储和计算功能的分布式图数据库。 每个实体和连接实体的每个边都是计算单元,可提供最佳性能。您的数据会自动划分为多个节点,您无需记住哪个节点包含特定数据,TigerGraph会为您跟踪。TigerGraph比其它图数据库快40到300倍:第一代图数据库是使用本机图存储构建的,但不能处理大数据或查询量,也不能在图内部执行超过三个级别或连接的操作(称为跃点)。 随着图中的每一跳,搜索范围都会大大扩展,并且收集到的见解会更深入。第二代图数据库建立在NoSQL存储的基础上,从而允许它们加载大量数据。 但是,它们仍然无法扩展涉及三跳或更多跳的查询。 较旧的图数据库通常也不支持“数据库分片”,即在多个服务器上对数据进行分区以提高可伸缩性,这意味着无法分发具有TB级数据的大型图。 这些遗留图数据库的设备不足,无法满足当今的实际需求,因此需要一种能够高效并并行执行许多跃点以对大数据提供亚秒级查询性能的系统。TigerGraph具备企业级平台功能及稳定性,拥有最低的拥有成本和从千兆字节到TB的无摩擦扩展,并已准备好进行PB规模的部署。TigerGraph正在与其他行业领导者合作,以最终确定图查询语言GQL的ISO标准。 TigerGraph支持GSQL,这是一种高级的图灵完备的查询语言,使用户能够在几天之内开发复杂的AI和机器学习应用程序。TigerGraph能帮助你解决哪些问题?TigerGraph是唯一的企业级可扩展图数据库,基于互联数据进行高级分析和机器学习。TigerGraph
HOSTED BY
TigerGraph
CATEGORIES
Loading similar podcasts...