KAP助力微软Power BI实现海量数据交互式分析
时间：2017-11-10 来源：互联网 浏览量：
作者：何京珂
编辑：Sammi
Power BI是微软推出的行业领先的BI可视化工具，其拥有本地及云端多样的解决方案，与微软产品无缝整合，快速部署等特点令其在本地及云端都拥有广泛的应用。Power BI支持多样的数据源，包括关系型数据库SQL Server，Azure云上 的Blob存储以及HDInsight Hive等。然而随着企业信息化进程的加深，数据收集门槛的下降，越来越多的企业都面临着超大数据交互式分析的挑战。在海量数据规模下以上数据源在连接Power BI进行数据分析时经常出现查询响应慢，界面卡顿，数据装载时间长，高并发情况下查询性能急剧下降等问题，性能瓶颈的问题愈发严重。
Kyligence Analytics Platform (简称KAP) 是运行在大数据架构上的企业级分布式数据引擎，支持PB级别数据的秒级快速查询响应。KAP支持本地及Azure 云上部署，支持从Hive和 Kafka读取源数据，并使用MapReduce或Spark框架对数据进行预计算，然后将预计算的结果（即Cube）存储在HBase或KyStorage中（KyStorage是一种专门针对KAP优化的列式存储引擎）。查询语句直接运行在预计算的Cube之上，从而极大加速了查询的响应速度。KAP支持标准SQL语法，提供JDBC、ODBC、REST等协议接口，可以和主流BI工具无缝集成，实现海量数据上的交互式分析。
Power BI对接数据源时，由于不同数据源查询能力区别很大，往往只能采用Import模式，将数据导入到分析师的本地桌面或虚机，这对于海量数据场景完全不适用。针对这个问题，Kyligence开发了针对PowerBI的DirectQuery Plugin，配套使用Kyligence ODBC Driver，用户无需再导入数据，而是实时将查询语句发送给KAP后端处理，充分利用KAP的加速能力，极大提高了分析的效率和灵活度。
KAP在提供Cube预计算的同时也为一些预计算没能覆盖到的自助式OLAP分析提供了查询下压的功能，即Cube无法满足的查询将会被下压到其他SQL引擎，这包括SQL on Hadoop系统，或者关系型数据库。目前Hive，Spark Sql或SQL Server的用户，都可以迁移到KAP上，获得更好的数据加速。在KAP进行OLAP交互式分析同时，还可以沿用原有的查询引擎作为查询下压的解决方案，以补充当报表查询不能被Cube满足时的查询场景，在沿用当前的查询引擎的同时，又能利用KAP进行查询加速。
分析师可在本地部署的Power BI Desktop连接本地或云端KAP，进行Direct Query连接，享受KAP的OLAP能力带来的分析加速。下面我们将具体介绍如何使用Power BI连接KAP进行数据分析。
配置Kyligence ODBC Driver
我们推荐Power BI用户使用Kyligence ODBC Driver来连接KAP，搭配使用KAP Direct Query插件可以实现Power BI与 KAP的Direct Query连接模式。
在 Kyligence Account页面申请下载 Kyligence ODBC 驱动程序，并运行安装到你的Power BI Desktop所在的环境。
32 位应用程序：请安装使用 kyligence_odbc.x86.exe
64 位应用程序：请安装使用 kyligence_odbc.x64.exe
安装Power BI DirectQuery 插件
复制DirectQuery插件文件到C:\Users\<user_name>\Documents\Microsoft Power BI Desktop\Custom Connectors文件夹，如果没有Custom Connectors这个文件夹，可以手动创建一个。
打开Power BI Desktop中的Options and settings中的Options。
在Preview Features中勾选Custom data connectors。
重启Power BI Desktop
使用Power BI Desktop连接KAP
启动您已经安装的Power BI Desktop，单击Get data按钮，点击more在Database类别中选中Kyligence Analytics Platform。
在连接字符串文本框中输入所需数据库的对应信息。连接方式请注意选择DirectQuery。
输入账号密码进行身份验证。
下一步Power BI将会列出项目中所有的表，您可以根据需要选择要连接的表。
现在你可以进一步使用Power BI进行可视化分析，首先对需要连接的表进行建模，请注意如果希望报表的查询能够击中Cube，模型的定义需要与KAP中的一致。
模型建立完成，现在你可以回到报表页面开始可视化分析了。
欲了解更多使用Power BI对接KAP的详情，请参见KAP用户手册的相关章节。
