SuiteCRM数据集成是一种提取,转换和加载(ETL)解决方案,该解决方案连接到现有的SuiteCRM,以从MySQL数据库提取源数据并将其加载到针对分析功能进行了优化的数据仓库中。SuiteCRM数据集成可以作为独立解决方案安装,并且可以根据需要与其他报告工具一起使用。
下载并安装SuiteCRM数据集成
SuiteCRM数据集成需要在服务器上安装以下必备组件
- Linux
- OpenJDK 8 JRE(Java)
- wget
- 解压缩
- 压缩
- MySQL服务器+一个空的MySQL数据库
有两种下载SuiteCRM数据集成的方法。
- 从SuiteCRM网站下载:预先安装的软件包,其中包含安装脚本,Web服务器和所需的所有第三方开源库。
- 克隆SuiteCRM数据集成库:用于构建SuiteCRM数据集成包的脚本(通过SuiteCRM网站生成相同的可用包)。
手动构建软件包(从仓库中克隆)
通过终端克隆回购:
git clone https://github.com/ivylabs/suitecrm-data-integration
导航到新克隆存储库的目录并运行 build.sh
。
./build.sh
这应该在您的终端上输出解决方案下载并压缩成一个包的所有文件。脚本末尾会询问您是否要删除安装文件。
Would you like to remove the installation files? This will save disk space. [y/N] y
-------------------------------------------------------------
Build is complete!
-------------------------------------------------------------
这将生成一个名为 suitecrm-data-integration-server.zip
在目录的根目录中。这与SuiteCRM网站上提供的软件包相同。
配置SuiteCRM数据集成
下载或生成后 suitecrm-data-integration-server.zip
文件,将其上传并提取到托管的Web服务器上。
导航到新提取的 suitecrm-data-integration-server
文件夹并编辑 install.properties
。
# Java Virtual Memory allocation
JVM_SIZE=1024
# SuiteCRM Source Database Connection Details
SUITECRM_HOST=127.0.0.1
SUITECRM_PORT=3306
SUITECRM_DATABASE=suitecrm_testdata
SUITECRM_USERNAME=suitecrmrootuser
SUITECRM_PASSWORD=suitecrmrootuserpassword
# SuiteCRM Analytis Target Database Connection
SUITECRM_ANALYTICS_HOST=127.0.0.1
SUITECRM_ANALYTICS_PORT=3306
SUITECRM_ANALYTICS_DATABASE=suitecrm_dwh
SUITECRM_ANALYTICS_USERNAME=suitecrmrootuser
SUITECRM_ANALYTICS_PASSWORD=suitecrmrootuserpassword
# Enable SMTP email functionality
SMTP_ENABLED=0
# SMTP Server Details
SMTP_HOSTNAME=smtp.gmail.com
SMTP_PORT=587
SMTP_USE_AUTHENTICATION=1
SMTP_USERNAME=user@suitecrm-analytics.co.uk
SMTP_PASSWORD=password
#SMTP_SECURE_AUTHENTICATION=
#SMTP_SECURE_AUTHENTICATION=SSL
SMTP_SECURE_AUTHENTICATION=TLS
# Email address that SuiteCRM Analytics sends from
SMTP_FROM_EMAIL_ADDRESS=donotreply@suitecrm-analytics.co.uk
SMTP_FROM_EMAIL_NAME=SuiteCRM Analytics
# Email addresses seperated by spaces that error emails are delivered to
SMTP_SEND_ERROR_EMAILS_TO=user@suitecrm-analytics.co.uk
# Set this to 1 or zero. Setting it to 1 means that you will get an email for every sucessful run on the ETL
SMTP_SEND_SUCCESS_EMAILS=1
# Email addresses seperated by spaces that success emails are delivered to
SMTP_SEND_SUCCESS_EMAILS_TO=user@suitecrm-analytics.co.uk user123@suitecrm-analytics.co.uk
这些配置变量定义与SuiteCRM数据库的连接以从中提取信息。
# SuiteCRM Source Database Connection Details
SUITECRM_HOST=127.0.0.1
SUITECRM_PORT=3306
SUITECRM_DATABASE=suitecrm_testdata
SUITECRM_USERNAME=suitecrmrootuser
SUITECRM_PASSWORD=suitecrmrootuserpassword
这些配置变量定义与SuiteCRM数据集成的连接,以将提取的SuiteCRM数据转换并加载到其中。
请记住为SuiteCRM数据集成数据仓库创建一个新的MySQL数据库。
# SuiteCRM Analytis Target Database Connection
SUITECRM_ANALYTICS_HOST=127.0.0.1
SUITECRM_ANALYTICS_PORT=3306
SUITECRM_ANALYTICS_DATABASE=suitecrm_dwh
SUITECRM_ANALYTICS_USERNAME=suitecrmrootuser
SUITECRM_ANALYTICS_PASSWORD=suitecrmrootuserpassword
SMTP配置变量将定义到电子邮件客户端的连接,以发送有关提取脚本状态(成功或失败)的通知。这些是可选的。
安装SuiteCRM数据集成
定义配置后,现在在您的同一根目录中运行安装脚本 suitecrm-data-integration
。
./setup-suitecrm-data-integration.sh
这将检查数据库的连接并创建提取SuiteCRM数据所需的表。
然后,您可以运行SuiteCRM数据集成脚本来提取和转换数据。
./run-suitecrm-data-integration.sh
这应该在您的终端上输出所有与提取,转换和加载数据到数据仓库表有关的日志记录。
该解决方案当前从以下模块中提取数据:
- 客户
- 潜在客户
- 商业机会
- 联系人
- 发票
- 产品/产品类别
- 用户
- 自定义字段
SuiteCRM数据集成安装到此结束。如果您想了解有关Pentaho ETL解决方案的更多信息,请访问Spoon用户指南。该解决方案包括一个预打包的客户端,您可以通过终端运行它。
./data-integration-client.sh
备注: http://YOUR IP:8080/suitecrmanalytics/
参考文档: https://docs.suitecrm.com/admin/suitecrm-analytics/scrm-data-integration/