Vollständiger Datenfluss

SensorFlow hält Erfassung, Ingestion, Speicherung und Analyse auf Ihren eigenen Servern.

• Offizielle Sensors-Data-SDKs erfassen Ereignisse aus Android, iOS, Web, Mini-Programmen und Servern.
• SensorFlow validiert und verarbeitet eingehende Ereignisse.
• ClickHouse speichert Ereignisdetails; Apache Superset bietet SQL, Diagramme und Dashboards.

Official Sensors Data SDKs -> SensorFlow -> ClickHouse -> Apache Superset

Systemanforderungen

Beginnen Sie mit einem Prüfserver und skalieren Sie nach Ereignisvolumen und Abfragelast.

• Minimum: 4 CPU-Kerne, 8 GB RAM und 100 GB SSD.
• Produktionsstart: 8 CPU-Kerne, 16 GB RAM und 500 GB SSD.
• Installieren Sie Docker, Docker Compose und Go 1.19 oder neuer.

1. Open-Source-Dienst beziehen

Klonen Sie das SensorFlow-Repository und wechseln Sie in das Stammverzeichnis.

git clone https://github.com/data-analyze-bi/sensors.git
cd sensors

2. Dateninfrastruktur starten

Docker Compose startet MySQL, Redis, ClickHouse und Apache Superset.

• Ingestion läuft auf Port 8081, ClickHouse auf 8123/9000 und Superset auf 8088.
• Ändern Sie das Superset-Standardpasswort und setzen Sie in Produktion einen eindeutigen SUPERSET_SECRET_KEY.

cd deploy/docker
docker compose up -d --build
docker compose ps
cd ../..

3. Lizenz herunterladen und installieren

Erstellen Sie die Lizenz in der Konsole, laden Sie Lizenz und Konfiguration herunter und legen Sie sie im vorgesehenen Verzeichnis ab.

• Speichern Sie die Lizenz unter binaries/sensors-payload-decoder.
• Speichern Sie die Konfiguration unter binaries/.
• Committen Sie Lizenzdateien niemals in Git.

mkdir -p binaries
mv ~/Downloads/sensors-payload-decoder-* binaries/sensors-payload-decoder
mv ~/Downloads/*.verify.json binaries/
chmod +x binaries/sensors-payload-decoder

4. Ingestion konfigurieren und starten

Prüfen Sie den Lizenzpfad in conf/app.conf, installieren Sie Abhängigkeiten und starten Sie den Dienst.

# conf/app.conf
decoder_binary_path = ./binaries/sensors-payload-decoder

go mod download
go run main.go

5. Offizielle Sensors-Data-SDKs verbinden

Verwenden Sie das offizielle SDK der jeweiligen Plattform und setzen Sie dessen Upload-URL auf SensorFlow.

• ⚠️ Hinweis zur Drittanbieter-Kompatibilität: Protokollkompatibilität ist keine Sensors-Data-Zertifizierung; testen Sie SDK-Versionen und Plugins vor dem Produktivbetrieb.
• Nutzen Sie Android, iOS, Web, Mini-Programm oder React Native auf Clients sowie Java, Go, Python, Node.js oder PHP auf Servern.
• Prüfen Sie Events, IDs, Eigenschaften, ClickHouse-Speicherung und Superset-Kennzahlen vor dem Umschalten.

https://your-domain.example/sensors/send/?token=YOUR_TOKEN

6. ClickHouse prüfen

Senden Sie ein Testereignis und bestätigen Sie dessen Speicherung in ClickHouse.

SELECT event, count() AS event_count
FROM sensors.event
GROUP BY event
ORDER BY event_count DESC
LIMIT 20;

7. Mit Superset analysieren

Öffnen Sie Superset und verwenden Sie die ClickHouse-Verbindung für SQL Lab, Datensätze, Diagramme und Dashboards.

• Erstellen Sie DAU-, Registrierungs-, Login- und Ereignistrends.
• Kombinieren Sie Funnels, Retention, Pfade und Kohorten.
• Steuern Sie Zugriffe nach Team, Projekt oder Datensatz.

Updates und Betrieb

Stoppen Sie die Ingestion vor einem Lizenzwechsel, setzen Sie Ausführungsrechte und starten Sie den Dienst neu.

• Sichern Sie MySQL, ClickHouse und Superset-Metadaten.
• Überwachen Sie Ingestion-Fehler, Speicherplatz, Schreib- und Abfragelatenz.
• Erneuern Sie vor Ablauf; erworbene Laufzeiten werden addiert.