Flux de données complet

SensorFlow conserve la collecte, l’ingestion, le stockage et l’analyse sur vos propres serveurs.

• Les SDK Sensors Data officiels collectent les événements Android, iOS, Web, mini-programmes et serveurs.
• SensorFlow valide et traite les événements entrants.
• ClickHouse stocke les détails des événements et Apache Superset fournit SQL, graphiques et tableaux de bord.

Official Sensors Data SDKs -> SensorFlow -> ClickHouse -> Apache Superset

Prérequis système

Commencez avec un hôte de validation et évoluez selon le volume d’événements et les requêtes.

• Minimum : 4 cœurs CPU, 8 Go de RAM et 100 Go SSD.
• Pour la production : 8 cœurs CPU, 16 Go de RAM et 500 Go SSD.
• Installez Docker, Docker Compose et Go 1.19 ou supérieur.

1. Obtenir le service open source

Clonez le dépôt SensorFlow et entrez dans son répertoire racine.

git clone https://github.com/data-analyze-bi/sensors.git
cd sensors

2. Démarrer l’infrastructure

Docker Compose démarre MySQL, Redis, ClickHouse et Apache Superset.

• L’ingestion utilise le port 8081, ClickHouse 8123/9000 et Superset 8088.
• Modifiez le mot de passe Superset et définissez une clé SUPERSET_SECRET_KEY unique en production.

cd deploy/docker
docker compose up -d --build
docker compose ps
cd ../..

3. Télécharger et installer la licence

Générez la licence dans la console, téléchargez la licence et sa configuration, puis placez-les dans le répertoire prévu.

• Conservez la licence dans binaries/sensors-payload-decoder.
• Conservez sa configuration dans binaries/.
• Ne publiez jamais les fichiers de licence dans Git.

mkdir -p binaries
mv ~/Downloads/sensors-payload-decoder-* binaries/sensors-payload-decoder
mv ~/Downloads/*.verify.json binaries/
chmod +x binaries/sensors-payload-decoder

4. Configurer et démarrer l’ingestion

Vérifiez le chemin de licence dans conf/app.conf, installez les dépendances et démarrez le service.

# conf/app.conf
decoder_binary_path = ./binaries/sensors-payload-decoder

go mod download
go run main.go

5. Connecter les SDK Sensors Data officiels

Utilisez le SDK officiel de chaque plateforme et pointez son URL d’envoi vers SensorFlow.

• ⚠️ Compatibilité tierce : la compatibilité du protocole ne constitue pas une certification Sensors Data ; testez les versions de SDK et les plugins avant la production.
• Utilisez Android, iOS, Web, mini-programme ou React Native côté client, et Java, Go, Python, Node.js ou PHP côté serveur.
• Validez les événements, identifiants, propriétés, l’écriture ClickHouse et les indicateurs Superset avant le basculement.

https://your-domain.example/sensors/send/?token=YOUR_TOKEN

6. Vérifier ClickHouse

Après l’envoi d’un événement de test, confirmez son stockage dans ClickHouse.

SELECT event, count() AS event_count
FROM sensors.event
GROUP BY event
ORDER BY event_count DESC
LIMIT 20;

7. Analyser dans Superset

Ouvrez Superset et utilisez sa connexion ClickHouse pour SQL Lab, jeux de données, graphiques et tableaux de bord.

• Construisez les indicateurs de DAU, inscriptions, connexions et tendances.
• Combinez entonnoirs, rétention, parcours et cohortes.
• Gérez les accès par équipe, projet ou jeu de données.

Mises à jour et exploitation

Arrêtez l’ingestion avant de remplacer une licence, restaurez les droits d’exécution et redémarrez le service.

• Sauvegardez MySQL, ClickHouse et les métadonnées Superset.
• Surveillez les échecs d’ingestion, le disque, la latence d’écriture et des requêtes.
• Renouvelez avant l’expiration ; les périodes achetées se cumulent.