One Article Review
| Source |  ProofPoint |
|---|---|
| Identifiant | 8411687 |
| Date de publication | 2023-11-13 06:18:08 (vue: 2023-11-14 10:09:46) |
| Titre | Permettre des mises à jour de signature de spam en temps réel sans ralentir les performances Enabling Real-Time Spam Signature Updates without Slowing Down Performance |
| Texte | Engineering Insights est une série de blogs en cours qui donne à des coulisses sur les défis techniques, les leçons et les avancées qui aident nos clients à protéger les personnes et à défendre les données chaque jour.Chaque message est un compte de première main de l'un de nos ingénieurs sur le processus qui a conduit à une innovation de preuves. ProofPoint Conformité intelligente classe le contenu texte qui provient du contenu des médias sociaux partout aux demandes fournies par le client.Une partie de notre système détecte le contenu du spam, généralement à partir de sources basées sur les médias sociaux. Un défi commun pour les systèmes de détection de spam est que les adversaires modifient leur contenu pour échapper à la détection.Nous avons un algorithme qui résout ce problème. Parfois, les faux positifs doivent également être corrigés.Nous gérons cela en maintenant une liste d'exclusion et une liste positive de signatures de spam.Dans cet article de blog, nous expliquons comment nous mettons à jour les signatures de spam en temps réel sans avoir un impact négatif sur les performances. Une nécessité d'évoluer sans compromettre les performances Au fur et à mesure que la clientèle de Proofpoint Patrol a augmenté, nous avons dû la mettre à l'échelle afin de continuer à fournir des services rapides et fiables.À l'origine, le service de catégorisation de texte était intégré à notre service de classificateur de base et n'a pas pu être mis à l'échelle indépendamment.Nous avons décidé de le séparer en son propre service afin que nous puissions le développer et l'étendre indépendamment de notre service de classificateur. Notre première libération de ce nouveau système nous a permis d'évoluer plus efficacement et a entraîné une forte diminution de la latence.Une partie de l'amélioration des performances est venue du chargement de l'ensemble de signature de spam dans la mémoire au démarrage du service. Cependant, cela a conduit à une limitation où nous ne pouvions pas facilement mettre à jour nos ensembles de signature positive ou d'exclusion sans reconstruire et redéployer notre application.Cela signifiait que notre système de spam n'apprendrait pas de nouvelles signatures de spam au fil du temps, ce qui entraînerait également une augmentation des faux négatifs. Une solution de stockage de données en mémoire: redis Peu de temps après avoir rejoint Proofpoint, j'ai été chargé d'améliorer le système de détection des spams pour apprendre au fil du temps, tout en conservant les avantages sociaux.Nous avions besoin d'une solution avec une latence à faible lecture, et idéalement une latence d'écriture faible, car notre rapport lecture / écriture était assis vers 80/20. Une solution potentielle était Redis, une solution de stockage de données en mémoire open source.Amazon propose une implémentation de Redis-MemoryDB-qui peut fournir une persistance de données au-delà de ce qu'une solution de cache typique peut offrir. Présentation d'une solution de stockage de signature en mémoire. À la fin des performances, Amazon possède une latence de lecture microseconde et une latence d'écriture à un chiffre.Tout en étudiant des solutions potentielles, nous avons remarqué des latences similaires avec notre charge de travail. Nous avons généralement plus de requêtes de lecture que l'écriture;Cependant, nous avons des pics occasionnels dans les requêtes d'écriture. Un graphique montrant les commandes de lecture au fil du temps. Un graphique montrant des commandes d'écriture au fil du temps. Le fait que MemoryDB persiste nos signatures de spam et notre liste d'exclusion permettrait à notre système de stocker de nouvelles signatures de spam lors de l'exécution.Cela permettrait également à notre système de s'améliorer avec le temps.Nous serions également en mesure de répondre rapidement aux rapports faux positifs en mettant à jour la liste en temps réel. Nos résultats Après avoir terminé notre |
| Envoyé | Oui |
| Condensat | 80/20 able about account advances adversaries after algorithm allow allowed also amazon analyze application architecture are around author backgrounds base based behind benefits best beyond blend blog boasts brands build building business but cache came can career careers categorizer challenge challenges changes chart classification classifier classifies cloud colby collaborate commands common compliance compromising concept constantly content continue core corrected could customer customers data day decided decrease deep defend detection detects develop digit digital disparate diversity down driven driving each easily efficiently eight enable enabling end engineer engineering engineers enhance enjoys evade every everywhere evolving exclusion experiences explain false fast finishing first firsthand force found from further gives grown handle has have having help helps hiking hire how however ideally impacting implementation implemented improve improvement improving increase independently industry innovation inquiries insight insights integrated intelligence intelligent interested investigating investigation issue its join joined joining large latencies latency lead learn learning leclerc led lessons limitation list lived lives loading look low machine maintaining massachusetts meant media memory memorydb microsecond modify more need needed negatively negatives new not noticed occasional offer offers one ongoing only open opportunities order originally originates out over overview own page part passion patrol people performance performance persist persistence platform positive positives post potential process proof proofpoint protect protecting proven provide provided providing queries quickly rapidly ratio read real rebuilding recently redeploying redis redis related release reliable remained reports requests respond response resulted results retaining risk risks rules runtime sat scale scaled scenes security separate series service services set sets shortly showing signature signatures similar single slowing social software solution solution: solutions solve solves sometimes source sources spam speed spikes startup storage store subjects success support system systems s advanced tasked team team technical text than threats threats and compliance through time times to: today toughest cybersecurity challenges typical typically update updates updating well what where which without work worked workload would write writes; writing years you visit |
| Tags | Spam Cloud Technical |
| Stories | |
| Notes | ★★★ |
| Move | 
|
L'article ne semble pas avoir été repris aprés sa publication.
L'article ne semble pas avoir été repris sur un précédent.