tyran une simple file d'attente distribuée conçue pour manipuler un grand nombre de tâches uniques
Télécharger maintenant

tyran Classement & Résumé

tyran Mots clés

file d'attente tâche distribué

tyran La description

Taskmaster est une simple file d'attente distribuée conçue pour la manipulation d'un grand nombre de tâches uniques. Nous avons construit cela à Disqus pour gérer des tâches fréquentes, mais peu communes, telles que "migrer ces données vers un nouveau schéma". Pourquoi ne peut pas demander: "Pourquoi ne pas utiliser Céleri?". Eh bien, la réponse est simplement qu'une file d'attente normale nécessite (pas littéralement, mais ce serait douloureux sans) vous mettre au tampon de toutes les tâches dans un emplacement central. Cela devient un problème lorsque vous avez une grande quantité de tâches, en particulier lorsqu'elles contiennent une grande quantité de données.Imagine, vous avez 1 milliard de tâches, chacune pesant à 5k. Thats, non compressé, au minimum 4 téraoctets de stockage requis pour garder cela autour de cela et vous gagne très petit.Taskmaster, d'autre part, est conçu pour prendre un itérateur résolu, et tirer uniquement dans un nombre maximal d'emplois à la fois (en utilisant Standard Python File d'attente). Cela garantit un motif de mémoire cohérent pouvant échoué linéairement.Usagecree un itérateur et rappel: Importation de socket # Nous devons assurer que le délai d'attente par défaut ** n'est pas défini ** ou une merde aléatoire va frapper le fan.socket.setDefaultTimeout (aucun) # Taskmaster / Exemple.pydef get_jobs (last = 0): # Dernier serait envoyé si l'état a été repris à partir d'une exécution précédente pour i in xrange (Last, 100000000): # Les travaux cédés doivent être sérialisés avec un rendement de cornichon IDFOB (I): # Ceci ** Doit ** être idempotent, comme reprendre le processus peut exécuter un numéro d'emploi qui avait déjà été exécuté "GOT% R!" % Ispewn a Master: TM-Master Taskmaster.Examplespesponsez une esclave: Taskmaster TM-Slave.Exple Spawn 8 esclaves (chacun contenant une threadpool): TM-Spawn Taskmaster.Example 8dont J'aime la fonction magique Découvrez pour maîtriser / esclave? Spécifiez vos propres objectifs: TM-Master Taskmaster.Example: get_jobs $ TM-esclave Taskmaster.Example: HandLIN_JOBNOTE: Tous les arguments sont facultatifs et seront par défaut sur localhost sans autorisation d'autorisation. Page d'accueil du produit

tyran Logiciels associés