Ausgabe
Ich habe AWS verwendet und bin neu bei GCP. Eine Funktion, die ich häufig verwendet habe, war AWS Batch, das automatisch eine VM erstellt, wenn der Job gesendet wird, und die VM löscht, wenn der Job erledigt ist. Gibt es ein Gegenstück zur GCP? Basierend auf meinen Recherchen ist GCP Dataflow am nächsten. Die GCP Dataflow-Dokumentation führte mich zu Apache Beam. Aber wenn ich hier durch die Beispiele gehe ( Link ), fühlt es sich völlig anders an als AWS Batch.
Irgendwelche Vorschläge zum Senden von Jobs für die Stapelverarbeitung in der GCP? Meine Anforderung besteht darin, einfach Daten aus Google Cloud Storage abzurufen, die Daten mit einem Python-Skript zu analysieren und das Ergebnis dann wieder in Google Cloud Storage abzulegen. Der Prozess kann über Nacht dauern, und ich möchte nicht, dass die VM im Leerlauf ist, wenn der Job beendet ist, aber ich schlafe.
Lösung
Ich empfehle, dsub auszuprobieren . Es ist ein Open-Source-Tool, das ursprünglich von den Google Genomics-Teams für die Stapelverarbeitung in Google Cloud entwickelt wurde.
Beantwortet von – Paul Billing-Ross
Antwort geprüft von – Candace Johnson (FixError Volunteer)
