Ausgabe
Wir möchten erzwingen, dass bestimmte Sicherheitsgruppen für die SageMaker-Trainingsjobs (XGBoost im Skriptmodus) festgelegt werden. Allerdings funktioniert das verteilte Training in diesem Fall nicht sofort, da die Container miteinander kommunizieren müssen. Was sind die minimalen Eingangs-/Ausgangsregeln (Ports), die wir für Trainingsjobs angeben müssen, damit sie kommunizieren können?
Lösung
Das Einrichten von Schulungen in VPC einschließlich der Angabe von Sicherheitsgruppen ist hier dokumentiert: https://docs.aws.amazon.com/sagemaker/latest/dg/train-vpc.html#train-vpc-groups
Normalerweise würden Sie die gesamte Kommunikation zwischen den Trainingsknoten zulassen. Geben Sie dazu als Quelle und Ziel der Sicherheitsgruppe den Namen der Sicherheitsgruppe selbst an und lassen Sie den gesamten IPv4-Datenverkehr zu. Wenn Sie herausfinden möchten, welche Ports verwendet werden, können Sie: 1/ die zulässige Sicherheitsgruppe definieren. 2/ Schalten Sie die VPC-Flussprotokolle ein. 3/ Führen Sie das Training durch. 4/ Untersuchen Sie die VPC-Flussprotokolle. 5/ Aktualisieren Sie die Sicherheitsgruppe nur auf die erforderlichen Ports.
Ich muss sagen, die Einschränkung der Kommunikation zwischen den Trainingsknoten könnte ein Extrem sein, also würde ich den Kunden hinterfragen, warum es wirklich nötig ist, da alle Knoten die gleiche Aufgabe haben, die gleiche IAM-Rolle haben und von Natur aus transiativ sind.
Beantwortet von – Kyle Gallatin
Antwort geprüft von – Senaida (FixError Volunteer)
