Email van ht-forum.nl komt in de spamfolder

[jazzy]

Hallo, nieuw lid hier. Worstel nog met crossovers en small of large speakersettings maar heb toevallig wel verstand van email. Viel me op dat de "Welcome to Htforum.nl" email in de spamfolder komt omdat mijn provider hem inschat als zijnde spam. Eén van de redenen is dat de SPF controle voor deze mail mislukt, de mail wordt verzonden door een server die volgens het SPF DNS-record van htforum.nl niet geautoriseerd is om mail te verzenden voor dit domein.

Het SPF-record voor htforum.nl is op dit moment:

v=spf1 include:spf.protection.outlook.com -all

De mail die ik kreeg werd verzonden van xxxxx dat IP-adres is geen onderdeel van wat in het SPF-record staat. Lijkt er op dat dit het IP-adres van de webserver is waar ook de site op draait. Als die het enige IP-adres is dat mail zou mogen verzenden voor dit domein dan zou het SPF-record er zo uit moeten zien:

v=spf1 ip4:xxxxxx-all

Of als er ook gemaild wordt vanuit Microsoft 365:

v=spf1 ip4:xxxxx
include:spf.protection.outlook.com -all

[quattronl]

Ik vind het ook wel een beetje irri dat de mails in m'n spamfolder komen.
Als dat gefixt kan worden zou dat fijn zijn 

[J.A.F._Doorhof]

Zou mooi zijn
Zelfs onze com domains worden vaak in de spam gegooid ;(
Dit is niet iets waar wij iets aan kunnen doen.
Behalve dat je zelf aangeeft dat het geen spam is

[Teejoo]

Zou mooi zijn
Zelfs onze com domains worden vaak in de spam gegooid ;(
Dit is niet iets waar wij iets aan kunnen doen.
Behalve dat je zelf aangeeft dat het geen spam is

Dat werkt helaas niet bij mij. Maar dit probleem speelt al lang.

[abbcdcg]

Dat werkt helaas niet bij mij. Maar dit probleem speelt al lang.

Hoe geef je dit aan? Afzender ook toegevoegd aan je adreslijst?

[Teejoo]

Hoe geef je dit aan? Afzender ook toegevoegd aan je adreslijst?

In outlook mail selecteren - rechtermuis - ongewenste mail - afzender of domein nooit blokkeren

[Raphie]

Zou mooi zijn
Zelfs onze com domains worden vaak in de spam gegooid ;(
Dit is niet iets waar wij iets aan kunnen doen.
Behalve dat je zelf aangeeft dat het geen spam is

Neem aan dat je dit toch of kan aangeven bij je hoster? of zelf aanpast? de oplossing staat hierboven, de vraag is wie het gaat aanpassen?

[J.A.F._Doorhof]

Het is gewoon niet te doen
Je staat elke week wel weer ergens anders op een spamlijst of er zijn leuke providers die gewoon een hele ip reeks blokken.

Je blijft er mee bezig (en dat doen we ook)
Ondertussen is Whatsapp of Messenger een betrouwbaarder medium dan email.

[Raphie]

dit gaat niet over spamlijsten, maar over spoofing, een standaard security check, waar je nu niet doorheen komt omdat de mailserver op VM verkeer geconfigureerd staat en de IP van je hoster naar buiten komt https://support.google.com/a/answer/33786?hl=en

Dit staat los van op welke zwarte lijsten je wel of niet staat.

[J.A.F._Doorhof]

Aparte is dat ik gewoon alles in mijn normale box krijg. En veel andere ook. We zijn daar al eens mee bezig geweest.

Toen kregen mensen helemaal geen mails.
Dat is toen opgelost voor 99%
Met dit soort dingen kan ik weinig omdat aan onze kant alles goed lijkt te staan. Alleen mailen we vanaf een ander domain. En daar is niets aan te doen als we willen dat 99% aankomt

[jazzy]

Nee, het staat niet goed. Ik heb hierboven uitgelegd waarom en hoe je het op kunt lossen. Stel gerust vragen als je meer wilt weten.

[J.A.F._Doorhof]

Je geeft een link.
Maar niet hoe ik dat in smf kan oplossen
Daar is heel simpel maar 1 optie. En geen extras

[Deleted User]

Nee, het staat niet goed. Ik heb hierboven uitgelegd waarom en hoe je het op kunt lossen. Stel gerust vragen als je meer wilt weten.

Ik weet niet, maar dat is geen uitleg, je geeft aan WAT je aan moet passen en niet HOE je dat moet doen. Je kan ook de informatie brengen. Als ik wil dat gebruikers iets zelf aanpassen, dan stuur ik ze een gebruikershandleiding: "Ga naar...., druk op..... Open..... enz enz, en dat gevisualiseerd met afbeeldingen en hier en daar omcirkeld.... DAT is een uitleg waar niet-email specialisten iets aan hebben.

ps.... ik heb gebruikershandleidingen geschreven voor grote ICT projecten....

[J.A.F._Doorhof]

Thx
Ik weet best wel wat maar dit is dermate technisch dat ik hier geen chocola van kan maken. Sorry.

En aangezien nu in ieder geval alles wel aankomt ben ik ook best terughoudend met alles aanpassen. Helemaal omdat een simpele toevoegen aan adres boek al werkt.

[jazzy]

Ik weet niet, maar dat is geen uitleg, je geeft aan WAT je aan moet passen en niet HOE je dat moet doen. Je kan ook de informatie brengen. Als ik wil dat gebruikers iets zelf aanpassen, dan stuur ik ze een gebruikershandleiding: "Ga naar...., druk op..... Open..... enz enz, en dat gevisualiseerd met afbeeldingen en hier en daar omcirkeld.... DAT is een uitleg waar niet-email specialisten iets aan hebben.

ps.... ik heb gebruikershandleidingen geschreven voor grote ICT projecten....

Ik ben hier nieuw en weet niet wie mijn publiek is, ik weet niet of het één persoon is die de techniek regelt of een team die elkaar aan kan vullen. Daarom heb ik het eerst even bij de essentie gehouden. Het allerbelangrijkste is namelijk dat niet ik, maar de beheerders van het forum begrijpen wat het probleem is en waarom het aanpassen van het DNS-record dat gaat verhelpen.

Op dit moment denk ik niet dat J.A.F._Doorhof begrijpt wat het probleem is en snap heel goed dat hij daarom terughoudend is om iets aan te gaan passen. De volgende stap is dan ook dat we het over SPF gaan hebben zodat het wel duidelijk wordt.

De volgende stap is zeker niet dat ik een stap voor stap handleiding ga maken om een DNS-record aan te passen. Dat zou ook een enorm risico zijn omdat ik geen inzicht heb in de rest van de infrastructuur, ik heb bijvoorbeeld geen inzicht in andere diensten die gebruikt worden om mail te verzenden met dit domein. Kan bijvoorbeeld best zijn er een maandelijkse nieuwsbrief verzonden wordt met Mailchimp, of dat de beheerders met dit domein mailen vanuit Office 365.

[jazzy]

Thx
Ik weet best wel wat maar dit is dermate technisch dat ik hier geen chocola van kan maken. Sorry.

En aangezien nu in ieder geval alles wel aankomt ben ik ook best terughoudend met alles aanpassen. Helemaal omdat een simpele toevoegen aan adres boek al werkt.

Nee, niet alles komt aan. Laat me uitleggen waarom.

Een SPF-record is een regel text waarin de eigenaar van een domein, ht-forum.nl in dit geval, aangeeft welke mailservers namens dit domein mogen mailen. Ontvangende mailservers lezen dit SPF-record na het ontvangen van een mail om te bepalen of het van een server komt die volgens de eigenaar van het domein mag mailen. Als de uislag van die controle negatief is dan is het aan de ontvangende server om te bepalen wat ze met de mail doen. Sommige servers zullen de mail verwijderen en niet in de mailbox laten komen, andere markeren hem als waarschijnlijk spam zodat de mail in een spamfolder komt. Hoe de ontvangende server omgaat met mail waar SPF niet klopt kun je niet beïnvloeden.

Laten we nog eens naar het huidige SPF-record kijken:
v=spf1 include:spf.protection.outlook.com -all

Dit wordt gelezen van links naar rechts:
v=spf1: header die aangeeft dat dit het SPF-record is, is altijd hetzelfde
include:spf.protection.outlook.com: het woord include zorgt er voor dat de ontvangende server een nieuw SPF-record gaat uitlezen, ditmaal dit voor domeinnaam spf.protection.outlook.com. Omdat ik dit record herken hoef ik het niet op te zoeken, dit record bevat alle IP-adressen van de Microsoft 365 servers.
-all: Uiterst rechts, het laatste stukje van het record. All slaat op alle overige IP-adressen en het - teken staat voor HardFail.

Hoe gaat dit nu als de ontvangende server en mail van het forum krijgt? Het IP-adres van de zendende server is 1.2.3.4 (*) en de domeinnaam is ht-forum.nl. De ontvangende server doet nu een DNS-verzoek om het SPF-record voor ht-forum.nl op te vragen. Vervolgens gaat de server van links naar rechts door het record op zoek naar een hit voor het 1.2.3.4 IP-adres. In ons geval staat is dit IP-adres niet onderdeel van include:spf.protection.outlook.com dus komen we uiterst rechts aan bij -all. Het IP-adres valt wel binnen 'all' en het minteken geeft aan dat de uitslag negatief is. De ontvangende server registreert een HardFail en zal het mailtje weggooien of in de spamfolder zetten.

Met andere woorden, op dit moment vertellen we ontvangende servers expliciet dat mail van 1.2.3.4 verdacht is en niet van een echte server van ht-forum.nl komt. Om dit op te lossen moeten we het record dus op zo'n manier aanpassen dat er een hit is wanneer het SPF-record gescand wordt voor 1.2.3.4. En dat kan door een sectie toe te voegen aan het record, meest eenvoudig is om direct dit IP-adres te vermelden. Dan ziet het record er dus zo uit:

v=spf1 include:spf.protection.outlook.com ip4:1.2.3.4 -all

Maar het mag ook dit zijn:

v=spf1 ip4:1.2.3.4 include:spf.protection.outlook.com -all

Met deze aanpassing halen we dus niets weg, er gaat niest stuk wat nu wel werkt. Wat we wel doen is een toevoeging maken waardoor mail van 1.2.3.4 niet langer aangemerkt wordt als spam.

Tenslotte het hoe. Een SPF-record staat in de publieke DNS-zone voor ht-forum.nl, ik denk dat je voor DNS toegang hebt gekregen tot een beheerportal bij IPS. Het aanpassen van het record is niet moeilijk, maar ik zou je aanraden om dit even samen te doen met iemand die meer ervaring met DNS heeft. Een foutje is snel gemaakt en veel beheerportals zijn wat onduidelijk of werken op een bijzondere manier. Ik zou best even mee willen kijken, maar er zullen vast meer ervaren IT-ers op het forum zijn waaronder misschien mensen die je al kent.

(*) Ik zie dat je het werkelijke IP-adres in mijn eerste bericht hebt gemaskeerd. Dat is werkelijk niet nodig, elke computer op internet weet dat dit het IP-adres van de ht-forum.nl server is en iedereen die een mailtje van dit systeem krijgt kan het IP-adres zien in de headers, de broncode van de email. Er is niets geheimzinnigs aan dit IP-adres, het is gewoon publieke informatie. Maar voor nu zal ik even een denkbeeldig IP-adres gebruiken.

Edit: Ik vergeet helemaal om bewijsmateriaal bij te voegen. Toen ik de mail van het forum vond heb ik even in de broncode gekeken waarom deze in de spamfolder komt. Daar vond ik het volgende:

Received: from AM0PR02MB4308.eurprd02.prod.outlook.com (2603:10a6:208:d4::26)
by AM4PR0202MB2849.eurprd02.prod.outlook.com with HTTPS; Fri, 22 Jan 2021
12:04:06 +0000
Received: from AM5PR0201CA0014.eurprd02.prod.outlook.com
(2603:10a6:203:3d::24) by AM0PR02MB4308.eurprd02.prod.outlook.com
(2603:10a6:208:d4::26) with Microsoft SMTP Server (version=TLS1_2,
cipher=TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384) id 15.20.3784.12; Fri, 22 Jan
2021 12:04:05 +0000
Received: from VE1EUR01FT055.eop-EUR01.prod.protection.outlook.com
(2603:10a6:203:3d:cafe::cb) by AM5PR0201CA0014.outlook.office365.com
(2603:10a6:203:3d::24) with Microsoft SMTP Server (version=TLS1_2,
cipher=TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384) id 15.20.3784.11 via Frontend
Transport; Fri, 22 Jan 2021 12:04:05 +0000
Authentication-Results: spf=fail (sender IP is 1.2.3.4)
smtp.mailfrom=ht-forum.nl; mellema.net; dkim=none (message not signed)
header.d=none;mellema.net; dmarc=fail action=none
header.from=gmail.com;compauth=fail reason=001
Received-SPF: Fail (protection.outlook.com: domain of ht-forum.nl does not
designate 1.2.3.4 as permitted sender) receiver=protection.outlook.com;
client-ip=1.2.3.4; helo=FDF-WEB-001.fdf.local;

In de laatste regels lees je dat de mailservers van mijn provider de SPF-check gedaan hebben en tot de conclusie komen dat 1.2.3.4 GEEN mail voor ht-forum.nl mogen verzenden.

[Teejoo]

Is het een idee dat jij Frank hierbij helpt en wellicht zijn er nog andere zaken op ict gebied waarbij een systeembeheerder kan helpen? Vroeger hadden we ook een lid dat daarin super ondersteund heeft als een soort systeembeheer admin.

[J.A.F._Doorhof]

Ik doe op dit moment alles alleen en mijn kennis is zeer beperkt met dit soort dingen

Dus elke vorm van hulp is meer dan welkom.

[jazzy]

Ik doe op dit moment alles alleen en mijn kennis is zeer beperkt met dit soort dingen

Dus elke vorm van hulp is meer dan welkom.

Het aanbod staat. Als je meer uitleg wilt of dat ik even meekijk met het daadwerkelijk aanpassen dan kunnen we dat misschien beter offline doen. Stuur gerust een PB om wat af te spreken.

[jazzy]

Goed, we zijn een stap verder. We hebben een DNS-record aangepast waardoor de SPF spamcontrole nu goed verloopt. Je provider of mailserver zou de mail dus niet meer mogen weigeren of in je spamfolder plaatsen om deze reden.

Wanneer je nu naar de headers van een forummail kijkt dan zou je een regel als deze moeten zien:

Authentication-Results: spf=pass (sender IP is 1.2.3.4) smtp.mailfrom=ht-forum.nl

Helaas is er nog meer met de mails aan de hand waardoor je provider ze nog steeds als verdacht kan aanmerken. Dat heeft te maken met de verschillende afzender- en antwoordmailaddressen die in de mails staan, je provider kan daardoor denken dat we proberen te doen alsof we iemand anders zijn, spoofing heet dat.

Ik heb inmiddels een paar vragen voor Frank en de andere admins om te begrijpen waarom het werkt hoe het werkt, wie weet kunnen we daar een slimmere oplossing voor vinden. Wordt vervolgd.

Feedback is welkom trouwens, ziet iemand al verbetering?

[fugazi_2009]

Yeah,  voor het eerst sinds heeeel lang weer een notificatie e-mail!

[J.A.F._Doorhof]

Top

[i2Paq]

Helaas is er nog meer met de mails aan de hand waardoor je provider ze nog steeds als verdacht kan aanmerken. Dat heeft te maken met de verschillende afzender- en antwoordmailaddressen die in de mails staan, je provider kan daardoor denken dat we proberen te doen alsof we iemand anders zijn, spoofing heet dat

Hoe moet ik dat zien dan?

Mijn eigen domeinen sturen hun e-mail met een from/reply adres wat bij het domein hoort.

Waarom kan dat hier niet?

[jazzy]

Hoe moet ik dat zien dan?

Mijn eigen domeinen sturen hun e-mail met een from/reply adres wat bij het domein hoort.

Waarom kan dat hier niet?

Dat is dus precies wat ik even wil uitzoeken. 

[J.A.F._Doorhof]

Probleem is denk ik omdat we via een andere SMTP mailen op dit moment.
De mails die via het forum zelf liepen kwamen (ook bij mij) niet of slecht aan, na de aanpassing van een paar maanden geleden kwam het bij 90% wel aan of in de spam.
Maar ze komen dus niet vanaf htforum.nl

Kan dat het zijn.