<div dir="ltr"><div dir="ltr">Dear Herman,<br><br></div><div>Thank you for reaching out. Recently our servers started being routinely<br>overwhelmed by search engine/AI platform crawler bots, therefore we<br>had to implement a slightly stricter automatic blocking policy. Your usage<br></div><div>does not seem to fall under this category therefore we will whitelist your<br></div><div>server IP. Could you please let us know if this fixed the issue on your end?<br><br></div><div>As for your suggestion, optimising your workflow to minimise the number<br></div><div>of queries is always welcome (as well as pausing between several queries).<br>However, in this case the CIF download itself is probably the more expensive<br>query (could please provide some specifics on how you download the files?).<br>You are welcome to continue downloading COD files using your current approach,<br>but I would also recommend looking into downloading the entire COD dataset<br>and serving it from a local copy (see <a href="https://wiki.crystallography.net/howtoobtaincod/">https://wiki.crystallography.net/howtoobtaincod/</a>).<br>Specifically, the Subversion or rsync approaches would be the easiest to keep in<br>sync and up to date.</div><div><br></div><div>Sincerely,</div><div>Antanas</div><br></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Wed, 21 May 2025 at 12:28, Herman Bergwerf <<a href="mailto:post@hbergwerf.nl">post@hbergwerf.nl</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
I am experiencing some issues with using COD on <a href="http://molview.org" rel="noreferrer" target="_blank">molview.org</a>; we are<br>
accessing the COD MySQL database and the <a href="http://crystallography.net" rel="noreferrer" target="_blank">crystallography.net</a> cif files,<br>
but these are no longer working and we are wondering if the server we<br>
are hosting <a href="http://molview.org" rel="noreferrer" target="_blank">molview.org</a> on is being blocked by the firewall.<br>
<br>
Our server IP is: 68.66.248.52<br>
<br>
<a href="http://molview.org" rel="noreferrer" target="_blank">molview.org</a> is on shared hosting without SSH access, so sadly I have<br>
very limited access for debugging this (but I can ask the support team<br>
if needed).<br>
<br>
I can imagine there were unreasonably many requests to the MySQL<br>
database coming from our server. I quite inefficiently programmed the<br>
CIF retrieval script to first check in the database if the COD record<br>
exists and has coordinates, and only after that do I attempt to<br>
download the CIF file. I can change this to just trying to download the<br>
CIF file, which should significantly reduce the load you are<br>
experiencing from <a href="http://molview.org" rel="noreferrer" target="_blank">molview.org</a><br>
<br>
Thanks,<br>
Herman Bergwerf<br>
<br>
<br>
-- <br>
This message has been scanned for viruses and<br>
dangerous content by MailScanner, and is<br>
believed to be clean.<br>
<br>
_______________________________________________<br>
Cod-bugs mailing list<br>
<a href="mailto:Cod-bugs@lists.crystallography.net" target="_blank">Cod-bugs@lists.crystallography.net</a><br>
<a href="http://lists.crystallography.net/cgi-bin/mailman/listinfo/cod-bugs" rel="noreferrer" target="_blank">http://lists.crystallography.net/cgi-bin/mailman/listinfo/cod-bugs</a><br>
</blockquote></div><div><br clear="all"></div><br><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div>Antanas Vaitkus,<br></div>Vilnius University,<br>Life Sciences Center,<br>Institute of Biotechnology,<br><span><span><span>room C521, </span></span></span>Saulėtekio al. 7,<br>LT-10257 Vilnius, Lithuania<br></div><div><div><div><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><br><br></div></div></div></div></div></div></div></div></div></div></div>
<br />-- 
<br />This message has been scanned for viruses and
<br />dangerous content by
<a href="http://www.mailscanner.info/"><b>MailScanner</b></a>, and is
<br />believed to be clean.