40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 84 of 344  Not logged in ELOG logo
Entry  Sat Jun 6 14:07:30 2020, Jon, Update, BHD, Stock-Part Mode-Matching Telescope Option ASpathStock.pdfLOpathStock.pdf
Summary

For the initial phase of BHD testing, we recently discussed whether the mode-matching telescopes could be built with 100%
stock optics. This would allow the optical system to be assembled more quickly and cheaply at a stage when having ultra-low loss and scattering is less
important. I've looked into this possibility and conclude that, yes, we do have a good stock optics option.
    Reply  Mon Jun 8 17:40:22 2020, Jon, Update, BHD, Astigmatism and scattering plots LOpathStock2.pdf
MM_total = (MM_vert + MM_horiz) / 2. 

The large astigmatic MM loss in the LO case is mainly due to the strong LO4 curvature (R=0.15m) with a 10 deg AOI. I looked again at whether
LO1 could be increased from R=5m to the next higher stock value of 7.5m, as this would allow weaker curvatures on LO3 and LO4. However, no, that is not
    Reply  Mon Jun 8 21:45:47 2020, Jon, Update, BHD, Astigmatism and scattering plots 
Hmm? T1300364 suggests MM_total = Sqrt(MM_Vert * MM_Horiz)
    Reply  Tue Jun 9 14:55:43 2020, Jon, Update, BHD, MM telescope actuation range requirments 
I don't think we ever discussed why the angular RMS of the ETMs is so much higher than the ITMs. Maybe that's a separate matter because, even
assuming the worst case, the actuation range requirement is

(0.82 μrad RMS) x (15 μrad/μrad) x (10 safety factor) = 0.12 mrad
    Reply  Thu Jun 11 09:37:38 2020, Jon, Update, BHD, Conclusions on Mode-Matching Telescopes 
After further astigmatism/tolerance analysis [ELOG 15380, 15387]
our conclusion is that the stock-optic telescope designs [ELOG
15379] are sufficient for the first round of BHD testing. However, for the final BHD hardware we should still plan
    Reply  Tue Jun 16 13:35:03 2020, Jon, Update, VAC, Temporary vac fix / IFO usable again Pumpdown.png
[Jon, Jordan, Koji]

Today Jordan reconfigured the vac system to allow pumping of the main volume resume, with Jon and Koji remotely advising. All clear to
resume normal IFO activities. However, the vac system is operating in a temporary configuration that will have to be reverted as we locate replacement
    Reply  Thu Jun 18 11:00:24 2020, Jon, Update, VAC, Questions/comments on vacuum 



Quote:




Isn’t it true that we didn’t digitally monitor any of the TP diagnostic channels
before 2018 December? I don’t have the full history but certainly there wasn’t any failure of the vacuum system connected to pump current/temp/speed
    Reply  Thu Jun 18 14:13:03 2020, Jon, Update, VAC, Questions/comments on vacuum 
I agree there were MEDM fields, but I can't find any record of these channels
being recorded till 2018 December, so I don't agree that they were being digitally monitored. You can also look back in the elog (e.g. here
and here) and see that the display fields are just blank. I
Entry  Thu Jun 18 22:33:57 2020, Jon, Omnistructure, VAC, Vac hardware purchase list 
Replacement Hardware Purchase List

I've created a purchase
list of hardware needed to restore the aging vacuum system. This wasn't planned as part of the BHD upgrade, but I've added it to
the BHD procurement list since hardware replacements have become necessary.
    Reply  Fri Jun 19 07:40:49 2020, Jon, Update, VAC, Questions/comments on vacuum 
I think we should discuss interlock possibilities at a 40m meeting. I'm reluctant to make the system more complicated, but perhaps we can
find ways to reduce the reliance on the turbo pump readbacks. I agree they've proven to be the least reliable.

While we may be able to improve the tolerance to certain kinds of hardware malfunctions (and if so, we should), I don't see interlocks triggering
Entry  Mon Jun 22 10:43:25 2020, Jon, Configuration, VAC, Vac maintenance at 11 am 
The vac system is going down at 11 am today for planned maintenance:


Re-install the repaired TP2 and TP3 dry pumps [ELOG 15417]
Incorporate
an auto-mailer and flag channel into the controls code for signaling tripped interlocks [ELOG 15413]


We
    Reply  Mon Jun 22 20:06:06 2020, Jon, Configuration, VAC, Vac maintenance complete Pumpdown-6-22-20.png
This work is finally complete. The dry pump replacement was finished quickly but the controls updates required some substantial debugging.

For one, the mailer code I had been given to install would not run against Python 3.4 on c1vac, the version run by the vac controls since about
a year ago. There were some missing dependencies that proved difficult to install (related to Debian Jessie becoming unsupported). I ultimately solved
Entry  Wed Jul 1 18:03:04 2020, Jon, Configuration, VAC, UPS replacements 
​I looked into how the new UPS devices suggested by Chub would communicate with the vac interlocks. There are several possible ways, listed in
order of preference:


Python interlock service directly queries the UPS via a USB link using the (unofficial) tripplite
Entry  Mon Jul 6 15:10:40 2020, Jon, Summary, BHD, 40m --> A+ BHD design analysis 
As suggested last week, Hang and I have reviewed the A+ BHD status (DRD, CDD, and reviewers' comments)
and compiled a list of key unanswered questions
which could be addressed through Finesse analysis.
Entry  Thu Jul 9 16:02:33 2020, Jon, HowTo, CDS, Procedure for setting up BHD front-ends 
Here is the procedure for setting up the three new BHD front-ends (c1bhd, c1sus2, c1ioo - replacement). This plan is based on technical advice from Rolf
Bork and Keith Thorne.

The overall topology for each machine is shown here.
    Reply  Thu Jul 9 18:00:35 2020, Jon, Configuration, VAC, UPS replacements 
Chub has placed the order for two new UPS units (115V for TP2/3 and a 220V version for TP1).

Tripp Lite SMX1000RT2U: https://www.grainger.com/product/TRIPP-LITE-UPS-System-36HW20

Tripp
Lite Smart1000LCD: https://www.grainger.com/product/TRIPP-LITE-Smart-UPS-1AYA6

They
Entry  Thu Jul 23 15:58:24 2020, Jon, Summary, VAC, Vacuum controls refurbishment plan 
This year we've struggled with vacuum controls unreliability (e.g., spurious interlock triggers) caused by decaying hardware. Here are details
of the vacuum refurbishment plan I described on the 40m call this week.

☑ Refurbish TP2 and TP3 dry pumps. Completed [ELOG
    Reply  Mon Jul 27 15:48:36 2020, Jon, Summary, VAC, Vacuum parts ordered 
To carry out the next steps of the vac refurbishment plan [ELOG 15499], I've ordered
parts necessary for interfacing the UPS units and the analog TP2/3 controller outputs with c1vac. The purchase list is appended to the main
BHD list and is located here. Some parts
Entry  Tue Jul 28 12:22:40 2020, Jon, Update, VAC, Vac interlock test today 1:30 pm 
This afternoon Jordan is going to carry out a test of the V4 and V5 hardware interlocks. To inform the interlock improvement plan [15499],
we need to characterize exactly how these work (they pre-date the 2018 upgrade). I have provided him a sequence of steps for each test and will also
be backing him up on Zoom.
    Reply  Tue Jul 28 14:11:14 2020, Jon, Update, VAC, Vac interlock test today 1:30 pm 
This test has been completed. The IFO configuration has been reverted to nominal.

For future reference: yes, both the V4 and V5 hardware interlocks were found to still be connected and work.
A TTL signal from the analog output port of each pump controller (TP2 and TP3) is connected to an auxiliary relay inside the main valve relay
    Reply  Fri Aug 14 10:03:37 2020, Jon, Update, CDS, Timing distribution slot availability 
That's great news we won't have to worry about a new timing fanout for the two new machines, c1bhd and c1sus2. And there's
no plan to change Dolphin IPC drivers. The plan is only to install the same (older) version of the driver on the two new machines and plug into free slots
in the existing switch.
Entry  Fri Aug 14 10:10:56 2020, Jon, Configuration, VAC, Vacuum repairs today 
The vac system is going down now for planned repairs [ELOG 15499]. It will likely take
most of the day. Will advise when it's back up.
    Reply  Sat Aug 15 02:02:13 2020, Jon, Configuration, VAC, Vacuum repairs today 
Vacuum work is completed. The TP2 and TP3 interlocks have been overhauled as proposed in ELOG
15499 and seem to be performing reliably. We're now back in the nominal system state, with TP2 again backing for TP1 and TP3 pumping
the annuli. I'll post the full implementation details in the morning.
    Reply  Sat Aug 15 15:12:22 2020, Jon, Configuration, VAC, Overhaul of small turbo pump interlocks small_tp_signal_routing.pngsmall_tp_interlock_signal.pngsmall_tp_signal_routing.pngmedm_screen.png
Summary

Yesterday I completed the switchover of small turbo pump interlocks as proposed in ELOG
15499. This overhaul altogether eliminates the dependency on RS232 readbacks, which had become unreliable (glitchy) in both controllers.
In their place, the V4(5) valve-close interlocks are now predicated on an analog controller output whose voltage goes high when the rotation
Entry  Mon Aug 24 08:13:56 2020, Jon, Update, VAC, UPS installation 
I'm in the lab this morning to interface the two new UPS units with the digital controls system. Will be out by lunchtime. The disruptions to the
vac system should be very brief this time.
    Reply  Mon Aug 24 11:25:07 2020, Jon, Update, VAC, UPS installation 
I'm leaving the lab shortly. We're not ready to switch over the vac equipment to the new UPS units yet.

The 120V UPS is now running and interfaced to c1vac via a USB cable. The unofficial tripplite
python package is able to detect and connect to the unit, but then read queries fail with "OS Error: No data received." The firmware has
Entry  Fri Sep 4 15:26:55 2020, Jon, Update, VAC, Vac system UPS installation 
The vac controls are going down now to pull and test software changes. Will advise when the work is completed.
    Reply  Fri Sep 4 21:12:51 2020, Jon, Update, VAC, Vac system UPS installation 
The vac work is completed. All of the vacuum equipment is now running on the new 120V UPS, except for TP1. The 230V TP1 is still running off wall power,
as it always has. After talking with Tripp Lite support today, I believe there is a problem with the 230V UPS. I will post a more detailed note in the
morning.
    Reply  Sat Sep 5 12:01:10 2020, Jon, Update, VAC, Vac system UPS installation vac_medm.pngvac_medm.png
Summary

Yesterday's UPS switchover was mostly a success. The new Tripp
Lite 120V UPS is fully installed and is communicating with the slow controls system. The interlocks are configured to trigger a
controlled shutdown upon an extended power outage (> ~30 s), and they have been tested. All of the 120V pumpspool equipment (the full c1vac/LAN/Acromag
Entry  Sun Sep 6 13:15:44 2020, Jon, Update, DAQ, UPS for framebuilder 
Now that the old APC Smart-UPS
2200 is no longer in use by the vacuum system, I looked into whether it can be repurposed for the framebuilder machine. Yes,
it can. The max power consumption of the framebuilder (a SunFire X4600)
Entry  Sun Sep 6 14:17:18 2020, Jon, Update, Equipment loan, Zurich Instruments analyzer 
On Friday, I grabbed the Zurich Instruments HF2LI lock-in amplifier and brought it home. As time permits, I will work towards developing a similar
readout script as we have for the SR785.
Entry  Thu Sep 10 15:43:22 2020, Jon, Update, BHD, Input noise spectra for A+ BHD modeling 
As promised some time ago, I've obtained input noise spectra from the sites calibrated to physical units. They are located in a new subdirectory
of the BHD repo: A+/input_noises. I've heavily annotated the notebook
that generates them (input_noises.ipynb) with aLOG references,
Entry  Wed Sep 16 12:03:07 2020, Jon, Update, VAC, Replacing pressure gauges vac_gauges.png
Assembled is the list of dead pressure gauges. Their locations are also circled in Attachment 1.




Gauge
Type
Location




CC1
Cold cathode
Main volume


CC3
Cold
    Reply  Wed Dec 2 12:27:49 2020, Jon, Update, VAC, Replacing pressure gauges 
Now that the new Agilent full-range gauges (FRGs) have been received, I'm putting together an installation plan. Since my last planning note
in Sept. (ELOG 15577), two more gauges appear to be malfunctioning: CC2 and PAN. Those are
taken into account, as well. Below are the proposed changes for all the sensors in the system.
    Reply  Thu Dec 3 14:53:58 2020, Jon, Update, VAC, Replacing pressure gauges 
Update to the gauge replacement plan (15692), based on Jordan's walk-through today. He
confirmed:


All of the gauges being replaced are mounted via 2.75" ConFlat flange. The new FRGs have the same footprint, so no adapters
    Reply  Thu Dec 10 13:05:52 2020, Jon, Update, VAC, UPS failure TP2_time_history.pngslow_controls_monitors.png
I've investigated the vacuum controls failure that occurred last night. Here's what I believe happened.

From looking at the system logs, it's clear that there was a sudden loss of power to the control computer (c1vac). Also, the system
was actually down for several hours. The syslog shows normal EPICS channel writes (pressure readback updates, etc., and many of them per minute) which
Entry  Thu Dec 10 17:12:43 2020, Jon, Update, , New SMA cables on order 
As requested, I placed an order for an assortment of new RF cables: SMA male-male, RG405.


x3 12"
x3 24"
x2 48"


They're expected to arrive mid next week.
Entry  Fri Dec 18 22:59:12 2020, Jon, Configuration, CDS, Updated CDS upgrade plan CDS_2020_Dec.pdfCDS_2020_Dec.graffle
Attached is the layout for the "intermediate" CDS upgrade option, as was discussed on Wednesday. Under this plan:



Existing FEs stay where they are (they are not moved to a single rack)


Dolphin IPC remains PCIe Gen 1
    Reply  Sat Dec 19 00:25:20 2020, Jon, Update, , New SMA cables on order 
I re-ordered the below cables, this time going with flexible, double-shielded RG316-DS.
Jordan will pick up and return the RG-405 cables after the holidays.




Quote:


    Reply  Thu Jan 14 12:19:43 2021, Jon, Update, CDS, Expansion chassis from LHO 
That's fine, we didn't actually request those. We bought and already have in hand new PCIe x4 cables for the chassis-host connection. They're
3 m copper cables, which was based on the assumption of the time that host and chassis would be installed in the same rack.




Quote:


    Reply  Fri Jan 15 15:06:42 2021, Jon, Update, CDS, Expansion chassis from LHO 
Koji asked me assemble a detailed breakdown of the parts received from LHO, which I do based on the high-res photos
that Gautam posted of the shipment.

Parts in hand:




Qty
    Reply  Tue Jan 19 13:19:24 2021, Jon, Update, CDS, Expansion chassis from LHO 
Indeed T1800302 is the document I was alluding to, but I completely missed the statement
about >3 GHz speed. There is an option for 3.4 GHz processors on the X10SRi-F board, but back in 2019 I chose against it because it would double
the cost of the systems. At the time I thought I had saved us $5k. Hopefully we can get the LLO machines in the near term---but if not, I wonder if
    Reply  Tue Jan 19 14:05:25 2021, Jon, Configuration, CDS, Updated CDS upgrade plan 40m_CDS_Network_-_Planned.pdf40m_CDS_Network_-_Current.pdf
I've produced updated diagrams of the CDS layout, taking the comments in 15476 into
account. I've also converted the 40m's diagrams from Omnigraffle ($150/license) to the free, cloud-based platform draw.io.
I had never heard of draw.io, but I found that it has most all the same functionality. It also integrates nicely with Google Drive.
Entry  Wed Feb 24 22:13:47 2021, Jon, Update, CDS, Planning document for front-end testing 
I've started writing up a rough testing sequence for getting the three new front-ends operational (c1bhd, c1sus2, c1ioo). Since I anticipate
this plan undergoing many updates, I've set it up as a Google doc which everyone can edit (log in with LIGO.ORG credentials).

Link to planning document
    Reply  Fri Mar 5 17:48:25 2021, Jon, Update, CDS, Front-end testing image_67203585.JPGimage_67216641.JPGimage_17185537.JPG
Today I moved the c1bhd machine from the control room to a new test area set up behind (west of) the 1X6 rack. The test stand is pictured in Attachment
1. I assembled one of the new IO chassis and connected it to the host.

I/O Chassis Assembly


LIGO-style 24V feedthrough replaced with an ATX 650W switching power supply
Timing slave
    Reply  Tue Mar 9 16:52:47 2021, Jon, Update, CDS, Front-end testing image_72192707.JPG
Today I continued with assembly and testing of the new front-ends. The main progress is that the IO chassis is now communicating with the host,
resolving the previously reported issue.

Hardware Issues to be Resolved

Unfortunately, though, it turns out one of the two (host-side) One Stop Systems PCIe cards sent from
    Reply  Tue Mar 16 16:27:22 2021, Jon, Update, CDS, Front-end testing 
Some progress today towards setting up an isolated subnet for testing the new front-ends. I was able to recover the fb1 backup disk using the Rescatux disk-rescue
utility and successfully booted an fb1 clone on the subnet. This machine will function as the boot server and DAQ server for the front-ends under
test. (None of these machines are connected to the Martian network or, currently, even the outside Internet.)
    Reply  Fri Mar 19 18:14:56 2021, Jon, Update, CDS, Front-end testing image_72192707_(1).JPGimage_50412545.JPG
Summary

Today I finished setting up the subnet for new FE testing. There are clones of both fb1 and chiara running on this subnet (pictured
in Attachment 2), which are able to boot FEs completely independently of the Martian network. I then assembled a second FE system (Supermicro host
and IO chassis) to serve as c1sus2, using a new OSS host adapter card received yesterday from LLO. I ran the same set of PCIe hardware/driver tests as
Entry  Fri Mar 19 19:15:13 2021, Jon, Update, CDS, c1auxey assembly 
Today I helped Yehonathan get started with assembly of the c1auxey (slow controls) Acromag chassis. This will replace the final remaining VME crate.
We cleared the far left end of the electronics bench in the office area, as discussed on Wed. The high-voltage supplies and test equipment was moved together
to the desk across the aisle.
    Reply  Wed Mar 24 19:02:21 2021, Jon, Update, CDS, Front-end testing 
This evening I prepared a new 2 TB 3.5" disk to hold a copy of /opt/rtcds and /opt/rtapps from chiara. This is the final piece of setup before model
compilation can be tested on the new front-ends. However chiara does not appear to support hot-swapping of disks, as the disk is not recognized when connected
to the live machine. I will await confirmation before rebooting it. The new disk is not currently connected.
ELOG V3.1.3-