40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 333 of 344  Not logged in ELOG logo
New entries since:Wed Dec 31 16:00:00 1969
    Reply  Sat Aug 15 15:12:22 2020, Jon, Configuration, VAC, Overhaul of small turbo pump interlocks small_tp_signal_routing.pngsmall_tp_interlock_signal.pngsmall_tp_signal_routing.pngmedm_screen.png
Summary

Yesterday I completed the switchover of small turbo pump interlocks as proposed in ELOG
15499. This overhaul altogether eliminates the dependency on RS232 readbacks, which had become unreliable (glitchy) in both controllers.
In their place, the V4(5) valve-close interlocks are now predicated on an analog controller output whose voltage goes high when the rotation
Entry  Mon Aug 24 08:13:56 2020, Jon, Update, VAC, UPS installation 
I'm in the lab this morning to interface the two new UPS units with the digital controls system. Will be out by lunchtime. The disruptions to the
vac system should be very brief this time.
    Reply  Mon Aug 24 11:25:07 2020, Jon, Update, VAC, UPS installation 
I'm leaving the lab shortly. We're not ready to switch over the vac equipment to the new UPS units yet.

The 120V UPS is now running and interfaced to c1vac via a USB cable. The unofficial tripplite
python package is able to detect and connect to the unit, but then read queries fail with "OS Error: No data received." The firmware has
Entry  Wed Aug 26 15:48:31 2020, gautam, Update, VAC, Control screen left open on vacuum workstation 
I found that the control MEDM screen was left open on the c1vac workstation. This should be closed every time you leave the workstation, to avoid
accidental button pressing and such.

The network outage meant that the EPICS data from the pressure gauges wasn't recorded until I reset everything ~noon. So there isn't
Entry  Fri Sep 4 15:26:55 2020, Jon, Update, VAC, Vac system UPS installation 
The vac controls are going down now to pull and test software changes. Will advise when the work is completed.
    Reply  Fri Sep 4 21:12:51 2020, Jon, Update, VAC, Vac system UPS installation 
The vac work is completed. All of the vacuum equipment is now running on the new 120V UPS, except for TP1. The 230V TP1 is still running off wall power,
as it always has. After talking with Tripp Lite support today, I believe there is a problem with the 230V UPS. I will post a more detailed note in the
morning.
    Reply  Sat Sep 5 12:01:10 2020, Jon, Update, VAC, Vac system UPS installation vac_medm.pngvac_medm.png
Summary

Yesterday's UPS switchover was mostly a success. The new Tripp
Lite 120V UPS is fully installed and is communicating with the slow controls system. The interlocks are configured to trigger a
controlled shutdown upon an extended power outage (> ~30 s), and they have been tested. All of the 120V pumpspool equipment (the full c1vac/LAN/Acromag
Entry  Wed Sep 16 12:03:07 2020, Jon, Update, VAC, Replacing pressure gauges vac_gauges.png
Assembled is the list of dead pressure gauges. Their locations are also circled in Attachment 1.




Gauge
Type
Location




CC1
Cold cathode
Main volume


CC3
Cold
Entry  Sat Sep 19 18:07:35 2020, Koji, Update, VAC, TP3 RP failure vac.pngScreen_Shot_2020-09-19_at_17.52.40.png
I came to the campus and Gautam notified that he just had received the alert from the vac watchdog.

I checked the vac status at c1vac. PTP3 went up to 10 torr-ish and this made the diff pressure for TP3 over 1torr. Then the watchdog kicked in.

To check the TP3 functionality, AUX RP was turned on and the manual valve (MV in the figure) was opened to pump the foreline of TP3. This easily
    Reply  Sat Sep 19 19:37:16 2020, not Koji, Update, VAC, TP3 RP failure 
Disconcerting because those tip seals were just replaced [15417]. Maybe they were just defective,
but if there is a more serious problem with the pump, there is a spare Varian roughing pump (the old TP2 dry pump) sitting at the X-end.

I reset the interlock error to unfreeze the vac controls (leaving V5 closed).
Entry  Mon Sep 21 15:57:08 2020, Jordan, Update, VAC, TP3 Forepump Replacement and Vac reset Screenshot_from_2020-09-21_15-56-04.png20200921_145043.jpg20200921_145040.jpg
I removed the forepump (Varian SH-110) for TP3 today to see why it had failed over the weekend. I tested it in the C&B lab and the ultimate pressure
was only ~40torr. I checked the tip seals and they were destroyed. The scroll housing also easily pulled off of the motor drive shaft, which is indicative
of bad bearings. The excess travel in the bearings likely led to significant increase in tip seal wear. This pump will need to be scrapped, or rebuilt.
Entry  Wed Sep 23 08:57:18 2020, gautam, Update, VAC, TP2 running HOT Screen_Shot_2020-09-23_at_8.55.39_AM.png
The interlocks tripped at ~630am local time. Jordan reported that TP2 was supposedly running at 52 C (!).

V1 was already closed, but TP2 was still running. With him standing by the rack, I remotely exectued the following sequence:


VM1 closed (isolates RGA volume).
VA6 closed (isolates annuli from being pumped).
V7 opened (TP3 now backs TP1,
    Reply  Wed Sep 23 10:06:52 2020, Koji, Update, VAC, TP2 running HOT Screen_Shot_2020-09-23_at_10.00.43.png
Here is the timeline. This suggests TP2 backing RP failure.

1st line: TP2 foreline pressure went up. Accordingly TP2 P, current, voltage, and temp went up. TP2 rotation went down.

2nd line: TP2 temp triggered the interlock. TP2 foreline pressure was still high (10torr) so TP2 struggled and was running at 1 torr.
Entry  Wed Sep 23 15:06:54 2020, Jordan, Update, VAC, TP2 Forepump Re-install Screenshot_from_2020-09-23_15-15-43.pngMainVolPumpDown.png
I removed the forepump to TP2 this morning after the vacuum failure, and tested in the C&B lab. I pumped down on a small volume 10 times, with no
issue. The ultimate pressure was ~30 mtorr.

I re-installed the forepump in the afternoon, and restarted TP2, leaving V4 closed. This will run overnight to test, while TP3 backs TP1.
Entry  Tue Oct 6 14:35:16 2020, Jordan, Update, VAC, Spare forepumps 
I have placed 3 new in box, IDP 7 forepumps along the x arm of the interferometer. These are to be used as spares for both the 40m and Clean and Bake.
Entry  Tue Nov 10 11:59:37 2020, gautam, Update, VAC, Stuck RV2 damagedThread.001.jpegIFOstatus.pngP1a_leakTest.png
I've uploaded some more photos here. I believe the problem is a worn out thread where the
main rotary handle attaches to the shaft that operates the valve.

This morning, I changed the valve config such that TP2 backs TP1 and that combo continues to pump on the main volume through the partially open
Entry  Wed Nov 18 17:51:50 2020, gautam, Update, VAC, Agilent pressure gauge controller delivered 
It is stored along with the cables that arrived a few weeks ago, awaiting the gauges which are now expected next week sometime.
    Reply  Mon Nov 23 16:33:10 2020, gautam, Update, VAC, More vacuum deliveries  
Five Agilent pressure gauges were delivered to the 40m. It is stored with the controller and cables in the office area. This completes the inventory
for the gauge replacement - we have all the ordered parts in hand (though. not necessarily all the adaptor flanges etc). I'll see if I can find some
cabinet space in the VEA to store these, the clutter is getting out of hand again...
    Reply  Wed Dec 2 12:27:49 2020, Jon, Update, VAC, Replacing pressure gauges 
Now that the new Agilent full-range gauges (FRGs) have been received, I'm putting together an installation plan. Since my last planning note
in Sept. (ELOG 15577), two more gauges appear to be malfunctioning: CC2 and PAN. Those are
taken into account, as well. Below are the proposed changes for all the sensors in the system.
Entry  Thu Dec 3 10:33:00 2020, gautam, Update, VAC, TrippLite UPS delivered DFDD4F39-3F8A-439D-888D-7C0CE2E030CF.jpeg
The latest greatest UPS has been delivered. I will move it to near the vacuum rack in its packaging for storage. It weighs >100lbs so care will have
to be taken when installing - can the rack even support this?
    Reply  Thu Dec 3 14:53:58 2020, Jon, Update, VAC, Replacing pressure gauges 
Update to the gauge replacement plan (15692), based on Jordan's walk-through today. He
confirmed:


All of the gauges being replaced are mounted via 2.75" ConFlat flange. The new FRGs have the same footprint, so no adapters
Entry  Wed Dec 9 20:14:49 2020, gautam, Update, VAC, UPS failure rackBeforenAfter.pdfIMG_0008.jpgIMG_0009.jpgvacStatus.png
Summary:


The (120V) UPS at the vacuum rack is faulty.
The drypump backing TP2 is faulty.
Current status of vacuum system: 

The
old UPS is now powering the rack again. Sometime ago, I noticed the "replace battery" indicator light on this unit was on. But it is no longer
    Reply  Thu Dec 10 11:07:24 2020, Chub, Update, VAC, UPS fault 
Is that a fault code that you can decipher in the manual, or just a light telling you nothing but your UPS is dead?
    Reply  Thu Dec 10 11:17:50 2020, Chub, Update, VAC, UPS fault 
I can't find anything in the manual that describes the nature of the FAULT message.  In fact, it's not mentioned at all.  If the unit
detects a fault at its output, I would expect a bit more information.  This unit does a programmable level of input error protection, too, usually
set at 100%.  Still, there is no indication in the manual whether an input issue would be described as a fault; that usually means a short or lifted
    Reply  Thu Dec 10 13:05:52 2020, Jon, Update, VAC, UPS failure TP2_time_history.pngslow_controls_monitors.png
I've investigated the vacuum controls failure that occurred last night. Here's what I believe happened.

From looking at the system logs, it's clear that there was a sudden loss of power to the control computer (c1vac). Also, the system
was actually down for several hours. The syslog shows normal EPICS channel writes (pressure readback updates, etc., and many of them per minute) which
    Reply  Thu Dec 10 14:29:26 2020, gautam, Update, VAC, UPS failure vacDiag1.png
I don't buy this story - P2 only briefly burped around GPStime 1291608000 which is around 8pm local time, which is when I was recovering the system.

Today. Jordan talked to Jon Feicht - apparently there is some kind of valve in the TP2 forepump, which only opens ~15-20 seconds after turning
the pump on. So the loud sound I was hearing yesterday was just some transient phenomenon. So today morning at ~9am, we turned on TP2. Once again, PTP2
Entry  Wed Jan 6 15:28:04 2021, gautam, Update, VAC, Vac rack UPS batteries replaced 
[chub, gautam]

the replacement was done this afternoon. The red "Replace Battery" indicator is no longer on.
Entry  Mon Apr 19 09:17:51 2021, Jordan, Update, VAC, Empty N2 Tanks N2_Pressure.PNG
When I came into the lab this morning, I noticed that both N2 tanks were empty. I had swapped one on Friday (4-16-21) before I left the lab. Looking
at the logs, the right tank (T2) sprung a leak shortly shortly after install. I leak checked the tank coupling after install but did not see a leak. There
could a leak further down the line, possibly at the pressure transducer.
    Reply  Wed Apr 21 12:56:00 2021, Jordan, Update, VAC, Empty N2 Tanks Screenshot_2021-04-21_12-53-26.png
Installed T2 today, and leaked checked the entire line. No issues found. It could have been a bad valve on the tank itself. Monitored T2 pressure for
~2 hours to see if there was any change. All seems ok.




Quote:


    Reply  Wed Apr 28 11:31:40 2021, Jon, Update, VAC, Empty N2 Tanks 
I checked out what happened on c1vac. There are actually two independent monitoring codes running:


The interlock service, which monitors the line directly connected to the valves.
A seaparate convenience mailer, running
as a cronjob, that monitors the tanks.


The interlocks did not trip because the low-pressure delivery line, downstream of the dual-tank
Entry  Wed Sep 1 14:16:21 2021, Jordan, Update, VAC, Empty N2 Tanks 
The right N2 tank had a bad/loose valve and did not fully open. This morning the left tank was just about empty and the right tank showed 2000+ psi on
the gauge. Once the changeover happened the copper line emptied but the valve to the N2 tank was not fully opened. I noticed the gauges were both reading
zero at ~1pm just before the meeting. I swapped the left tank, but not in time. The vacuum interlocks tripped at 1:04 pm today when the N2 pressure to
Entry  Wed Sep 8 18:00:01 2021, Koji, Update, VAC, cronjobs & N2 pressure alert 
In the weekly meeting, Jordan pointed out that we didn't receive the alert for the low N2 pressure.

To check the situation, I went around the machines and summarized the cronjob situation.
[40m wiki: cronjob summary]
Entry  Thu Oct 14 18:30:23 2021, Koji, Summary, VAC, Flange/Cable Stand Configuration 40m_flange_layout_20211014.pdf
Flange Configuration for BHD

We will need total 5 new cable stands. So Qty.6 is the number to be ordered.


Looking at the accuglass drawing, the in-vaccum cables are standard dsub 25pin cables only with two standard fixing threads.
Entry  Mon Oct 18 10:02:17 2021, Koji, Update, VAC, Vent Started / Completed Screen_Shot_2021-10-18_at_14.52.34.pngScreenshot_2021-10-18_15-08-59.png
[Chub, Jordan, Anchal, Koji]

- Checked the main volume is isolated.
- TP1 and TP2 were made isolated from other volumes. Stopped TP1. Closed V4 to isolate TP1 from TP2.
    Reply  Tue Oct 19 10:59:09 2021, Koji, Update, VAC, Vent Started / Completed 
[Chub, Jordan, Yehonathan, Anchal, Koji]

North door of the BS chamber opened

 
    Reply  Tue Oct 19 11:30:39 2021, Koji, Update, VAC, How to vent TP1 Screen_Shot_2021-10-18_at_14.52.34.png
I learned that TP1 was vented through the RGA room in the past. This can be done by opening VM2 and a manual valve ("needle valve")
I checked the setup and realized that this will vent RGA. But it is OK as long as we turns of the RGA during vent and bake it once
TP1 is back.
    Reply  Wed Oct 20 15:58:27 2021, Koji, Update, VAC, How to vent TP1 
Probably the hard disk of c0rga is dead. I'll follow up in this elog later today.

Looking at the log in /opt/rtcds/caltech/c1/scripts/RGA/logs , it seemed that the last RGA scan was Sept 2, 2021, the day when we
had the disk full issue of chiara.
Entry  Mon Dec 6 14:26:52 2021, Koji, Update, VAC, Pumping down the RGA section 
Jordan reported that the RGA section needs to be pumped down to allow the analyzer to run at sufficiently low pressure (P<1e-4 torr).
The RGA section was pumped down with the TP2/TP3. The procedure is as listed below.
If the pressure go up to P>1e-4 torr, we need to keep the pump running until the scan is ready.
    Reply  Tue Dec 7 13:12:50 2021, Koji, Update, VAC, Pumping down the RGA section 
So that Jordan can run the RGA scan this afternoon, I ran TP3 and started pumping down the RGA section.

Procedure:
- Same 1~4
    Reply  Wed Dec 8 10:14:43 2021, Jordan, Update, VAC, Pumping down the RGA section 40m_RGAVolume_12_8_21.PNG40m_RGAVolume_Torr_12_8_21.PNG
After an overnight pumpdown/RGA warm up, I took a 100 amu scan of the RGA volume and subsequent pumping line. Attached is a screenshot along with the
.txt file. Given the high argon peak (40) and the N2/O2 ratio, it looks like there is a decent sized air leak somehwere in the volume.

Are we interested in the hydrocarbon leak rates of this volume? That will require another scan with one of the calibrated leaks opened.
    Reply  Fri Dec 10 19:22:01 2021, Koji, Update, VAC, Pumping down the RGA section 
The scan result was ~x10 higher than the previously reported scan on 2020/9/15 (https://nodus.ligo.caltech.edu:8081/40m/15570),
which was sort of high from the reference taken on 2018/7/18.

This just could mean that the vacuum level at the RGA was x10 high.
Entry  Wed Dec 15 15:06:08 2021, Jordan, Update, VAC, Vacuum Feedthru Install 
Jordan, Chub

We installed the 4x DB25 feedthru flange on the North-West port of ITMX chamber this afternoon. It is ready to go.
Entry  Tue Dec 21 16:35:39 2021, Koji, Update, VAC, ITMX NW feedthru (LO1-1) connector pin bent PXL_20211222_002019620.jpgPXL_20211222_003014068.jpg
I've received a report that a pin of an ITMX NW feedthru connector was bent. (Attachment 1)
The connector is #1 (upper left) and planned to be used for LO1-1.

This is Pin25 and used for the PD K of OSEM #1. This means that Coil Driver #1 (3 OSEMs) uses this pin, but Coil Driver #2 (2 OSEMs) does not.
Entry  Mon Jan 31 10:39:19 2022, Jordan, Update, VAC, TP1 and Manual Gate Valve Removal 20220131_100637.jpg20220131_102807.jpg20220131_102818.jpg20220131_100647.jpg
Jordan, Chub

Today, Chub and I removed TP1 and the failed manual gate valve off of the pumping spool.

First, P2 needed to be vented in order to remove TP1. TP1 has a purge valve on the side of the pump which we slowly opened bringing the P2 volume
Entry  Thu Feb 3 10:25:59 2022, Jordan, Update, VAC, TP1 and Manual Gate Valve Install 20220203_101455.jpg20220203_094831.jpg20220203_094823.jpg
Jordan, Chub

Chub and I installed the new manual gate valve (Nor-Cal GVM-6002-CF-K79) and reinstalled TP1. The new gate valave was placed with the sealing
side towards the main 40m volume, then TP1 was installed on top and the foreline reattched to TP1.
Entry  Sat Feb 26 01:01:40 2022, Tega, Update, VAC, Ongoing work to get the FRG gauges readouts to EPICs channels 
I will make a detailed elog later today giving a detailed outline of the connection from the Agilent gauge controller to the vacuum subnet and the
work I have been doing over the past two days to get data from the unit to EPICs channels. I just want to mention that I have plugged the XGS-600 gauge
controller into the serial server on the vacuum subnet. I check the vacuum medm screen and I can confirm that the other sensors did not experience and
    Reply  Sat Feb 26 15:45:14 2022, Tega, Update, VAC, Ongoing work to get the FRG gauges readouts to EPICs channels Vac-gauges-flow-diagram.png
I have attached a flow diagram of my understanding of how the gauges are connected to the network.

Earlier today, I connected the XGS-600 gauge controller to the IOLAN Serial Device Server on port 192.168.114.22 .

The plan is a follows:
    Reply  Mon Feb 28 19:15:10 2022, Tega, Update, VAC, Ongoing work to get the FRG gauges readouts to EPICs channels 
I decided to create an independent service for the XGS data readout so we can get this to work first before trying to integrate into current system.
After starting the service, I noticed that the EPICS channel were not updating as expected. So I started to debug the problem and managed to track it down
to an ip socket connect() error, i.e. we get a connection error for the ip address assigned to the LAN port to which the XGS box was connected. After trying
    Reply  Tue Mar 1 20:38:49 2022, Tega, Update, VAC, Ongoing work to get the FRG gauges readouts to EPICs channels Working_Serial_Port_List_1.pngWorking_Serial_Port_List_2.pngWorking_Config_Ports#1-5.pngWorking_Config_Ports#7-8.png
During my investigation, I inadvertently overwrote the serial port configuration for the connected devices. So I am now working to get it all back. I
have attached screenshots of the config settings that brought back communication that is not garbled. There is no physical connection to port 6, which
I guess was initially used for the UPS serial communication but not anymore. Also, ports 9 and 10 are connected to Hornet and SuperBee, both of which
    Reply  Wed Mar 2 11:50:39 2022, Tega, Update, VAC, Ongoing work to get the FRG gauges readouts to EPICs channels XGS600_IOLAN_settings_1.pngXGS600_IOLAN_settings_2.pngXGS600_USBserial_settings.pngXGS600_comm_test.pyXGS600_comm_test_result.txt
Here is the IOLAN SDS TCP socket setting and the USBserial setting for comparison.

I have also included the python script and output from the USBserial test from earlier.
ELOG V3.1.3-