40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 3 of 168  Not logged in ELOG logo
Entry  Thu Nov 4 18:29:51 2021, Tega, Update, SUS, Setting up suspension test model 
[Ian,Tega]

Today we continued working on setting up the 6 degrees of freedom model for testing the suspension which we copied over from  "/cvs/cds/rtcds/userapps/release/sus/c1/models/c1sup.mdl"
    Reply  Fri Nov 5 12:49:32 2021, rana, Update, SUS, Setting up suspension test model 
Please don't put it on c1sus2. Put it on the completely independent test stand as we discussed Wednesday. You must test the controller on
the simplant and verify that they thing is stable and works, before putting it in the 40m network.
       Reply  Mon Nov 8 17:52:22 2021, Ian MacMillan, Update, SUS, Setting up suspension test model x1sus_cp.png
[Ian, Tega]

We combined a controler and a plant model into a single modle (See first attachment) called x1sus_cp.mdl in the userapps folder
of the cymac in c1sim. This model combines 2 blocks: the controler block which is used to control the current optics and is found
Entry  Fri Nov 5 20:35:10 2021, Koji, Update, BHD, Feedthru / Optical Mounts P_20211105_200817.jpg
- New feedthrus [4xDB25 Qty 4 / 8xDB25 Qty 1] are placed on the wire shelf at the entrance -> Jordan, please clean them.

- There are plenty of 2" DLC mounts. There are also many 1.5" mounts but they are less useful.
  We need at least 3 1" moounts and 1 1" or 2" lens mount (and the lens). Let's purchase them on Thorlabs. I'll work
Entry  Wed Nov 3 16:55:23 2021, Ian MacMillan, Summary, SUS, SUS Plant Plan for New Optics 
[Ian, Tega, Raj]

This is the rough plan for the testing of the new suspension models with the created plant model. We will test the suspensions on the plant model
before we implement them into the full
Entry  Mon Nov 1 14:51:34 2021, Koji, Update, General, Checking the vent plan 
The vent team described a detailed vent plan (and reports where the actions have been performed)

https://wiki-40m.ligo.caltech.edu/vent/Fall2021

- [Sec.4] We should decide the final PR2 mirror through table-top measurements.
Entry  Sun Oct 31 14:21:31 2021, rana, HowTo, Treasure, IFOCad 
IFOcad model/video of the AEI 10m interferometer:

https://10m.aei.mpg.de/design-and-sensitivity/
Entry  Wed Oct 27 19:34:52 2021, Koji, Summary, Electronics, New electronics racks P_20211027_180737.jpgP_20211027_180443.jpgP_20211027_180408.jpgP_20211027_180139.jpg
1. The rack we cleaned today (came from West Bridge) will be placed between 1X3 and 1X4, right next to 1X4 (after removing the plastic boxes). (Attachment
1)
For easier work at the side of the 1X4, the side panel of the 1X4 should be removed before placing the new rack. Note that this
Entry  Tue Oct 26 14:53:24 2021, Koji, Update, Electronics, Rack P_20211026_143814.jpg
1. We have a rack at the 40m storage. We are free to take it to the lab. If there is a tag, tell the info to Liz. Let's move it to the lab tomorrow
right after the meeting.

2. We have a few racks in WB B1 (Attachment 1). Liz and I checked a rack which looks suitable for us. 46U height. Caltech transport will move
Entry  Tue Oct 26 13:27:07 2021, Tega, Summary, Electronics, Sat Amp modification Summary SapAmpModStack.jpgSatAmpInstalled.jpg
Modifications and testing of SatAmp units COMPLETE. Attachments 1 & 2 show all 19 units, one installed unit and the remaining 18 units are
stacked and ready for install. Detailed notes of the modification for each unit are presented in the summary document
in the dcc.
Entry  Thu Oct 21 11:38:43 2021, Jordan, Update, SUS, Standoffs for Side Magnet on 3" Adapter Ring SOS Assembly Magnet_Standoffs.jpg
I had 8 standoffs made at the Caltech chemistry machine shop to be used as spacers for the side magnets on the 3" Ring assembly. This is to create
enough clearance between the magnet and the cap screws directly above on the wire clamp.

These are 0.075" diameter by .10" length. Putting them through clean and bake now.
Entry  Mon Oct 18 10:02:17 2021, Koji, Update, VAC, Vent Started / Completed Screen_Shot_2021-10-18_at_14.52.34.pngScreenshot_2021-10-18_15-08-59.png
[Chub, Jordan, Anchal, Koji]

- Checked the main volume is isolated.
- TP1 and TP2 were made isolated from other volumes. Stopped TP1. Closed V4 to isolate TP1 from TP2.
    Reply  Tue Oct 19 10:59:09 2021, Koji, Update, VAC, Vent Started / Completed 
[Chub, Jordan, Yehonathan, Anchal, Koji]

North door of the BS chamber opened

 
       Reply  Tue Oct 19 11:30:39 2021, Koji, Update, VAC, How to vent TP1 Screen_Shot_2021-10-18_at_14.52.34.png
I learned that TP1 was vented through the RGA room in the past. This can be done by opening VM2 and a manual valve ("needle valve")
I checked the setup and realized that this will vent RGA. But it is OK as long as we turns of the RGA during vent and bake it once
TP1 is back.
          Reply  Wed Oct 20 15:58:27 2021, Koji, Update, VAC, How to vent TP1 
Probably the hard disk of c0rga is dead. I'll follow up in this elog later today.

Looking at the log in /opt/rtcds/caltech/c1/scripts/RGA/logs , it seemed that the last RGA scan was Sept 2, 2021, the day when we
had the disk full issue of chiara.
Entry  Mon Oct 18 16:48:32 2021, Tega, Update, Electronics, Sat Amp modifications IMG_20211018_162918574.jpg
[S2100738, S2100745, S2100751] Completed three more Sat Amp units modification with seven remaining.

 
Entry  Fri Oct 15 16:46:27 2021, Anchal, Summary, Optical Levers, Vent Prep Screen_Shot_2021-10-15_at_4.34.45_PM.pngScreen_Shot_2021-10-15_at_4.45.31_PM.pngScreen_Shot_2021-10-15_at_4.34.45_PM.pngScreen_Shot_2021-10-15_at_4.34.45_PM.png
I centered all the optical levers on ITMX, ITMY, ETMX, ETMY, and BS to a position where the single arm lock on both were best aligned. Unfortunately,
we are seeing the TRX at 0.78 and TRY at 0.76 at the most aligned positions. It seems less power is getting out of PMC since last month. (Attachment 1).

Then, I tried to lock PRMI with carrier with no luck. But I was able to see flashing of up to 4000 counts in POP_DC. At this position, I centered
    Reply  Fri Oct 15 17:17:51 2021, Koji, Summary, General, Vent Prep 7x
I took over the vent prep: I'm going through the list in [ELOG 15649] and [ELOG
15651]. I will also look at [ELOG 15652] at the day of venting.


IFO alignment: Two arms are already locking. The dark port beam is well overlapped. We will move PRM/SRM etc. So we don't need to
       Reply  Fri Oct 15 20:53:49 2021, Koji, Summary, General, Vent Prep 
From the IFO point of view, all look good and we are ready for venting from Mon Oct
18 9AM
Entry  Thu Oct 14 16:38:26 2021, Ian MacMillan, Update, General, Kicking optics in freeSwing measurment 
[Ian, Anchal]

We are going to kick the optics tonight at 2am.

The optics we will kick are the PRM BS ITMX ITMY ETMX ETMY
    Reply  Fri Oct 15 12:14:27 2021, Ian MacMillan, Update, General, Kicking optics in freeSwing measurment 20211015_Kicktest_plot.pdf
[Ian, Anchal]

we ran the free swinging test last night and the results match up with in 1/10th of a Hz. We calculated the peak using the getPeakFreqs2
script to find the peaks and they are close to previous values from 2016.
Entry  Thu Oct 14 20:16:22 2021, Yehonathan, Update, General, PRMI free swinging 
{Yehonathan, Raj}

We aligned the IFO in the PRMI state and let it swing freely.
Entry  Thu Oct 14 18:30:23 2021, Koji, Summary, VAC, Flange/Cable Stand Configuration 40m_flange_layout_20211014.pdf
Flange Configuration for BHD

We will need total 5 new cable stands. So Qty.6 is the number to be ordered.


Looking at the accuglass drawing, the in-vaccum cables are standard dsub 25pin cables only with two standard fixing threads.
Entry  Mon Sep 20 12:20:31 2021, Paco, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements PRM_PIT_ACT_TF.pdfPRM_YAW_ACT_TF.pdfBS_PIT_ACT_TF.pdfBS_YAW_ACT_TF.pdf
[yehonathan, paco, anchal]

We attempted to find any symptoms for actuation problems in the PRMI configuration when actuated through BS and PRM.

Our logic was to check angular (PIT and YAW) actuation transfer function in the 30 to 200 Hz range by injecting appropriately (f^2) enveloped
    Reply  Mon Sep 20 14:22:00 2021, rana, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements 
I suggest plotting all the traces in the plot so we can see their differences. Also remove the 1/f^2 slope so that we can see small differences. Since
the optlev servos all have low pass filters around 15-20 Hz, its not necessary to turn off the optlev servos for this measurement.

I think that based on the coherence and the number of averages, you should also be able to use Bendat and Piersol so estimate the uncertainy
       Reply  Thu Sep 23 15:29:11 2021, Paco, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements BS_PRM_ANG_ACT_TF.pdf
[Anchal, Paco]

We had a second go at this with an increased number of averages (from 10 to 100) and higher excitation amplitudes (from 1000 to 10000). We did
this to try to reduce the relative uncertainty a-la-Bendat-and-Pearsol
          Reply  Fri Oct 1 14:25:27 2021, yehonathan, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements MICH_PRM_-0.34.pngMICH_PRM_-0.1.png
{Paco, Yehonathan, Hang}

We measured the sensing PRMI sensing matrix. Attachment 1 shows the results, the magnitude of the response is not calibrated. The orthogonality
between PRCL and MICH is still bad (see previous measurement for reference).
          Reply  Mon Oct 4 16:00:57 2021, Yehonathan, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements BS_PRM_ANG_ACT_TF_20211004.pdfBS_out_mat_20211004.txtPRM_out_mat_20211004.txt
{Yehonathan, Anchel}

In an attempt to fix the actuation of the PRMI DOFs we set to modify the output matrix of the BS and PRM such that the response of the coils
will be similar to each other as much as possible.
             Reply  Mon Oct 4 16:10:09 2021, rana, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements 
not sure that this is necessary. If you look at teh previous entries Gautam made on this topic, it is clear that the BS/PRM PRMI matrix is
snafu, whereas the ITM PRMI matrix is not.

Is it possible that the ~5% coil imbalance of the BS/PRM can explain the observed sensing matrix? If not, then there is no need to
             Reply  Tue Oct 5 20:04:22 2021, Paco, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements 
[Paco, Rana]

We had a look at the BS actuation. Along the way we created a couple of issues that we fixed. A summary is below.


First, we locked MICH. While doing this, we used the /users/Templates/ndscope/LSC/MICH.yml ndscope template to monitor some channels.
                Reply  Wed Oct 6 15:39:29 2021, Anchal, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements 
Note that your tests were done with the output matrix for BS and PRM in the compensated state as done in 40m/16374.
The changes made there were supposed to clear out any coil actuation imbalance in the angular degrees of freedom.
             Reply  Tue Oct 12 11:32:54 2021, Yehonathan, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements modified_output_matrices_radar_plots.pngnormal_output_matrices_radar_plots.png
Late submission (From Thursday 10/07):

I measured the PRMI sensing matrix to see if the BS and PRMI output matrices tweaking had any effect.

While doing so, I noticed I made a mistake in the analysis of the previous sensing matrix measurement. It seems that I have used the radar plot
                Reply  Tue Oct 12 16:39:52 2021, rana, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements 
should compare side by side with the ITM PRMI radar plots to see if there is a difference. How do your new plots compare with Gautam's plots of PRMI?
                   Reply  Thu Oct 14 13:40:49 2021, Yehonathan, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements BSPRM_Actuation_Radar_plots.pngITM_Actuation_Radar_plots.png
Here is a side by side comparison of the PRMI sensing matrix using PRM/BS actuation (attachment 1) and ITMs actuation (attachment 2). The situation looks
similar in both cases. That is, good orthogonality on REFL55 and bad seperation in the rest of the RFPDs.




Entry  Thu Oct 14 09:28:46 2021, Yehonathan, Update, PSL, PMC unlocked 
PMC has been unlocked since ~ 2:30 AM. Seems like the PZT got saturated. I moved the DC output adjuster and the PMC locked immidiatly although with a
low transmission of 0.62V (>0.7V is the usual case) and high REFL.

IMC locked immidiately but IFO seems to be completely misaligned. The beams on the AS monitor are moving quite alot syncronously. BS watchdog
    Reply  Thu Oct 14 11:25:49 2021, Yehonathan, Update, PSL, PMC unlocked BS_OSEM_Sensor_PSD.pdfBS_OSEM_Sensor_PSD_AfterReconnectingCables.pdf
{Yehonathan, Anchal}

I went to get a sandwich around 10:20 AM and when I came back BS was moving like crazy. We shutdown the watchdog.

We look at the spectra of the OSEMs (attachment 1). Clearly, the UR sensing is bad.
Entry  Wed Oct 13 15:36:38 2021, Hang, Update, Calibration, XARM OLTF Screenshot_2021-10-13_15-32-16.png
We did a few quick XARM oltf measurements. We excited C1:LSC-ETMX_EXC with a broadband white noise upto 4 kHz. The timestamps for the measurements are:
1318199043 (start) - 1318199427 (end).

We will process the measurement to compute the cavity pole and analog filter poles & zeros later.
Entry  Fri Oct 8 17:33:13 2021, Hang, Update, SUS, More PRM L2P measurements Screenshot_2021-10-08_17-30-52.png
[Raj, Hang]

We did some more measurements on the PRM L2P TF. 

We tried to compare the parameter estimation uncertainties of white vs. optimal excitation. We drove C1:SUS-PRM_LSC_EXC with "Normal"
    Reply  Mon Oct 11 11:13:04 2021, rana, Update, SUS, More PRM L2P measurements 
For the oplev, there are DQ channels you can use so that its possible to look back in the past for long measurements. They have names like PERROR
    Reply  Mon Oct 11 13:59:47 2021, Hang, Update, SUS, More PRM L2P measurements prm_l2p_tf_meas_white.pdfprm_l2p_tf_meas_opt.pdfprm_l2p_fisher_vs_data_white_vs_opt.pdfprm_l2p_Pxx_evol_v2.pdf
We report here the analysis results for the measurements done in elog:16388. 

Figs. 1 & 2 are respectively measurements of the white noise excitation and the optimized excitation. The shaded region corresponds to the
1-sigma uncertainty at each frequency bin. By eyes, one can already see that the constraints on the phase in the 0.6-1 Hz band are much tighter in the
Entry  Mon Sep 20 20:43:38 2021, Tega, Update, Electronics, Sat Amp modifications IMG_20210920_203456226.jpg
Running update of Sat Amp modification work, which involves the following procedure (x8) per unit:


Replace R20 & R24 with 4.99K ohms, R23 with 499 ohms, and remove C16.
(Testing) Connect LEDDrive output to GND
and check that

TP4 is ~ 5V
 TP5-8 ~ 0V. 


Install 40m Satellite to Flange Adapter (D2100148-v1)


 
    Reply  Wed Sep 22 17:22:59 2021, Tega, Update, Electronics, Sat Amp modifications 
[Koji, Tega]

 

Decided to do a quick check of the remaining Sat Amp units before component replacement to identify any unit with defective LED circuits.
       Reply  Mon Oct 4 18:35:12 2021, Paco, Update, Electronics, Satellite amp box adapters pcb_no_flush.jpg1U_assembly.jpgfourunits.jpg
[Paco]

I have finished assembling the 1U adapters from 8 to 5 DB9 conn. for the satellite amp boxes. One thing I had to "hack" was the corners
of the front panel end of the PCB. Because the PCB was a bit too wide, it wasn't really flush against the front panel (see Attachment #1), so I just
          Reply  Mon Oct 4 20:46:08 2021, Koji, Update, Electronics, Satellite amp box adapters 
Thanks. You should be able to find the chassis-related hardware on the left side of the benchtop drawers at the middle workbench.

Hardware: The special low profile 4-40 standoff screw / 1U handles / screws and washers for the chassis / flat-top screws for chassis panels
and lids
             Reply  Thu Oct 7 02:04:19 2021, Koji, Update, Electronics, Satellite amp adapter chassis P_20211006_205044.jpg
The 4 units of Satellite Amp Adapter were done:
- The ears were fixed with the screws
- The handles were attached (The stock of the handles is low)
Entry  Mon Oct 4 21:58:17 2021, Tega, Update, Electronics, Sat Amp modifications 
Trying to finish 2 more Sat Amp units so that we have the 7 units needed for the X-arm install. 

S2100736 - All good

S2100737 - This unit presented with an issue on the PD1 circuit of channel 1-4 PCB where the voltage reading on TP6, TP7 and TP8 are
    Reply  Tue Oct 5 17:01:20 2021, Koji, Update, Electronics, Sat Amp modifications 
Make sure the inputs for the PD amps are open. This is the current amplifier and we want to leave the input pins open for the test of this circuit.

TP6 is the first stage of the amps (TIA). So this stage has the issue. Usual check if the power is properly supplied / if the pins are properly
connected/isolated / If the opamp is alive or not.
    Reply  Wed Oct 6 16:31:02 2021, Tega, Update, Electronics, Sat Amp modifications 
[Tega, Koji]

(S2100737) - Debugging showed that the opamp, AD822ARZ, for PD2 circuit was not working as expected so we replaced with a spare and
this fixed the problem. Somehow, the PD1 circuit no longer presents any issues, so everything is now fine with the unit.
Entry  Wed Oct 6 15:04:36 2021, Hang, Update, SUS, PRM L2P TF measurement & Fisher matrix analysis prm_l2p_tf_meas.pdfprm_l2p_fisher_vs_data.pdfprm_l2p_Pxx_evol.pdfprm_l2p_fisher_evol.pdf
[Paco, Hang]

Yesterday afternoon Paco and I measured the PRM L2P transfer function. We drove C1:SUS-PRM_LSC_EXC with a white noise in the 0-10
Hz band (effectively a white, longitudinal force applied to the suspension) and read out the pitch response in C1:SUS-PRM_OL_PIT_OUT. The local
Entry  Mon Oct 4 15:50:31 2021, Hang, Update, Calibration, Fisher matrix estimation on XARM parameters tf_meas.pdffisher_est_vs_data.pdfPxx_evol.pdffisher_evol.pdf
[Anchal, Hang]

What: Anchal and I measured the XARM OLTF last Thursday.

Goal: 1. measure the 2 zeros and 2 poles in the analog whitening filter, and potentially constrain the cavity pole and an overall gain. 
Entry  Fri Oct 1 12:12:54 2021, Stephen, Update, BHD, ITMY (3002) CAD layout pushed to Box 3002_20211001_ITMY_BHD_for_Koji_presentation_images.easm40m_upgrade_layout_20200611-ITMY_Beam_Dim.pdf
Koji requested current state of BHD 3D model. I pushed this to Box after adding the additional SOSs and creating an EASM representation (also posted,
Attachment 1). I also post the PDF used to dimension this model (Attachment 2). This process raised some points that
I'll jot down here:
Entry  Tue Sep 7 18:00:54 2021, Tega, Summary, Calibration, System Identification via line injection raw_timeseries.pdfdemod_signals.pdfcal_noise_asd.pdf
[paco]

This morning, I spent some time restoring the jupyter notebook server running in allegra. This server was first set up by Anchal to be able to
use the latest nds python API tools which is handy for the calibration stuff. The process to restore the environment was to run "source ~/bashrc.d/*"
    Reply  Tue Sep 21 11:09:34 2021, Anchal, Summary, CDS, XARM YARM UGF Servo and Oscillators added 
I've updated the c1LSC simulink model to add the so-called UGF servos in the XARM and YARM single arm loops as well. These were earlier present in
DARM, CARM, MICH and PRCL loops only. The UGF servo themselves serves a larger purpose but we won't be using that. What we have access to now is to
add an oscillator in the single arm and get realtime demodulated signal before and after the addition of the oscillator. This would allow us to get the
       Reply  Wed Sep 22 12:40:04 2021, Anchal, Summary, CDS, XARM YARM UGF Servo and Oscillators shifted to OAF 
To reduce burden on c1lsc, I've shifted the added UGF block to to c1oaf model. c1lsc had to be modified to allow addition of an oscillator in the
XARm and YARM control loops and take out test points before and after the addition to c1oaf through shared memory IPC to do realtime demodulation in c1oaf
model.
    Reply  Tue Sep 21 11:13:01 2021, Paco, Summary, Calibration, XARM calibration noise XARM_signal_asd.pdfXARM_demod_timeseries.pdfXARM_demod_asds.pdfXARM_cal_0921_timeseries.pdf
Here are some plots from analyzing the C1:LSC-XARM calibration. The experiment is done with the XARM (POX) locked, a single line is injected at C1:LSC-XARM_EXC
at f0 with some amplitude determined empirically using diaggui and awggui tools. For the analysis detailed in this post, f0 = 19 Hz, amp = 1 count, and
gain = 300 (anything larger in amplitude would break the lock, and anything lower in frequency would not show up because of loop supression). Clearly,
       Reply  Wed Sep 22 11:43:04 2021, rana, Summary, Calibration, XARM calibration noise 
I would expect to see some lower frequency effects. i.e. we should look at the timeseries of the demod with the excitation on and off.

I would guess tat the exc on should show us the variations in the optical gain below 3 Hz, whereas the exc off would not show it.

Maybe you should do some low pass filtering on the time series you have to see the ~DC effects? Also, reconsider your AA filter design: how do
          Reply  Tue Sep 28 16:31:52 2021, Paco, Summary, Calibration, XARM OLTF (calibration) at 55.511 Hz OLTF_Calibration_Scheme.jpgXARM_POX_Lock_Model_TF.pdfXARM_OLTF_Total_Model.pdfXARM_OLTF_55p511_Hz_timeseries.pdfGmag_55p511_Hz_ASD.pdf
[anchal, paco]

Here is a demonstration of the methods leading to the single (X)arm calibration with its budget uncertainty. The steps towards this measurement
are the following:
             Reply  Thu Sep 30 18:04:31 2021, Paco, Summary, Calibration, XARM OLTF (calibration) with three lines XARM_OLTF_Model_and_Meas.pdfGmag_ASD_nb_withTRX.pdf
[anchal, paco]

We repeated the same procedure as before, but with 3 different lines at 55.511, 154.11, and 1071.11 Hz. We overlay the OLTF magnitudes and phases
with our latest model (which we have updated with Koji's help) and include the rms uncertainties as errorbars in Attachment #1.
Entry  Mon Sep 13 09:15:15 2021, Paco, Update, LSC, MC unlocked? VAC_2021-09-13_09-32-45.png
Came in at ~ 9 PT this morning to find the IFO "down". The IMC had lost its lock ~ 6 hours before, so at about 03:00 AM. Nothing seemed like
the obvious cause; there was no record of increased seismic activity, all suspensions were damped and no watchdog had tripped, and the pressure trends
similar to those in recent pressure incidents show nominal behavior (Attachment #1).
    Reply  Mon Sep 13 15:14:36 2021, Anchal, Update, LSC, Xend Green laser injection mirrors M1 and M2 not responsive 
I was showing some green laser locking to Tega, I noticed that changing the PZT sliders of M1/M2 angular position on Xend had no effect on locked TEM01
or TEM00 mode. This is odd as changing these sliders should increase or decrease the mode-matching of these modes. I suspect that the controls are not
working correctly and the PZTs are either not powered up or not connected. We'll investigate this in near future as per priority.
       Reply  Thu Sep 30 14:13:18 2021, Anchal, Update, LSC, HV supply to Xend Green laser injection mirrors M1 and M2 PZT restored 
Late elog, original date Sep 15th

We found that the power switch of HV supply that powers the PZT drivers for M1 and M2 on Xend green laser injection alignment was tripped off.
We could not find any log of someone doing it, it is a physical switch. Our only explanation is that this supply might have a solenoid mechansm to shut
Entry  Wed Sep 29 09:36:26 2021, Jordan, Update, SUS, 2" Adapter Ring Parts for SOS Arrived 9/28/21 20210929_092418.jpg
The remaining machined parts for the SOS adapter ring have arrived. I will inspect these today and get them ready for C&B.
Entry  Thu Sep 23 14:17:44 2021, Tega, Update, Electronics, Sat Amp modifications debugging update 
Debugging complete.

All units now have the correct TP4 voltage reading needed to drive a nominal current of 35 mA through to OSEM LED. The next step is
to go ahead and replace the components and test afterward that everything is OK.
Entry  Mon Sep 20 15:23:08 2021, Yehonathan, Update, Computers, Wifi internet fixed 
Over the weekend and today, the wifi was acting bad with frequent disconnections and no internet access. I tried to log into the web interface of the
ASUS wifi but with no success.

I pushed the reset button for several seconds to restore factory settings. After that, I was able to log in. I did the automatic setup and defined
    Reply  Mon Sep 20 21:56:07 2021, Koji, Update, Computers, Wifi internet fixed 
Ug, factory resets... Caltech IMSS announced that there was an intermittent network service due to maintenance between Sept 19 and 20. And there seemed
some aftermath of it. Check out "Caltech IMSS"

 
Entry  Mon Sep 20 14:11:40 2021, Koji, Update, BHD, End DAC Adapter Unit D2100647 D2100647_End_DAC_Adapter.pdf
I've uploaded the schematic and PCB PDF for End DAC Adapter Unit D2100647.

Please review the design.


CH1-8 SUS actuation channels.

5CHs out of 8CHs are going to be used, but for future extensions, all the 8CHs are going
Entry  Fri Sep 17 20:22:55 2021, Koji, Update, SUS, EQ M4.3 Long beach 
EQ  M4.3 @longbeach
2021-09-18 02:58:34 (UTC) / 07:58:34 (PDT)
https://earthquake.usgs.gov/earthquakes/eventpage/ci39812319/executive
Entry  Thu Sep 16 01:16:48 2021, Koji, Update, General, Frozen 2 P_20210916_003406_1.jpg
It happened again. Defrosting required.
    Reply  Thu Sep 16 10:07:25 2021, Anchal, Update, General, Melting 2 PXL_20210916_170602832.jpg
Put outside.




Quote:



It happened again. Defrosting
       Reply  Thu Sep 16 20:18:13 2021, Anchal, Update, General, Reset PXL_20210917_031633702.jpg
Fridge brought back inside.




Quote:



Put outside.
          Reply  Fri Sep 17 00:56:49 2021, Koji, Update, General, Awesome 
The Incredible Melting Man!

 
Entry  Thu Sep 16 14:08:14 2021, Ian MacMillan, Frogs, , Tour 
I gave some of the data analysts a look around because they asked and nothing was currently going on in the 40m. Nothing was changed.
Entry  Thu Sep 16 12:06:17 2021, Tega, Update, Computer Scripts / Programs, Temperature sensors added to the summary pages TempPlot_2021-09-16_12.04.19PM.png
We can now view the minute trend of the temperature sensors under the PEM tab of the summary pages. See attachment 1 for an example of
today's temperature readings. 
Entry  Thu Sep 16 00:00:20 2021, Koji, Update, General, RIO Planex 1064 Lasers in the south cabinet P_20210915_232426.jpg
RIO Planex 1064 Lasers in the south cabinet

Property Number C30684/C30685/C30686/C30687
Entry  Wed Sep 1 21:55:14 2021, Koji, Summary, General, Towards the end upgrade 
- Sat amp mod and test: on going (Tega)
- Coil driver mod and test: on going (Tega)

- Acromag: almost ready (Yehonathan)
    Reply  Wed Sep 15 23:53:54 2021, Koji, Summary, General, Towards the end upgrade P_20210915_231308.jpgP_20210915_225039.jpgP_20210915_224341.jpg
Ordered compoenents are in.

- Made 36 more Sat Amp internal boards (Attachment 1). Now we can install the adapters to all the 19 sat amp units.

- Gave Tega the components for the sat amp adapter units. (Attachment 2)
Entry  Wed Sep 15 23:38:32 2021, Koji, Update, ALS, ALS ASX PZT HV was off -> restored P_20210915_151333.jpg
It was known that the Y end ALS PZTs are not working. But Anchal reported in the meeting that the X end PZTs are not working too.

We went down to the X arm in the afternoon and checked the status. The HV (KEPCO) was off from the mechanical switch. I don't know this KEPCO
has the function to shutdown the switch at the power glitch or not.
Entry  Fri Mar 19 19:15:13 2021, Jon, Update, CDS, c1auxey assembly 
Today I helped Yehonathan get started with assembly of the c1auxey (slow controls) Acromag chassis. This will replace the final remaining VME crate.
We cleared the far left end of the electronics bench in the office area, as discussed on Wed. The high-voltage supplies and test equipment was moved together
to the desk across the aisle.
    Reply  Thu Mar 25 12:11:53 2021, Yehonathan, Update, CDS, c1auxey assembly 20210325_115500_HDR.jpg20210325_123033.jpg
I finished prewiring the new c1auxey Acromag chassis (see attached pictures). I connected all grounds to the DIN rail to save some wiring. The power
switches and LEDs work as expected.

I configured the DAQ modules using the old windows machine. I configured the gateway to be 192.168.114.1. The host machine still needs to be
       Reply  Thu Mar 25 14:16:33 2021, gautam, Update, CDS, c1auxey assembly 
It might be a good idea to configure this box for the new suspension config - modern Satellite Amp, HV coil driver etc. It's a good opportunity to
test the wiring scheme, "cross-connect" type adapters etc.




Quote:


       Reply  Tue Mar 30 17:27:04 2021, Yehonathan, Update, CDS, c1auxey assembly 
{Yehonathan, Jon}

We poked (looked in situ with a flashlight, not disturbing any connections) around c1auxex
chassis to understand better what is the wiring scheme.
          Reply  Wed Aug 25 11:48:48 2021, Yehonathan, Update, CDS, c1auxey assembly 
After confirming that, indeed, leaving the RTN connection floating can cause reliability issues we decided to make these connections in the c1auxex analog
input units.

According to Johannes' wiring scheme (excluding
             Reply  Mon Sep 13 14:32:25 2021, Yehonathan, Update, CDS, c1auxey assembly ETMX_OSEMS_Noise.png
So we agreed that the RTNs points on the c1auxex Acromag chassis should just be grounded to the local Acromag ground as it just needs a stable reference.
Normally, the RTNs are not connected to any ground so there is should be no danger of forming ground loops by doing that. It is probably best to use the
common wire from the 15V power supplies since it also powers the VME crate. I took the spectra of the ETMX OSEMs (attachment) for reference and proceeding
                Reply  Wed Sep 15 11:27:50 2021, Yehonathan, Update, CDS, c1auxey assembly c1auxex_Grounding_OSEM_comparison1.pdfc1auxex_Grounding_OSEM_comparison2.pdf
{Yehonathan, Paco}

We turned off the ETMX watchdogs and OpLevs. We went to the X end and shut down the Acromag chassi. We labeled the chassi feedthroughs and disconnected
all the cables from it.
       Reply  Thu Apr 15 17:24:08 2021, Jon, Update, CDS, Updated c1auxey wiring plan C1AUXEY_Chassis_Feedthroughs_-_By_Connector.pdf
I've updated the c1auxey wiring plan
for compatibility with the new suspension electronics. Specifically it is based on wiring schematics for the new HAM-A coil driver (D1100117),
satellite amplifier (D1002818), and HV bias driver (D1900163).
          Reply  Mon Apr 19 21:54:55 2021, Yehonathan, Update, CDS, Updated c1auxey wiring plan 
Except for the feed-throughs that require a DB9-M connector I finished wiring and labeling the Acromag, following Jon's updated wiring plan.

We can start testing the differential inputs until the missing connectors arrive.

 
             Reply  Wed Apr 28 18:56:57 2021, Yehonathan, Jon, Update, CDS, Updated c1auxey wiring plan 
We took a Supermicro from the lab (along with a keyboard, a mouse, and a screen taken from a table on the Y arm) and placed it near the Acromag chassis.

We installed Debian 10 on the machine. I followed the steps on the slow
machine wiki for setting up the host machine. Some steps had to be updated. Most importantly, in the new Debian, the network interfaces are given random
                Reply  Thu Apr 29 16:35:51 2021, Yehonathan, Update, CDS, Updated c1auxey wiring plan 
I installed the EPICs base, asyn and modbus modules according to Jon's instructions.

Since the modbus configurations files were already writtten for c1auxey1 (see elog 15292)
the only thing I did was to change the IP addresses in ETMYaux.cmd to match the actual assigned IPs.
                   Reply  Thu Apr 29 19:55:45 2021, Yehonathan, Update, CDS, Updated c1auxey wiring plan 
We received a stock of DB9 male feed-through connectors. That allowed me to complete the remaining wiring on the c1auxey Acromag chassis. The only thing
left to be done is the splicing to the RTS.

 
                      Reply  Fri Apr 30 19:18:51 2021, Yehonathan, Jon, Update, CDS, Updated c1auxey wiring plan 
We finished the installation procedure on the c1auxey1 host machine. There were some adjustments that had to be made for Debian 10. The slow machine
wiki page has been updated.

A test database file was made were all the channel names were changed from C1 to C2 in order to not interfere with the existing channels.
                         Reply  Mon May 3 20:36:46 2021, Yehonathan, Jon, Update, CDS, Updated c1auxey wiring plan 
It seemed like the BIO channels were not working, both the inputs and the outputs. The inputs were working on the windows machine though. That is, when
we shorted the BIO channel to the return, or put 0V on it, we could see the LED turn on on the I/O testing screen and when we ramped up the voltage above
3 the LED turned off. This is the expected behavior from a sinking digital input. However, the EPICs caget didn't show
                            Reply  Sun May 23 18:28:54 2021, Jon, Update, CDS, Opto-isolator for c1auxey 
The new HAM-A coil drivers have a single DB9 connector for all the binary inputs. This requires that the dewhitening switching signals from
the fast system be spliced with the coil enable signals from c1auxey. There is a common return for all the binary inputs. To avoid directly connecting
the grounds of the two systems, I have looked for a suitable opto-isolator for the c1auxey signals.
                               Reply  Fri May 28 10:54:59 2021, Jon, Update, CDS, Opto-isolator for c1auxey optoisolator.jpeg
I have received the opto-isolator needed to complete the new c1auxey system. I left it sitting on the electronics bench next to the Acromag chassis.

Here is the manufacturer's wiring manual. It should
be wired to the +15V chassis power and to the common return from the coil driver, following the instructions herein for NPN-style signals. Note that there
                                  Reply  Thu Jun 3 17:15:17 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey Optical_Isolator_NPN_Input.pngOptical_Isolator_NPN_Output.png
As Jon wrote we need to use the NPN configuration (see attachments). I tested the isolator channels in the following way:

1. I connected +15V from the power supply to the input(+) contact.

2. Signal wire from one of the digital outputs was connected to I1-4
                                     Reply  Thu Jun 3 22:08:00 2021, Koji, Update, CDS, Opto-isolator for c1auxey 
- Could you explain what is the blue thing in Attachment 1?

- To check the validity of the signal chain, can you make a diagram summarizing the path from the fast BO - BO I/F - Acromag - This opto-isolator
- the coil driver relay? (Cut-and-paste of the existing schematics is fine)
                                        Reply  Fri Jun 4 14:49:23 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey Optical_isolator_Wiring.pdf
I made a diagram (Attached). I think it explains the blue thing in the previous post.

I don't know what is the grounding situation in the RTS so I put a ground in both the coil driver and the RTS. Hopefully, only one of them
is connected in reality.
                                           Reply  Fri Jun 4 17:46:25 2021, unYehonathan, Update, CDS, Opto-isolator for c1auxey 20210604_173420.jpg
I mounted the optoisolator on the DIN rail and connected the 3 first channels










                                              Reply  Sun Jun 6 16:33:47 2021, Jon, Update, CDS, BI channels on c1auxey 




There
is still an open issue with the BI channels not read by EPICS. They can still be read by the Windows machine though.





I looked into the issue that Yehonathan reported with the BI channels. I found the problem was with
                                                 Reply  Mon Jun 7 13:14:20 2021, Yehonathan, Update, CDS, BI channels on c1auxey 
I added a new XT1111 Acromag module to the c1auxey chassis. I sanitized and configured it according to the slow
machines wiki instructions.

Since all the spare BIOs fit one DB37 connector I didn't add another feedthrough and combined them all on one and the same DB37 connector.
                                                    Reply  Tue Jun 8 11:54:39 2021, Yehonathan, Update, CDS, BI channels on c1auxey 
I tested the digital inputs the following way: I connected a DB9 breakout to DB9M-5 and DB9M-6 where digital inputs are hosted. I shorted the channel
under test to GND to turn it on.

I observed the channels turn from Disabled to Enabled using caget when I shorted the channel to GND and from Enabled to Disabled when I disconnected
                                           Reply  Sun Jun 6 03:02:14 2021, Koji, Update, CDS, Opto-isolator for c1auxey 
This RTS also use the BO interface with an opto isolator. https://dcc.ligo.org/LIGO-D1002593

Could you also include the pull up/pull down situations?
                                              Reply  Sun Jun 6 12:15:16 2021, Jon, Update, CDS, Opto-isolator for c1auxey 
Since this Ocean Controls optoisolator has been shown to be compatible, I've gone ahead and ordered 10 more:


(1) to complete c1auxey
(2) for the upgrade of c1auxex
(7) for the upgrade of c1susaux


They are
expected to arrive by Wednesday.
                                              Reply  Sun Jun 6 15:59:51 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey Optical_isolator_Wiring.pdf
According to the BO interface circuit board https://dcc.ligo.org/D1001266, PCIN wires are connected to the
coil driver and they are not pulled either way.

That means that they're either grounded or floating. I updated the drawing.
                                                 Reply  Mon Jun 14 15:31:30 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey Optical_isolator_Wiring.pdf
I checked the BI situation on the HAM-A coil driver. It seems like these are sinking BIs and indeed
need to be isolated from the Acromag unit GND to avoid contamination.

The BIs will have to be isolated on a different isolator. Now, the wires coming from the field (red) are connected to the second isolator's
                                                    Reply  Tue Jun 15 21:48:55 2021, Koji, Update, CDS, Opto-isolator for c1auxey Acromag_RTS_BI_config.jpg
If my understanding is correct, the (photo receiving) NPN transistor of the optocoupler is energized through the acromag. The LED side should be driven
by the coil driver circuit. It is properly done for the "enable mon" through 750Ohm and +V. However, "Run/Acquire" is a relay switch
and there is no one to drive the line. I propose to add the pull-up network to the run/acquire outputs. This way all 8 outputs become identical and symmetric.
                                                       Reply  Wed Jun 16 17:24:29 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey Optical_isolator_Wiring.pdf
I updated the wiring diagram according to Koji's suggestion. According to the
isolator manual, this configuration requires that the isolator input be configured as PNP.

Additionally, when the switch in the coil driver is open the LED in the isolator is signaling an on-state. Therefore, we might need to configure
                                                          Reply  Wed Jun 16 20:32:39 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey 
I installed 2 additional isolators in the Acromag chassis. I set all the input channels to PNP. I ran the digital inputs (EnableMon channels) through
these isolators according to the previous post.

I tested the digital inputs in the following way:
                                                             Reply  Fri Jul 9 18:35:32 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey 
Following Koji's channel list review, we made changes to the wiring spreadsheet.

Today, I made the changes real in the Acromag chassis. I went through the channel list one by one and made sure it is wired correctly. Additionally,
since we now need all the channels the existing isolators have, I replaced the isolator with the defective channel with a new one.
                                                                Reply  Mon Jul 12 18:06:25 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey 
I edited /cvs/cds/caltech/target/c1auxey1/ETMYaux.db (after creating a backup) and added the spare coil driver channels.

I tested those channels using caget while fixing wiring issues. The tests were all succesful. The digital output channel were tested using the
Windows machine since they are locked by some EPICs mechanism I don't yet understand.
                                                                   Reply  Wed Jul 28 12:47:52 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey SUS-ETMY_SparePDMon0_NoRef.pngSUS-ETMY_SparePDMon0_Ref_WithGND.pngDifferentialOutputTest.png
To simulate a differential output I used two power supplies connected in series. The outer connectors were used as the outputs and the common connector
was connected to the ground and used as a reference. I hooked these outputs to one of the differential analog channels and measured it over time using
Striptool. The setup is shown in attachment 3.
                                                                      Reply  Wed Aug 11 12:06:40 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey SUS-ETMY_SparePDMon0_2.png
I redid the differential input experiment using the DS360 function generator we recently got. I generated a low frequency (0.1Hz) sine wave signal with
an amplitude 0.5V and connected the + and - output to a differential input on the new c1auxcey Acromag chassis. I recorded a time series of the corresponding
EPICS channel with and without the common on the DS360 connected to the Ref connector on the Acromag unit. The common connector on the DS360 is not normally
Entry  Tue Sep 14 17:19:38 2021, Paco, Summary, PEM, Excess seismic noise in 0.1 - 0.3 Hz band SEIS_2021-09-14_17-33-12.png
For the past couple of days the 0.1 to 0.3 Hz RMS seismic noise along BS-X has increased. Attachment 1 shows the hour trend in the last ~ 10 days. We'll
keep monitoring it, but one thing to note is how uncorrelated it seems to be from other frequency bands. The vertical axis in the plot is in um / s
    Reply  Tue Sep 14 19:12:03 2021, Koji, Summary, PEM, Excess seismic noise in 0.1 - 0.3 Hz band C1-ALL_393F21_SPECTRUM-1315699218-86400.pngC1-ALL_393F21_SPECTRUM-1315267218-86400.png
Looks like this increase is correlated for BS/EX/EY. So it is likely to be real.

Comparison between 9/15 (UTC) (Attachment 1) and
9/10 (UTC) (Attachment 2)
Entry  Tue Sep 14 15:57:05 2021, jamie, Frogs, CDS, fb1 /var full after reboot, caused all sorts of problems 
/var on fb1 filled up today, which caused all sorts of CDS issues.  I found out about the problem by reading the logs of the services that were
having trouble running, in which they complained about not being able to write to disk.  I looked at the filesystem status with 'df' and noticed
that /var was full, which is where applications write temporary data, and will always cause problems if it's full.
    Reply  Tue Sep 14 16:44:54 2021, jamie, Frogs, CDS, fb1 /var full after reboot, caused all sorts of problems 
Jonathan Hanks pointed me to this fix to the gpstime kernel module that was unfortunately put in after the 3.4 release that we're currently using:

https://git.ligo.org/cds/advligorts/-/commit/6f6d6e2eb1d3355d0cbfe9fe31ea3b59af1e7348

I hacked the source in place (/usr/src/gpstime-3.4/drv/gpstime/gpstime.c) to get the fix, and then rebuilt the kernel module with dkms :
       Reply  Tue Sep 14 17:22:21 2021, Anchal, Update, CDS, Added temp sensor channels to DAQ list 
[Tega, Paco, Anchal]

We attempted to reboot fb1 daqd today to get the new temperature sensor channels recording. However, the FE models got stuck, apparantely due
to reasons explaine din 40m/16325. Jamie cleared the /var/logs in fb1 so that FE can reboot.
Entry  Tue Sep 14 16:12:03 2021, Jordan, Update, SUS, SOS Tower Hardware 20210914_160111.jpg
Yehonathan noticed today that the silver plated hardware on the assembled SOS towers had some pretty severe discoloration on it. See attached picture.

These were all brand new screws from UC components, and have been sitting on the flow bench for a couple months now. I believe this is just oxidation
and is not an issue, I spoke to Calum as well and showed him the attached picture and he agreed it was likely oxidation and should not be a problem once
    Reply  Tue Sep 14 17:14:46 2021, Koji, Update, SUS, SOS Tower Hardware 
Yup this is OK. No problem.

 
Entry  Mon Sep 13 18:19:25 2021, Tega, Update, Computer Scripts / Programs, Moved modbus service from chiara to c1susaux 
[Tega, Anchal, Paco]

After talking to Anchal, it was made clear that chiara is not the place to host the modbus service for the temperature sensors. The obvious machine
is c1pem, but the startup cmd script loads c object files and it is not clear how easy it would integrate the modbus functionality since we can only login
Entry  Mon Sep 13 17:05:04 2021, Tega, Summary, PEM, Infrasensing temperature sensor modbus configuration 
Anchal mentioned it would be good to put more details about how I arrived at the values needed to configure the modbus drive for the temperature sensor,
since this information is not in the manual and is hard to find on the internet, so here is a breakdown.

So the generic format is:
Entry  Wed Aug 4 18:19:26 2021, paco, Update, General, Added infrasensing temperature unit to martian network 
[ian, anchal, paco]

We hooked up the infrasensing unit to power and changed its default IP address from 192.168.11.160 (factory default) to 192.168.113.240 in the
martian network. The sensor is online with user controls and the usual password for most workstations in that IP address.
    Reply  Thu Aug 5 14:59:31 2021, Anchal, Update, General, Added temperature sensors at Yend and Vertex too 
I've added the other two temperature sensor modules on Y end (on 1Y4, IP: 192.168.113.241) and in the vertex on (1X2, IP: 192.168.113.242). I've
updated the martian host table accordingly. From inside martian network, one can go
to the browser and go to the IP address to see the temperature sensor status . These sensors can be set to trigger alarm and send emails/sms etc if temperature
       Reply  Tue Aug 10 17:24:26 2021, paco, Update, General, Five day trend six_day_minute_trend.png
Attachment 1 shows a five and a half day minute-trend of the three temperature sensors. Logging started last Thursday ~ 2 pm when all sensors were finally
deployed. While it appears that there is a 7 degree gradient along the XARM it seems like the "vertex" (more like ITMX) sensor was just placed
on top of a network switch (which feels lukewarm to the touch) so this needs to be fixed. A similar situation is observed in the ETMY sensor. I shall do
       Reply  Mon Sep 13 04:12:01 2021, Tega, Update, General, Added temperature sensors at Yend and Vertex too Screen_Shot_2021-09-13_at_4.16.22_AM.png
I finally got the modbus part working on chiara, so we can now view the temperature data on any machine on the martian network, see Attachment
1. 

I also updated the entries on /opt/rtcds/caltech/c1/chans/daq/C0EDCU.ini, as suggested by Koji, to include the SensorGatway temperature
Entry  Fri Jun 11 20:19:50 2021, Koji, Summary, BHD, BHD OMC invacuum wiring 40mBHD_OMC_wiring.pdf
Stephen and I discussed the in-vacuum OMC wiring.

- One of the OMCs has already been completed. (Blue)
- The other OMC is still being built. It means that these cables need to be built. (Pink)
    Reply  Thu Sep 9 09:54:41 2021, Stephen, Summary, BHD, BHD OMC invacuum wiring - cable lengths bhd_cable_length_check_cable_bracket_to_components.pngbhd_cable_length_check_flange_to_cable_bracket.pngbhd_cable_length_check_cable_bracket_to_omc_bracket.png
[Koji, Stephen - updated 30 September]

Cable lengths task - in vacuum cabling for the green section (new, custom for 40m) and yellow section (per aLIGO, except likely with cheaper
FEP ribbon cable material) from 40m/16198. These arethe myriad of cables extending from the
Entry  Wed Sep 8 19:06:14 2021, Koji, Update, General, Backup situation 
Tega mentioned in the meeting that it could be safer to separate some of nodus's functions from the martian file system.
That's an interesting thought. The summary pages and other web services are linked to the user dir. This has high traffic and can cause the
issure of the internal network once we crash the disk.
Entry  Wed Sep 8 18:00:01 2021, Koji, Update, VAC, cronjobs & N2 pressure alert 
In the weekly meeting, Jordan pointed out that we didn't receive the alert for the low N2 pressure.

To check the situation, I went around the machines and summarized the cronjob situation.
[40m wiki: cronjob summary]
Entry  Thu Sep 2 17:53:15 2021, Paco, Summary, Computers, chiara down, vac interlock tripped 
[paco, koji, tega, ian]

Today in the morning the name server / network file system running in chiara failed. This resulted in donatella/pianosa/rossa shell prompts to
hang forever. It also made sitemap crash and even dropping into a bash shell and just listing files from some directory in the file system froze the computer.
    Reply  Thu Sep 2 21:21:14 2021, Koji, Summary, Computers, Vacuum recovery 2 Screenshot_2021-09-02_21-20-24.pngScreenshot_2021-09-02_21-20-48.png
Attachment 1:
We are pumping the main volume with TP2. Once P1a reached the pressure ~2.2mtorr, we could open the PSL shutter. The TP2 voltage went up once but
came down to ~20V. It's close to nominal now.
    Reply  Thu Sep 2 21:49:03 2021, Paco, Summary, Computers, chiara down, vac interlock tripped 2021-09-02_21-51-15.png
[tega, paco]

We found the files that took excess space in the chiara filesystem (see Attachment 1). They were error files from the summary pages that were
~ 50 GB in size or so located under /home/cds/caltech/users/public_html/detcharsummary/logs/. We manually removed them and then copied the rest of the
       Reply  Fri Sep 3 02:03:15 2021, Tega, Summary, Computers, Strip down large error files 
Also deleted the ~50GB error files from ldas to prevent rsync from copying them to nodus again. With the new update to GWsumm, there are new error
messages that initially didn't seem to affect the summary pages functionality, but in the extreme case can populated the error files the repeated warnings
on the form "Loading: FrSerData", "Loading: FrSerData::n4294967295", "Loading: FrSummary","Loading: FrSerDataLoading:
Entry  Thu Sep 2 19:28:02 2021, Koji, Update, , This week's FB1 GPS Timing Issue Solved 
After the disk system trouble, we could not make the RTS running at the nominal state. A part of the troubleshoot FB1 was rebooted. But the we found
that the GPS time was a year off from the current time

controls@fb1:/diskless/root/etc 0$ cat /proc/gps 
    Reply  Thu Sep 2 19:47:38 2021, Koji, Update, CDS, This week's FB1 GPS Timing Issue Solved 
After the reboot daqd_dc was not working, but manual starting of open-mx / mx services solved the issue.

sudo systemctl start open-mx.service 
sudo systemctl start mx.service
       Reply  Thu Sep 2 20:44:18 2021, Koji, Update, CDS, Chiara DHCP restarted 
We had the issue of the RT machines rebooting. Once we hooked up the display on c1iscex, it turned out that the IP was not given at it's booting-up.

I went to chiara and confirmed that the DHCP service was not running

~>sudo service isc-dhcp-server status
          Reply  Thu Sep 2 20:47:19 2021, Koji, Update, CDS, Chiara DHCP restarted 
[Paco, Tega, Koji]

Once chiara's DHCP is back, things got much more straight forward.
c1iscex and c1iscey were rebooted and the IOPs were launched without any hesitation.
Entry  Wed Sep 1 14:16:21 2021, Jordan, Update, VAC, Empty N2 Tanks 
The right N2 tank had a bad/loose valve and did not fully open. This morning the left tank was just about empty and the right tank showed 2000+ psi on
the gauge. Once the changeover happened the copper line emptied but the valve to the N2 tank was not fully opened. I noticed the gauges were both reading
zero at ~1pm just before the meeting. I swapped the left tank, but not in time. The vacuum interlocks tripped at 1:04 pm today when the N2 pressure to
ELOG V3.1.3-