40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 165 of 168  Not logged in ELOG logo
Entry  Wed Aug 18 20:30:12 2021, Anchal, Update, ASS, Fixed runASS scripts 
Late elog: Original time of work Tue Aug 17 20:30 2021


I locked the arms yesterday remotely and tried running runASS.py scripts (generally ran by clicking Run ASS buttons on IFO OVERVIEW screen
of ASC screen). We have known for few weeks that this script stopped working for some reason. It would start the dithering and would optimize the alignment
Entry  Mon Aug 16 23:30:34 2021, Paco, Update, CDS, AS WFS commissioning; restarting models 
[koji, ian, tega, paco]

With the remote/local assistance of Tega/Ian last friday I made changes on the c1sus model by connecting the C1:ASC model outputs (found within
a block in c1ioo) to the BS and PRM suspension inputs (pitch and yaw). Then, Koji reviewed these changes today and made me notice that no changes are actually
    Reply  Thu Aug 19 03:23:00 2021, Anchal, Update, CDS, Time synchornization not running 
I tried to read a bit and understand the NTP synchronization implementation in FE computers. I'm quite sure that NTP synchronization should be 'yes'
if timesyncd are running correctly in the output of timedatectl in these computers. As Koji reported in 15791,
this is not the case. I logged into c1lsc, c1sus and c1ioo and saw that RTC has drifted from the software clocks too which does not happen if NTP synchronization
       Reply  Thu Aug 19 14:14:49 2021, Koji, Update, CDS, Time synchornization not running 
131.215.239.14 looks like Caltech's NTP server (ntp-02.caltech.edu)
https://webmagellan.com/explore/caltech.edu/28415b58-837f-4b46-a134-54f4b81bee53
          Reply  Fri Aug 20 00:28:55 2021, Anchal, Update, CDS, Time synchornization not running 
I added ntpserver as a known host name for address 192.168.113.201 (fb1's address where ntp server is running) in the martian host list in the following
files in Chiara:


/var/lib/bind/martian.hosts
/var/lib/bind/rev.113.168.192.in-addr.arpa

Note:
             Reply  Fri Aug 20 06:24:18 2021, Anchal, Update, CDS, Time synchornization not running 
I read on some stack exchange that 'NTP synchornized' indicator turns 'yes' in the output of command timedatectl only when RTC clock
has been adjusted at some point. I also read that timesyncd does not do the change if the time difference is too much, roughly more than 3 seconds.

So I logged into all FE machines and ran sudo hwclock -w to synchronize them all to the system
Entry  Mon Aug 23 10:17:21 2021, Paco, Summary, Computers, system reboot glitch 
[paco]

At 09:34 PST I noted a glitch in the controls room as the machines went down except for c1ioo. Briefly, the video feeds disappeared from the
screens, though the screens themselves didn't lose power. At first I though this was some kind of power glitch, but upon checking with Jordan, it most
Entry  Wed Feb 24 22:13:47 2021, Jon, Update, CDS, Planning document for front-end testing 
I've started writing up a rough testing sequence for getting the three new front-ends operational (c1bhd, c1sus2, c1ioo). Since I anticipate
this plan undergoing many updates, I've set it up as a Google doc which everyone can edit (log in with LIGO.ORG credentials).

Link to planning document
    Reply  Fri Mar 5 17:48:25 2021, Jon, Update, CDS, Front-end testing image_67203585.JPGimage_67216641.JPGimage_17185537.JPG
Today I moved the c1bhd machine from the control room to a new test area set up behind (west of) the 1X6 rack. The test stand is pictured in Attachment
1. I assembled one of the new IO chassis and connected it to the host.

I/O Chassis Assembly


LIGO-style 24V feedthrough replaced with an ATX 650W switching power supply
Timing slave
       Reply  Tue Mar 9 16:52:47 2021, Jon, Update, CDS, Front-end testing image_72192707.JPG
Today I continued with assembly and testing of the new front-ends. The main progress is that the IO chassis is now communicating with the host,
resolving the previously reported issue.

Hardware Issues to be Resolved

Unfortunately, though, it turns out one of the two (host-side) One Stop Systems PCIe cards sent from
          Reply  Tue Mar 16 16:27:22 2021, Jon, Update, CDS, Front-end testing 
Some progress today towards setting up an isolated subnet for testing the new front-ends. I was able to recover the fb1 backup disk using the Rescatux disk-rescue
utility and successfully booted an fb1 clone on the subnet. This machine will function as the boot server and DAQ server for the front-ends under
test. (None of these machines are connected to the Martian network or, currently, even the outside Internet.)
             Reply  Tue Mar 16 19:04:20 2021, gautam, Update, CDS, Front-end testing 
Now that I think about it, I may only have backed up the root file system of chiara, and not/home/cds/  (symlinked to /opt/
over NFS). I think we never revived the rsync backup to LDAS after the FB fiasco of 2017, else that'd have
             Reply  Fri Mar 19 18:14:56 2021, Jon, Update, CDS, Front-end testing image_72192707_(1).JPGimage_50412545.JPG
Summary

Today I finished setting up the subnet for new FE testing. There are clones of both fb1 and chiara running on this subnet (pictured
in Attachment 2), which are able to boot FEs completely independently of the Martian network. I then assembled a second FE system (Supermicro host
and IO chassis) to serve as c1sus2, using a new OSS host adapter card received yesterday from LLO. I ran the same set of PCIe hardware/driver tests as
                Reply  Wed Mar 24 19:02:21 2021, Jon, Update, CDS, Front-end testing 
This evening I prepared a new 2 TB 3.5" disk to hold a copy of /opt/rtcds and /opt/rtapps from chiara. This is the final piece of setup before model
compilation can be tested on the new front-ends. However chiara does not appear to support hot-swapping of disks, as the disk is not recognized when connected
to the live machine. I will await confirmation before rebooting it. The new disk is not currently connected.
                   Reply  Mon Mar 29 17:55:50 2021, Jon, Update, CDS, Front-end testing 
Cloning of chiara:/home/cvs underway

I returned today with a beefier USB-SATA adapter, which has an integrated 12 V supply
for powering 3.5" disks. I used this to interface a new 6 TB 3.5" disk found in the FE supplies cabinet.

I decided to go with a larger disk and copy the full contents of chiara:/home/cds. Strictly, the FEs only strictly need the RTS executables in
                      Reply  Tue Mar 30 18:21:34 2021, Jon, Update, CDS, Front-end testing 
Progress today:

Outside Internet access for FE test stand

This morning Jordan and I ran an 85-foot Cat 6 Ethernet cable from the campus network switch
in the office area (on the ligo.caltech.edu domain) to the FE test stand near 1X6. This is to allow the test-stand subnet to be accessed for remote testing,
                      Reply  Tue Apr 6 07:19:11 2021, Jon, Update, CDS, New SimPlant cymac 
Yesterday Chris and I completed setup of the Supermicro machine that will serve as a dedicated host for developing and testing RTCDS sim models. It is
currently sitting in the stack of machines in the FE test stand, though it should eventually be moved into a permanent rack.

It turns out the machine cannot run 10 user models, only 4. Hyperthreading was enabled in the BIOS settings, which created the
                         Reply  Tue Apr 6 11:13:01 2021, Jon, Update, CDS, FE testing 
I/O chassis assembly

Yesterday I installed all the available ADC/DAC/BIO modules and adapter boards into the new I/O chassis (c1bhd, c1sus2).
We are still missing three ADC adapter boards and six 18-bit DACs. A thorough search of the FE cabinet turned up several
16-bit DACs, but only one adapter board. Since one 16-bit DAC is required anyway for c1sus2, I installed the one complete set in that chassis.
                            Reply  Sat Apr 10 08:51:32 2021, Jon, Update, CDS, I/O Chassis Assembly 
I installed three of the 16-bit ADC adapter boards assembled by Koji. Now, the only missing
hardware is the 18-bit DACs (quantities below). As I mentioned this week, there are 2-3 16-bit DACs available in the FE cabinet. They could
be used if more 16-bit adapter boards could be procured.
                               Reply  Thu Apr 29 10:51:35 2021, Jon, Update, CDS, I/O Chassis Assembly 
Summary

Yesterday I unpacked and installed the three 18-bit DAC cards received from Hanford. I then repeated the low-level PCIe testing
outlined in T1900700, which is expanded upon below. I did not make it to DAC-ADC
loopback testing because these tests in fact revealed a problem with the new hardware. After a combinatorial investigation that involved swapping cards
                                  Reply  Tue May 4 07:38:36 2021, Jon, Update, CDS, I/O Chassis Assembly Screen_Shot_2021-05-03_at_4.16.06_PM.png
IOP models created

With all the PCIe issues now resolved, yesterday I proceeded to build an IOP model for each of new FEs. I assigned
them names and DCUIDs consist with the 40m convention, listed below.
These models currently exist on only the cloned copy of /opt/rtcds running on the test stand. They will be copied to the main network disk later, once
                                     Reply  Tue May 11 16:29:55 2021, Jon, Update, CDS, I/O Chassis Assembly Screen_Shot_2021-05-11_at_3.03.42_PM.png



Quote:



Timing system set-up

The next step is to provide the 65 kHz clock signals from the timing fanout
via LC optical fiber. I overlooked the fact that an SPX optical transceiver is required to interface the fiber to the timing slave board. These
                                        Reply  Tue May 11 17:43:09 2021, Koji, Update, CDS, I/O Chassis Assembly 
Did you match the local PC time with the GPS time?
                                           Reply  Fri May 28 11:16:21 2021, Jon, Update, CDS, Front-End Assembly and Testing c1bhd.pnggds_tp.pngteststand.jpegbench_supply.jpeg
An update on recent progress in the lab towards building and testing the new FEs.

1. Timing problems resolved / FE BIOS changes

The previously reported problem with the IOPs losing sync after a few minutes (16130) was
resolved through a change in BIOS settings. However, there are many required settings and it is not trivial to get these right, so I document the procedure here
                                              Reply  Sun Jun 6 08:42:05 2021, Jon, Update, CDS, Front-End Assembly and Testing c1bhd.png16bit_dacs.pngmyricom.png
Here is an update and status report on the new BHD front-ends (FEs).

Timing

The changes to the FE BIOS settings documented in [16167] do seem
to have solved the timing issues. The RTS models ran for one week with no more timing failures. The IOP model on c1sus2 did die due to an unrelated "Channel
                                                 Reply  Tue Jun 22 16:53:01 2021, Ian MacMillan, Update, CDS, Front-End Assembly and Testing 
The channels on both the C1BHD and C1SUS2 seem to be frozen: they arent updating and are holding one value. To fix this Anchal and I tried:


restarting the computers 

restarting basically everything including the models


Changing
the matrix values
adding filters
messing with the offset 
restarting the network ports (Paco suggested this apparently
                                                    Reply  Thu Jun 24 17:32:52 2021, Ian MacMillan, Update, CDS, Front-End Assembly and Testing C1-SU2_Channel_Responses.pdfC1-BHD_Channel_Responses.pdfCDS_Channel_Test.zip
Anchal and I ran tests on the two systems (C1-SUS2 and C1-BHD). Attached are the results and the code and data to recreate them.

We connected one DAC channel to one ADC channel and thus all of the results represent a DAC/ADC pair. We then set the offset to different values
from -3000 to 3000 and recorded the measured signal. I then plotted the response curve of every DAC/ADC pair so each was tested at least once.
                                                       Reply  Fri Jun 25 14:06:10 2021, Jon, Update, CDS, Front-End Assembly and Testing test_stand.JPG
Summary

Here is the final summary (from me) of where things stand with the new front-end systems. With Anchal and Ian's recent scripted
loopback testing [16224], all the testing that can be performed in isolation with
the hardware on hand has been completed. We currently have no indication of any problem with the new hardware. However, the high-frequency signal
                         Reply  Sat Apr 10 11:56:14 2021, Jon, Update, CDS, 40m LSC simPlant model x1lsp_main.png
Summary

Yesterday I resurrected the 40m's LSC simPlant model, c1lsp.
It is running on c1sim, a virtual, self-contained cymac that Chris and I set up for developing sim models (see 15997).
I think the next step towards an integrated IFO model is incorporating the suspension plants. I am going to hand development largely over to Ian at
                            Reply  Tue Apr 13 16:24:38 2021, Ian MacMillan, Update, CDS, 40m LSC simPlant model 
Added Matlab to the Docker machine. This should help immensely with workflow as well as keeping installed libraries consistent. Next step is outlining
the project so coding is easier

Command to launch is:     $ matlab &
                               Reply  Mon Apr 19 13:15:20 2021, Ian MacMillan, Update, CDS, 40m LSC simPlant model 
The x1SUSsim model on the docker was made in a more recent version of Simulink so I updated Matlab (see
this)

I updated Matlab to 2021a so now the docker has 2020b and 2021a installed. This should also install Simulink 10.3 for the sus model to open.
                                  Reply  Wed Apr 21 10:03:01 2021, Ian MacMillan, Update, CDS, 40m LSC simPlant model Overview.png
So I am stuck on how to add the control block to my model. I am trying to make it as simple as possible with just a simple transfer function for a damped
harmonic oscillator and then the control block (see overview.png). 

The transfer function I am using is:
                                     Reply  Wed Apr 21 11:01:37 2021, Rana, Update, CDS, 40m LSC simPlant model 
The controller would be in the c1sus model, and connects to the c1sup plant model. So the controller doesn't go in the plant model.

Both the controller and the plant can be modeled using a single filter module in each separate model as you've drawn, but they go in separate
models.
                                     Reply  Fri Apr 23 15:52:19 2021, Ian MacMillan, Update, CDS, 40m LSC simPlant model Plant_framework.pdfSimple_Plant.pdfControls.pdf
I have attached the framework that I am using for the full system. Plantframework.pdf has the important aspects that I will be changed. Right now I am
trying to keep it mostly as is, but I have disconnected the Optic Force Noise and hope to disconnect the Suspension Position Noise. The Optic Force Noise
Block is additive to the signal so eliminating it from the system should make it less realistic but simpler. It can be added back easily by reconnecting
                                        Reply  Sun Apr 25 21:21:02 2021, rana, Update, CDS, SUS simPlant model 

I suggest not naming this the LSC model, since it has no LSC stuff.
Also remove all the diagnostic stuff in the plant model. We need
nothing except a generic filter Module, like in the SUS controller.
Also, the TF looks kind of weird to me. I
would like to see how you derive that eq.
Connect the models and show us some plots of the behavior in physical units using FOTON to make the
                                           Reply  Tue Apr 27 15:15:17 2021, Ian MacMillan, Update, CDS, SUS simPlant model x1sus_single_plant.pdfx1sup.pdf
The first version of the single filter plant is below. Jon and I went through compiling a model and running it on the docker (see this
post)

We activated an early version of the plant model (from about 10 years ago) but this model was not designed to run on its own so we had to ground
                                              Reply  Thu Apr 29 13:41:40 2021, Ian MacMillan, Update, CDS, SUS simPlant model Non-IPC_Plant.pdf
To add the required library: put the .mdl file that contains the library into the userapps/lib folder. That will allow
it to compile correctly

I got these errors:
                                                 Reply  Fri Apr 30 12:52:14 2021, Ian MacMillan, Update, CDS, SUS simPlant model 
Now that the model is finally compiled I need to make an medm screen for it and put it in the c1sim:/home/controls/docker-cymac/userapps/medm/ directory. 

But before doing that I really want to test it using the autogenerated medm screens which are in the virtual cymac in the folder /opt/rtcds/tst/x1/medm/x1sup.
In Jon's post he said that I can use the virtual path for sitemap after
                                                    Reply  Mon May 3 13:35:12 2021, Ian MacMillan, Update, CDS, SUS simPlant model 
When the cymac is started it gives me a list of channels shown below. 

 $  Initialized TP interface node=8, host=98e93ecffcca
 $  Creating X1:DAQ-DC0_X1IOP_STATUS
                                                       Reply  Tue May 4 14:55:38 2021, Ian MacMillan, Update, CDS, SUS simPlant model 
After a helpful meeting with Jon, we realized that I have somehow corrupted the sitemap file. So I am going to use the code
Chris wrote to regenerate it. 

Also, I am going to connect the controller using the IPC parts. The error that I was having before had to do with the IPC parts not being connected
                                                          Reply  Wed May 5 15:11:54 2021, Ian MacMillan, Update, CDS, SUS simPlant model 
I added the IPC parts back to the plant model so that should be done now. It looks like this again here.

I can't seem to find the control model which should look like this.
When I open sus_single_control.mdl, it just shows the C1_SUS_SINGLE_PLANT.mdl model. Which should not be the case.
                                                             Reply  Thu May 6 16:13:24 2021, Ian MacMillan, Update, CDS, SUS simPlant model 
When using mdl2adl I was getting the error:

$  cd /home/controls/mdl2adl
$  ./mdl2adl x1sup.mdl
                                                                Reply  Fri May 7 11:19:29 2021, Ian MacMillan, Update, CDS, SUS simPlant model 
I copied c1scx.mdl to the docker to attach to the plant using
the commands:

$  ssh nodus.ligo.caltech.edu
                                                                   Reply  Wed May 12 13:06:15 2021, Ian MacMillan, Update, CDS, SUS simPlant model SimplePlant_SingleContr.pdfx1sup_isolated.pdfX1SUP_ISOLATED_GDS_TP.pngX1SUP_ISOLATED_C1_SUS_SINGLE_PLANT_Plant_POS_Mod.png
Working with Chris, we decided that it is probably better to use a simple filter module as a controller before we make the model more complicated. I
will use the plant model that I have already made (see attachment
1 of this). then attach a single control filter module to that: as seen in attachment 1.
                                                                      Reply  Fri May 21 09:44:52 2021, Ian MacMillan, Update, CDS, SUS simPlant model Transfer_Function_of_Damped_Harmonic_Oscillator.pdf
The transfer function given in the previous post was slightly incorrect the units did not
make sense the new function is:

                                                                         Reply  Fri May 21 14:36:20 2021, Ian MacMillan, Update, CDS, SUS simPlant model Plant_Mod_TF.pdf
The plant transfer function of the pendulum in the s domain is:

                                                                            Reply  Thu Jun 3 13:06:47 2021, Ian MacMillan, Update, CDS, SUS simPlant model SingleSusPlantTF.pdfSUS_PLANT_TF.zip
I was able to measure the transfer function of the plant filter module from the channel X1:SUP-C1_SUS_SINGLE_PLANT_Plant_POS_Mod_EXC
to X1:SUP-C1_SUS_SINGLE_PLANT_Plant_POS_Mod_OUT. The resulting transfer function is shown below. I have also attached the raw data for
making the graph.
                                                                               Reply  Mon Jun 7 17:49:19 2021, Ian MacMillan, Update, CDS, SUS simPlant model SingleSusPlantTF.pdfTF_Graph_Code.zip
Added difference to the graph. I included the code so that others could see what it looks like and use it for easy use.
                                                                                  Reply  Wed Jun 9 13:50:48 2021, Ian MacMillan, Update, CDS, SUS simPlant model SingleSusPlantTF.pdf
I have attached an updated transfer function graph with the residual easier to see. I thought here I would include a better explanation of what this
transfer function was measuring.

This transfer function was mainly about learning how to use DTT and Foton to make and measure transfer functions. Therefore it is just measuring
                                                                                     Reply  Tue Jun 15 11:46:40 2021, Ian MacMillan, Update, CDS, SUS simPlant model x1sup_isolated-6-15-v1.pdfC1_SUS_SINGLE_PLANT-6-15-v1.pdf
I have added more degrees of freedom. The model includes x, y, z, pitch, yaw, roll and is controlled by a matrix of transfer functions (See Attachment
2). I have added 5 control filters to individually control UL, UR, LL, LR, and side. Eventually, this should become a matrix too but for the moment this
is fine.
                                                                                     Reply  Wed Jun 30 14:09:26 2021, Ian MacMillan, Update, CDS, SUS simPlant model SingleSusPlantTF.pdfPlant_TF_Test.zip
I have looked at my code from the previous plot of the transfer function and realized that there is a slight error that must be fixed before we can analyze
the difference between the theoretical transfer function and the measured transfer function.

The theoretical transfer function, which was generated from Photon has approximately 1000 data points while the measured one has about 120. There
                                                                                        Reply  Mon Aug 23 15:25:59 2021, Ian MacMillan, Update, CDS, SUS simPlant model SimPlantStateSpace.zip
I am adding a State-space block to the SimPlant cds model using the example Chris gave. I made a new folder in controls called SimPlantStateSpace. wI
used the code below to make a state-space LTI model with a 1D pendulum then I converted it to a discrete system using c2d
matlab function. Then I used these in the rtss.m file to create the state space code I need in the SimPlantStateSpace_1D_model.h
Entry  Wed Aug 25 08:53:33 2021, Jordan, Update, SUS, 2" Adapter Ring for SOS Arrived 8/24/21 20210824_152259.jpg20210824_152259.jpg20210824_152308.jpg
8 of the 2"->3" adapter rings (D2100377) arrived from RDL yesterday. I have not tested the threads but dimensional inspection on SN008 cleared.
Parts look very good. The rest of the parts should be shipping out in the next week.
Entry  Tue Aug 24 18:44:03 2021, Koji, Update, CDS, FB is writing the frames with a year old date Screen_Shot_2021-08-24_at_18.46.24.png
Dan Kozak pointed out that the new frame files of the 40m has not been written in 2021 GPS time but 2020 GPS time.

Current GPS time is 1313890914 (or something like that), but the new files are written as C-R-1282268576-16.gwf

I don't know how this can happen but this may explain why we can't have the agreement between the FB gps time and the RTS gps time.
    Reply  Wed Aug 25 17:31:30 2021, Paco, Update, CDS, FB is writing the frames with a year old date TRX_noise_2021-08-25_17-40-55.pngTRX_TRY_power_spectra.pdf
[paco, tega, koji]

After invaluable assistance from Jamie in fixing this yearly offset in the gps time reported by cat /proc/gps, we managed to restart the real
time system correctly (while still manually synchronizing the front end machine times). After this, we recovered the mode cleaner and were able to lock
       Reply  Thu Aug 26 10:10:44 2021, Paco, Update, CDS, FB is writing the frames with a year old date Screenshot_from_2021-08-26_10-09-50.pngTRXTRY_Spectra.pdf
[paco, ]

We went over the X end to check what was going on with the TRX signal. We spotted the ground terminal coming from the QPD is loosely touching
the handle of one of the computers on the rack. When we detached it completely from the rack the noise was gone (attachment 1).
    Reply  Wed Aug 25 18:20:21 2021, Jamie, Update, CDS, GPS time on fb1 fixed, dadq writing correct frames again 
I have no idea what happened to the GPS timing on fb1, but it seems like the issue was coincident with the power
glitch on Monday.

As was noted by Koji above, the GPS time kernel interface was off by a year, which was causing the frame builder to write out files with the
Entry  Thu Aug 26 10:30:14 2021, Jamie, Configuration, CDS, front end time synchronization fixed? 
I've been looking at why the front end NTP time synchronization did not seem to be working.  I think it might not have been working because
the NTP server the front ends were point to, fb1, was not actually responding to synchronization requests.

I cleaned up some things on fb1 and the front ends, which I think unstuck things.
Entry  Mon Aug 30 17:49:43 2021, Paco, Summary, LSC, XARM POX OLTF XARM_POX_OLTF.pdfXARM_POX_Coh.pdf
Used diaggui to get OLTF in preparation for optimal system identification / calibration. The excitation was injected at the control point of the XARM
loop C1:LSC-XARM_EXC. Attachment 1 shows the TF (red scatter) taken from 35 Hz to 2.3 kHz with 201 points. The swept sine excitation had an envelope amplitude
of 50 counts at 35 Hz, 0.2 counts at 100 Hz, and 0.2 at 200 Hz. In purple continous line, the model for the OLTF using all the digital control filters
    Reply  Tue Aug 31 14:55:24 2021, rana, Summary, LSC, XARM POX OLTF 
this model doesn't seem to include the analog AA, analog AI, digital AA, digital AI, or data transfer delays in the system. I think if you include
those you will get more accuracy at high frequencies. Probably Anchal has those included in his DARM loop model?

 
Entry  Wed Sep 1 14:16:21 2021, Jordan, Update, VAC, Empty N2 Tanks 
The right N2 tank had a bad/loose valve and did not fully open. This morning the left tank was just about empty and the right tank showed 2000+ psi on
the gauge. Once the changeover happened the copper line emptied but the valve to the N2 tank was not fully opened. I noticed the gauges were both reading
zero at ~1pm just before the meeting. I swapped the left tank, but not in time. The vacuum interlocks tripped at 1:04 pm today when the N2 pressure to
Entry  Thu Sep 2 19:28:02 2021, Koji, Update, , This week's FB1 GPS Timing Issue Solved 
After the disk system trouble, we could not make the RTS running at the nominal state. A part of the troubleshoot FB1 was rebooted. But the we found
that the GPS time was a year off from the current time

controls@fb1:/diskless/root/etc 0$ cat /proc/gps 
    Reply  Thu Sep 2 19:47:38 2021, Koji, Update, CDS, This week's FB1 GPS Timing Issue Solved 
After the reboot daqd_dc was not working, but manual starting of open-mx / mx services solved the issue.

sudo systemctl start open-mx.service 
sudo systemctl start mx.service
       Reply  Thu Sep 2 20:44:18 2021, Koji, Update, CDS, Chiara DHCP restarted 
We had the issue of the RT machines rebooting. Once we hooked up the display on c1iscex, it turned out that the IP was not given at it's booting-up.

I went to chiara and confirmed that the DHCP service was not running

~>sudo service isc-dhcp-server status
          Reply  Thu Sep 2 20:47:19 2021, Koji, Update, CDS, Chiara DHCP restarted 
[Paco, Tega, Koji]

Once chiara's DHCP is back, things got much more straight forward.
c1iscex and c1iscey were rebooted and the IOPs were launched without any hesitation.
Entry  Thu Sep 2 17:53:15 2021, Paco, Summary, Computers, chiara down, vac interlock tripped 
[paco, koji, tega, ian]

Today in the morning the name server / network file system running in chiara failed. This resulted in donatella/pianosa/rossa shell prompts to
hang forever. It also made sitemap crash and even dropping into a bash shell and just listing files from some directory in the file system froze the computer.
    Reply  Thu Sep 2 21:21:14 2021, Koji, Summary, Computers, Vacuum recovery 2 Screenshot_2021-09-02_21-20-24.pngScreenshot_2021-09-02_21-20-48.png
Attachment 1:
We are pumping the main volume with TP2. Once P1a reached the pressure ~2.2mtorr, we could open the PSL shutter. The TP2 voltage went up once but
came down to ~20V. It's close to nominal now.
    Reply  Thu Sep 2 21:49:03 2021, Paco, Summary, Computers, chiara down, vac interlock tripped 2021-09-02_21-51-15.png
[tega, paco]

We found the files that took excess space in the chiara filesystem (see Attachment 1). They were error files from the summary pages that were
~ 50 GB in size or so located under /home/cds/caltech/users/public_html/detcharsummary/logs/. We manually removed them and then copied the rest of the
       Reply  Fri Sep 3 02:03:15 2021, Tega, Summary, Computers, Strip down large error files 
Also deleted the ~50GB error files from ldas to prevent rsync from copying them to nodus again. With the new update to GWsumm, there are new error
messages that initially didn't seem to affect the summary pages functionality, but in the extreme case can populated the error files the repeated warnings
on the form "Loading: FrSerData", "Loading: FrSerData::n4294967295", "Loading: FrSummary","Loading: FrSerDataLoading:
Entry  Wed Sep 8 18:00:01 2021, Koji, Update, VAC, cronjobs & N2 pressure alert 
In the weekly meeting, Jordan pointed out that we didn't receive the alert for the low N2 pressure.

To check the situation, I went around the machines and summarized the cronjob situation.
[40m wiki: cronjob summary]
Entry  Wed Sep 8 19:06:14 2021, Koji, Update, General, Backup situation 
Tega mentioned in the meeting that it could be safer to separate some of nodus's functions from the martian file system.
That's an interesting thought. The summary pages and other web services are linked to the user dir. This has high traffic and can cause the
issure of the internal network once we crash the disk.
Entry  Fri Jun 11 20:19:50 2021, Koji, Summary, BHD, BHD OMC invacuum wiring 40mBHD_OMC_wiring.pdf
Stephen and I discussed the in-vacuum OMC wiring.

- One of the OMCs has already been completed. (Blue)
- The other OMC is still being built. It means that these cables need to be built. (Pink)
    Reply  Thu Sep 9 09:54:41 2021, Stephen, Summary, BHD, BHD OMC invacuum wiring - cable lengths bhd_cable_length_check_cable_bracket_to_components.pngbhd_cable_length_check_flange_to_cable_bracket.pngbhd_cable_length_check_cable_bracket_to_omc_bracket.png
[Koji, Stephen - updated 30 September]

Cable lengths task - in vacuum cabling for the green section (new, custom for 40m) and yellow section (per aLIGO, except likely with cheaper
FEP ribbon cable material) from 40m/16198. These arethe myriad of cables extending from the
Entry  Wed Aug 4 18:19:26 2021, paco, Update, General, Added infrasensing temperature unit to martian network 
[ian, anchal, paco]

We hooked up the infrasensing unit to power and changed its default IP address from 192.168.11.160 (factory default) to 192.168.113.240 in the
martian network. The sensor is online with user controls and the usual password for most workstations in that IP address.
    Reply  Thu Aug 5 14:59:31 2021, Anchal, Update, General, Added temperature sensors at Yend and Vertex too 
I've added the other two temperature sensor modules on Y end (on 1Y4, IP: 192.168.113.241) and in the vertex on (1X2, IP: 192.168.113.242). I've
updated the martian host table accordingly. From inside martian network, one can go
to the browser and go to the IP address to see the temperature sensor status . These sensors can be set to trigger alarm and send emails/sms etc if temperature
       Reply  Tue Aug 10 17:24:26 2021, paco, Update, General, Five day trend six_day_minute_trend.png
Attachment 1 shows a five and a half day minute-trend of the three temperature sensors. Logging started last Thursday ~ 2 pm when all sensors were finally
deployed. While it appears that there is a 7 degree gradient along the XARM it seems like the "vertex" (more like ITMX) sensor was just placed
on top of a network switch (which feels lukewarm to the touch) so this needs to be fixed. A similar situation is observed in the ETMY sensor. I shall do
       Reply  Mon Sep 13 04:12:01 2021, Tega, Update, General, Added temperature sensors at Yend and Vertex too Screen_Shot_2021-09-13_at_4.16.22_AM.png
I finally got the modbus part working on chiara, so we can now view the temperature data on any machine on the martian network, see Attachment
1. 

I also updated the entries on /opt/rtcds/caltech/c1/chans/daq/C0EDCU.ini, as suggested by Koji, to include the SensorGatway temperature
Entry  Mon Sep 13 17:05:04 2021, Tega, Summary, PEM, Infrasensing temperature sensor modbus configuration 
Anchal mentioned it would be good to put more details about how I arrived at the values needed to configure the modbus drive for the temperature sensor,
since this information is not in the manual and is hard to find on the internet, so here is a breakdown.

So the generic format is:
Entry  Mon Sep 13 18:19:25 2021, Tega, Update, Computer Scripts / Programs, Moved modbus service from chiara to c1susaux 
[Tega, Anchal, Paco]

After talking to Anchal, it was made clear that chiara is not the place to host the modbus service for the temperature sensors. The obvious machine
is c1pem, but the startup cmd script loads c object files and it is not clear how easy it would integrate the modbus functionality since we can only login
Entry  Tue Sep 14 16:12:03 2021, Jordan, Update, SUS, SOS Tower Hardware 20210914_160111.jpg
Yehonathan noticed today that the silver plated hardware on the assembled SOS towers had some pretty severe discoloration on it. See attached picture.

These were all brand new screws from UC components, and have been sitting on the flow bench for a couple months now. I believe this is just oxidation
and is not an issue, I spoke to Calum as well and showed him the attached picture and he agreed it was likely oxidation and should not be a problem once
    Reply  Tue Sep 14 17:14:46 2021, Koji, Update, SUS, SOS Tower Hardware 
Yup this is OK. No problem.

 
Entry  Tue Sep 14 15:57:05 2021, jamie, Frogs, CDS, fb1 /var full after reboot, caused all sorts of problems 
/var on fb1 filled up today, which caused all sorts of CDS issues.  I found out about the problem by reading the logs of the services that were
having trouble running, in which they complained about not being able to write to disk.  I looked at the filesystem status with 'df' and noticed
that /var was full, which is where applications write temporary data, and will always cause problems if it's full.
    Reply  Tue Sep 14 16:44:54 2021, jamie, Frogs, CDS, fb1 /var full after reboot, caused all sorts of problems 
Jonathan Hanks pointed me to this fix to the gpstime kernel module that was unfortunately put in after the 3.4 release that we're currently using:

https://git.ligo.org/cds/advligorts/-/commit/6f6d6e2eb1d3355d0cbfe9fe31ea3b59af1e7348

I hacked the source in place (/usr/src/gpstime-3.4/drv/gpstime/gpstime.c) to get the fix, and then rebuilt the kernel module with dkms :
       Reply  Tue Sep 14 17:22:21 2021, Anchal, Update, CDS, Added temp sensor channels to DAQ list 
[Tega, Paco, Anchal]

We attempted to reboot fb1 daqd today to get the new temperature sensor channels recording. However, the FE models got stuck, apparantely due
to reasons explaine din 40m/16325. Jamie cleared the /var/logs in fb1 so that FE can reboot.
Entry  Tue Sep 14 17:19:38 2021, Paco, Summary, PEM, Excess seismic noise in 0.1 - 0.3 Hz band SEIS_2021-09-14_17-33-12.png
For the past couple of days the 0.1 to 0.3 Hz RMS seismic noise along BS-X has increased. Attachment 1 shows the hour trend in the last ~ 10 days. We'll
keep monitoring it, but one thing to note is how uncorrelated it seems to be from other frequency bands. The vertical axis in the plot is in um / s
    Reply  Tue Sep 14 19:12:03 2021, Koji, Summary, PEM, Excess seismic noise in 0.1 - 0.3 Hz band C1-ALL_393F21_SPECTRUM-1315699218-86400.pngC1-ALL_393F21_SPECTRUM-1315267218-86400.png
Looks like this increase is correlated for BS/EX/EY. So it is likely to be real.

Comparison between 9/15 (UTC) (Attachment 1) and
9/10 (UTC) (Attachment 2)
Entry  Fri Mar 19 19:15:13 2021, Jon, Update, CDS, c1auxey assembly 
Today I helped Yehonathan get started with assembly of the c1auxey (slow controls) Acromag chassis. This will replace the final remaining VME crate.
We cleared the far left end of the electronics bench in the office area, as discussed on Wed. The high-voltage supplies and test equipment was moved together
to the desk across the aisle.
    Reply  Thu Mar 25 12:11:53 2021, Yehonathan, Update, CDS, c1auxey assembly 20210325_115500_HDR.jpg20210325_123033.jpg
I finished prewiring the new c1auxey Acromag chassis (see attached pictures). I connected all grounds to the DIN rail to save some wiring. The power
switches and LEDs work as expected.

I configured the DAQ modules using the old windows machine. I configured the gateway to be 192.168.114.1. The host machine still needs to be
       Reply  Thu Mar 25 14:16:33 2021, gautam, Update, CDS, c1auxey assembly 
It might be a good idea to configure this box for the new suspension config - modern Satellite Amp, HV coil driver etc. It's a good opportunity to
test the wiring scheme, "cross-connect" type adapters etc.




Quote:


       Reply  Tue Mar 30 17:27:04 2021, Yehonathan, Update, CDS, c1auxey assembly 
{Yehonathan, Jon}

We poked (looked in situ with a flashlight, not disturbing any connections) around c1auxex
chassis to understand better what is the wiring scheme.
          Reply  Wed Aug 25 11:48:48 2021, Yehonathan, Update, CDS, c1auxey assembly 
After confirming that, indeed, leaving the RTN connection floating can cause reliability issues we decided to make these connections in the c1auxex analog
input units.

According to Johannes' wiring scheme (excluding
             Reply  Mon Sep 13 14:32:25 2021, Yehonathan, Update, CDS, c1auxey assembly ETMX_OSEMS_Noise.png
So we agreed that the RTNs points on the c1auxex Acromag chassis should just be grounded to the local Acromag ground as it just needs a stable reference.
Normally, the RTNs are not connected to any ground so there is should be no danger of forming ground loops by doing that. It is probably best to use the
common wire from the 15V power supplies since it also powers the VME crate. I took the spectra of the ETMX OSEMs (attachment) for reference and proceeding
                Reply  Wed Sep 15 11:27:50 2021, Yehonathan, Update, CDS, c1auxey assembly c1auxex_Grounding_OSEM_comparison1.pdfc1auxex_Grounding_OSEM_comparison2.pdf
{Yehonathan, Paco}

We turned off the ETMX watchdogs and OpLevs. We went to the X end and shut down the Acromag chassi. We labeled the chassi feedthroughs and disconnected
all the cables from it.
       Reply  Thu Apr 15 17:24:08 2021, Jon, Update, CDS, Updated c1auxey wiring plan C1AUXEY_Chassis_Feedthroughs_-_By_Connector.pdf
I've updated the c1auxey wiring plan
for compatibility with the new suspension electronics. Specifically it is based on wiring schematics for the new HAM-A coil driver (D1100117),
satellite amplifier (D1002818), and HV bias driver (D1900163).
          Reply  Mon Apr 19 21:54:55 2021, Yehonathan, Update, CDS, Updated c1auxey wiring plan 
Except for the feed-throughs that require a DB9-M connector I finished wiring and labeling the Acromag, following Jon's updated wiring plan.

We can start testing the differential inputs until the missing connectors arrive.

 
             Reply  Wed Apr 28 18:56:57 2021, Yehonathan, Jon, Update, CDS, Updated c1auxey wiring plan 
We took a Supermicro from the lab (along with a keyboard, a mouse, and a screen taken from a table on the Y arm) and placed it near the Acromag chassis.

We installed Debian 10 on the machine. I followed the steps on the slow
machine wiki for setting up the host machine. Some steps had to be updated. Most importantly, in the new Debian, the network interfaces are given random
                Reply  Thu Apr 29 16:35:51 2021, Yehonathan, Update, CDS, Updated c1auxey wiring plan 
I installed the EPICs base, asyn and modbus modules according to Jon's instructions.

Since the modbus configurations files were already writtten for c1auxey1 (see elog 15292)
the only thing I did was to change the IP addresses in ETMYaux.cmd to match the actual assigned IPs.
                   Reply  Thu Apr 29 19:55:45 2021, Yehonathan, Update, CDS, Updated c1auxey wiring plan 
We received a stock of DB9 male feed-through connectors. That allowed me to complete the remaining wiring on the c1auxey Acromag chassis. The only thing
left to be done is the splicing to the RTS.

 
                      Reply  Fri Apr 30 19:18:51 2021, Yehonathan, Jon, Update, CDS, Updated c1auxey wiring plan 
We finished the installation procedure on the c1auxey1 host machine. There were some adjustments that had to be made for Debian 10. The slow machine
wiki page has been updated.

A test database file was made were all the channel names were changed from C1 to C2 in order to not interfere with the existing channels.
                         Reply  Mon May 3 20:36:46 2021, Yehonathan, Jon, Update, CDS, Updated c1auxey wiring plan 
It seemed like the BIO channels were not working, both the inputs and the outputs. The inputs were working on the windows machine though. That is, when
we shorted the BIO channel to the return, or put 0V on it, we could see the LED turn on on the I/O testing screen and when we ramped up the voltage above
3 the LED turned off. This is the expected behavior from a sinking digital input. However, the EPICs caget didn't show
                            Reply  Sun May 23 18:28:54 2021, Jon, Update, CDS, Opto-isolator for c1auxey 
The new HAM-A coil drivers have a single DB9 connector for all the binary inputs. This requires that the dewhitening switching signals from
the fast system be spliced with the coil enable signals from c1auxey. There is a common return for all the binary inputs. To avoid directly connecting
the grounds of the two systems, I have looked for a suitable opto-isolator for the c1auxey signals.
                               Reply  Fri May 28 10:54:59 2021, Jon, Update, CDS, Opto-isolator for c1auxey optoisolator.jpeg
I have received the opto-isolator needed to complete the new c1auxey system. I left it sitting on the electronics bench next to the Acromag chassis.

Here is the manufacturer's wiring manual. It should
be wired to the +15V chassis power and to the common return from the coil driver, following the instructions herein for NPN-style signals. Note that there
                                  Reply  Thu Jun 3 17:15:17 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey Optical_Isolator_NPN_Input.pngOptical_Isolator_NPN_Output.png
As Jon wrote we need to use the NPN configuration (see attachments). I tested the isolator channels in the following way:

1. I connected +15V from the power supply to the input(+) contact.

2. Signal wire from one of the digital outputs was connected to I1-4
                                     Reply  Thu Jun 3 22:08:00 2021, Koji, Update, CDS, Opto-isolator for c1auxey 
- Could you explain what is the blue thing in Attachment 1?

- To check the validity of the signal chain, can you make a diagram summarizing the path from the fast BO - BO I/F - Acromag - This opto-isolator
- the coil driver relay? (Cut-and-paste of the existing schematics is fine)
                                        Reply  Fri Jun 4 14:49:23 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey Optical_isolator_Wiring.pdf
I made a diagram (Attached). I think it explains the blue thing in the previous post.

I don't know what is the grounding situation in the RTS so I put a ground in both the coil driver and the RTS. Hopefully, only one of them
is connected in reality.
                                           Reply  Fri Jun 4 17:46:25 2021, unYehonathan, Update, CDS, Opto-isolator for c1auxey 20210604_173420.jpg
I mounted the optoisolator on the DIN rail and connected the 3 first channels










                                              Reply  Sun Jun 6 16:33:47 2021, Jon, Update, CDS, BI channels on c1auxey 




There
is still an open issue with the BI channels not read by EPICS. They can still be read by the Windows machine though.





I looked into the issue that Yehonathan reported with the BI channels. I found the problem was with
                                                 Reply  Mon Jun 7 13:14:20 2021, Yehonathan, Update, CDS, BI channels on c1auxey 
I added a new XT1111 Acromag module to the c1auxey chassis. I sanitized and configured it according to the slow
machines wiki instructions.

Since all the spare BIOs fit one DB37 connector I didn't add another feedthrough and combined them all on one and the same DB37 connector.
                                                    Reply  Tue Jun 8 11:54:39 2021, Yehonathan, Update, CDS, BI channels on c1auxey 
I tested the digital inputs the following way: I connected a DB9 breakout to DB9M-5 and DB9M-6 where digital inputs are hosted. I shorted the channel
under test to GND to turn it on.

I observed the channels turn from Disabled to Enabled using caget when I shorted the channel to GND and from Enabled to Disabled when I disconnected
                                           Reply  Sun Jun 6 03:02:14 2021, Koji, Update, CDS, Opto-isolator for c1auxey 
This RTS also use the BO interface with an opto isolator. https://dcc.ligo.org/LIGO-D1002593

Could you also include the pull up/pull down situations?
                                              Reply  Sun Jun 6 12:15:16 2021, Jon, Update, CDS, Opto-isolator for c1auxey 
Since this Ocean Controls optoisolator has been shown to be compatible, I've gone ahead and ordered 10 more:


(1) to complete c1auxey
(2) for the upgrade of c1auxex
(7) for the upgrade of c1susaux


They are
expected to arrive by Wednesday.
                                              Reply  Sun Jun 6 15:59:51 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey Optical_isolator_Wiring.pdf
According to the BO interface circuit board https://dcc.ligo.org/D1001266, PCIN wires are connected to the
coil driver and they are not pulled either way.

That means that they're either grounded or floating. I updated the drawing.
                                                 Reply  Mon Jun 14 15:31:30 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey Optical_isolator_Wiring.pdf
I checked the BI situation on the HAM-A coil driver. It seems like these are sinking BIs and indeed
need to be isolated from the Acromag unit GND to avoid contamination.

The BIs will have to be isolated on a different isolator. Now, the wires coming from the field (red) are connected to the second isolator's
                                                    Reply  Tue Jun 15 21:48:55 2021, Koji, Update, CDS, Opto-isolator for c1auxey Acromag_RTS_BI_config.jpg
If my understanding is correct, the (photo receiving) NPN transistor of the optocoupler is energized through the acromag. The LED side should be driven
by the coil driver circuit. It is properly done for the "enable mon" through 750Ohm and +V. However, "Run/Acquire" is a relay switch
and there is no one to drive the line. I propose to add the pull-up network to the run/acquire outputs. This way all 8 outputs become identical and symmetric.
                                                       Reply  Wed Jun 16 17:24:29 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey Optical_isolator_Wiring.pdf
I updated the wiring diagram according to Koji's suggestion. According to the
isolator manual, this configuration requires that the isolator input be configured as PNP.

Additionally, when the switch in the coil driver is open the LED in the isolator is signaling an on-state. Therefore, we might need to configure
                                                          Reply  Wed Jun 16 20:32:39 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey 
I installed 2 additional isolators in the Acromag chassis. I set all the input channels to PNP. I ran the digital inputs (EnableMon channels) through
these isolators according to the previous post.

I tested the digital inputs in the following way:
                                                             Reply  Fri Jul 9 18:35:32 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey 
Following Koji's channel list review, we made changes to the wiring spreadsheet.

Today, I made the changes real in the Acromag chassis. I went through the channel list one by one and made sure it is wired correctly. Additionally,
since we now need all the channels the existing isolators have, I replaced the isolator with the defective channel with a new one.
                                                                Reply  Mon Jul 12 18:06:25 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey 
I edited /cvs/cds/caltech/target/c1auxey1/ETMYaux.db (after creating a backup) and added the spare coil driver channels.

I tested those channels using caget while fixing wiring issues. The tests were all succesful. The digital output channel were tested using the
Windows machine since they are locked by some EPICs mechanism I don't yet understand.
                                                                   Reply  Wed Jul 28 12:47:52 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey SUS-ETMY_SparePDMon0_NoRef.pngSUS-ETMY_SparePDMon0_Ref_WithGND.pngDifferentialOutputTest.png
To simulate a differential output I used two power supplies connected in series. The outer connectors were used as the outputs and the common connector
was connected to the ground and used as a reference. I hooked these outputs to one of the differential analog channels and measured it over time using
Striptool. The setup is shown in attachment 3.
                                                                      Reply  Wed Aug 11 12:06:40 2021, Yehonathan, Update, CDS, Opto-isolator for c1auxey SUS-ETMY_SparePDMon0_2.png
I redid the differential input experiment using the DS360 function generator we recently got. I generated a low frequency (0.1Hz) sine wave signal with
an amplitude 0.5V and connected the + and - output to a differential input on the new c1auxcey Acromag chassis. I recorded a time series of the corresponding
EPICS channel with and without the common on the DS360 connected to the Ref connector on the Acromag unit. The common connector on the DS360 is not normally
Entry  Wed Sep 15 23:38:32 2021, Koji, Update, ALS, ALS ASX PZT HV was off -> restored P_20210915_151333.jpg
It was known that the Y end ALS PZTs are not working. But Anchal reported in the meeting that the X end PZTs are not working too.

We went down to the X arm in the afternoon and checked the status. The HV (KEPCO) was off from the mechanical switch. I don't know this KEPCO
has the function to shutdown the switch at the power glitch or not.
Entry  Wed Sep 1 21:55:14 2021, Koji, Summary, General, Towards the end upgrade 
- Sat amp mod and test: on going (Tega)
- Coil driver mod and test: on going (Tega)

- Acromag: almost ready (Yehonathan)
    Reply  Wed Sep 15 23:53:54 2021, Koji, Summary, General, Towards the end upgrade P_20210915_231308.jpgP_20210915_225039.jpgP_20210915_224341.jpg
Ordered compoenents are in.

- Made 36 more Sat Amp internal boards (Attachment 1). Now we can install the adapters to all the 19 sat amp units.

- Gave Tega the components for the sat amp adapter units. (Attachment 2)
Entry  Thu Sep 16 00:00:20 2021, Koji, Update, General, RIO Planex 1064 Lasers in the south cabinet P_20210915_232426.jpg
RIO Planex 1064 Lasers in the south cabinet

Property Number C30684/C30685/C30686/C30687
Entry  Thu Sep 16 12:06:17 2021, Tega, Update, Computer Scripts / Programs, Temperature sensors added to the summary pages TempPlot_2021-09-16_12.04.19PM.png
We can now view the minute trend of the temperature sensors under the PEM tab of the summary pages. See attachment 1 for an example of
today's temperature readings. 
Entry  Thu Sep 16 14:08:14 2021, Ian MacMillan, Frogs, , Tour 
I gave some of the data analysts a look around because they asked and nothing was currently going on in the 40m. Nothing was changed.
Entry  Thu Sep 16 01:16:48 2021, Koji, Update, General, Frozen 2 P_20210916_003406_1.jpg
It happened again. Defrosting required.
    Reply  Thu Sep 16 10:07:25 2021, Anchal, Update, General, Melting 2 PXL_20210916_170602832.jpg
Put outside.




Quote:



It happened again. Defrosting
       Reply  Thu Sep 16 20:18:13 2021, Anchal, Update, General, Reset PXL_20210917_031633702.jpg
Fridge brought back inside.




Quote:



Put outside.
          Reply  Fri Sep 17 00:56:49 2021, Koji, Update, General, Awesome 
The Incredible Melting Man!

 
Entry  Fri Sep 17 20:22:55 2021, Koji, Update, SUS, EQ M4.3 Long beach 
EQ  M4.3 @longbeach
2021-09-18 02:58:34 (UTC) / 07:58:34 (PDT)
https://earthquake.usgs.gov/earthquakes/eventpage/ci39812319/executive
Entry  Mon Sep 20 14:11:40 2021, Koji, Update, BHD, End DAC Adapter Unit D2100647 D2100647_End_DAC_Adapter.pdf
I've uploaded the schematic and PCB PDF for End DAC Adapter Unit D2100647.

Please review the design.


CH1-8 SUS actuation channels.

5CHs out of 8CHs are going to be used, but for future extensions, all the 8CHs are going
Entry  Mon Sep 20 15:23:08 2021, Yehonathan, Update, Computers, Wifi internet fixed 
Over the weekend and today, the wifi was acting bad with frequent disconnections and no internet access. I tried to log into the web interface of the
ASUS wifi but with no success.

I pushed the reset button for several seconds to restore factory settings. After that, I was able to log in. I did the automatic setup and defined
    Reply  Mon Sep 20 21:56:07 2021, Koji, Update, Computers, Wifi internet fixed 
Ug, factory resets... Caltech IMSS announced that there was an intermittent network service due to maintenance between Sept 19 and 20. And there seemed
some aftermath of it. Check out "Caltech IMSS"

 
Entry  Thu Sep 23 14:17:44 2021, Tega, Update, Electronics, Sat Amp modifications debugging update 
Debugging complete.

All units now have the correct TP4 voltage reading needed to drive a nominal current of 35 mA through to OSEM LED. The next step is
to go ahead and replace the components and test afterward that everything is OK.
Entry  Wed Sep 29 09:36:26 2021, Jordan, Update, SUS, 2" Adapter Ring Parts for SOS Arrived 9/28/21 20210929_092418.jpg
The remaining machined parts for the SOS adapter ring have arrived. I will inspect these today and get them ready for C&B.
Entry  Mon Sep 13 09:15:15 2021, Paco, Update, LSC, MC unlocked? VAC_2021-09-13_09-32-45.png
Came in at ~ 9 PT this morning to find the IFO "down". The IMC had lost its lock ~ 6 hours before, so at about 03:00 AM. Nothing seemed like
the obvious cause; there was no record of increased seismic activity, all suspensions were damped and no watchdog had tripped, and the pressure trends
similar to those in recent pressure incidents show nominal behavior (Attachment #1).
    Reply  Mon Sep 13 15:14:36 2021, Anchal, Update, LSC, Xend Green laser injection mirrors M1 and M2 not responsive 
I was showing some green laser locking to Tega, I noticed that changing the PZT sliders of M1/M2 angular position on Xend had no effect on locked TEM01
or TEM00 mode. This is odd as changing these sliders should increase or decrease the mode-matching of these modes. I suspect that the controls are not
working correctly and the PZTs are either not powered up or not connected. We'll investigate this in near future as per priority.
       Reply  Thu Sep 30 14:13:18 2021, Anchal, Update, LSC, HV supply to Xend Green laser injection mirrors M1 and M2 PZT restored 
Late elog, original date Sep 15th

We found that the power switch of HV supply that powers the PZT drivers for M1 and M2 on Xend green laser injection alignment was tripped off.
We could not find any log of someone doing it, it is a physical switch. Our only explanation is that this supply might have a solenoid mechansm to shut
Entry  Tue Sep 7 18:00:54 2021, Tega, Summary, Calibration, System Identification via line injection raw_timeseries.pdfdemod_signals.pdfcal_noise_asd.pdf
[paco]

This morning, I spent some time restoring the jupyter notebook server running in allegra. This server was first set up by Anchal to be able to
use the latest nds python API tools which is handy for the calibration stuff. The process to restore the environment was to run "source ~/bashrc.d/*"
    Reply  Tue Sep 21 11:09:34 2021, Anchal, Summary, CDS, XARM YARM UGF Servo and Oscillators added 
I've updated the c1LSC simulink model to add the so-called UGF servos in the XARM and YARM single arm loops as well. These were earlier present in
DARM, CARM, MICH and PRCL loops only. The UGF servo themselves serves a larger purpose but we won't be using that. What we have access to now is to
add an oscillator in the single arm and get realtime demodulated signal before and after the addition of the oscillator. This would allow us to get the
       Reply  Wed Sep 22 12:40:04 2021, Anchal, Summary, CDS, XARM YARM UGF Servo and Oscillators shifted to OAF 
To reduce burden on c1lsc, I've shifted the added UGF block to to c1oaf model. c1lsc had to be modified to allow addition of an oscillator in the
XARm and YARM control loops and take out test points before and after the addition to c1oaf through shared memory IPC to do realtime demodulation in c1oaf
model.
    Reply  Tue Sep 21 11:13:01 2021, Paco, Summary, Calibration, XARM calibration noise XARM_signal_asd.pdfXARM_demod_timeseries.pdfXARM_demod_asds.pdfXARM_cal_0921_timeseries.pdf
Here are some plots from analyzing the C1:LSC-XARM calibration. The experiment is done with the XARM (POX) locked, a single line is injected at C1:LSC-XARM_EXC
at f0 with some amplitude determined empirically using diaggui and awggui tools. For the analysis detailed in this post, f0 = 19 Hz, amp = 1 count, and
gain = 300 (anything larger in amplitude would break the lock, and anything lower in frequency would not show up because of loop supression). Clearly,
       Reply  Wed Sep 22 11:43:04 2021, rana, Summary, Calibration, XARM calibration noise 
I would expect to see some lower frequency effects. i.e. we should look at the timeseries of the demod with the excitation on and off.

I would guess tat the exc on should show us the variations in the optical gain below 3 Hz, whereas the exc off would not show it.

Maybe you should do some low pass filtering on the time series you have to see the ~DC effects? Also, reconsider your AA filter design: how do
          Reply  Tue Sep 28 16:31:52 2021, Paco, Summary, Calibration, XARM OLTF (calibration) at 55.511 Hz OLTF_Calibration_Scheme.jpgXARM_POX_Lock_Model_TF.pdfXARM_OLTF_Total_Model.pdfXARM_OLTF_55p511_Hz_timeseries.pdfGmag_55p511_Hz_ASD.pdf
[anchal, paco]

Here is a demonstration of the methods leading to the single (X)arm calibration with its budget uncertainty. The steps towards this measurement
are the following:
             Reply  Thu Sep 30 18:04:31 2021, Paco, Summary, Calibration, XARM OLTF (calibration) with three lines XARM_OLTF_Model_and_Meas.pdfGmag_ASD_nb_withTRX.pdf
[anchal, paco]

We repeated the same procedure as before, but with 3 different lines at 55.511, 154.11, and 1071.11 Hz. We overlay the OLTF magnitudes and phases
with our latest model (which we have updated with Koji's help) and include the rms uncertainties as errorbars in Attachment #1.
Entry  Fri Oct 1 12:12:54 2021, Stephen, Update, BHD, ITMY (3002) CAD layout pushed to Box 3002_20211001_ITMY_BHD_for_Koji_presentation_images.easm40m_upgrade_layout_20200611-ITMY_Beam_Dim.pdf
Koji requested current state of BHD 3D model. I pushed this to Box after adding the additional SOSs and creating an EASM representation (also posted,
Attachment 1). I also post the PDF used to dimension this model (Attachment 2). This process raised some points that
I'll jot down here:
Entry  Mon Oct 4 15:50:31 2021, Hang, Update, Calibration, Fisher matrix estimation on XARM parameters tf_meas.pdffisher_est_vs_data.pdfPxx_evol.pdffisher_evol.pdf
[Anchal, Hang]

What: Anchal and I measured the XARM OLTF last Thursday.

Goal: 1. measure the 2 zeros and 2 poles in the analog whitening filter, and potentially constrain the cavity pole and an overall gain. 
Entry  Wed Oct 6 15:04:36 2021, Hang, Update, SUS, PRM L2P TF measurement & Fisher matrix analysis prm_l2p_tf_meas.pdfprm_l2p_fisher_vs_data.pdfprm_l2p_Pxx_evol.pdfprm_l2p_fisher_evol.pdf
[Paco, Hang]

Yesterday afternoon Paco and I measured the PRM L2P transfer function. We drove C1:SUS-PRM_LSC_EXC with a white noise in the 0-10
Hz band (effectively a white, longitudinal force applied to the suspension) and read out the pitch response in C1:SUS-PRM_OL_PIT_OUT. The local
Entry  Mon Oct 4 21:58:17 2021, Tega, Update, Electronics, Sat Amp modifications 
Trying to finish 2 more Sat Amp units so that we have the 7 units needed for the X-arm install. 

S2100736 - All good

S2100737 - This unit presented with an issue on the PD1 circuit of channel 1-4 PCB where the voltage reading on TP6, TP7 and TP8 are
    Reply  Tue Oct 5 17:01:20 2021, Koji, Update, Electronics, Sat Amp modifications 
Make sure the inputs for the PD amps are open. This is the current amplifier and we want to leave the input pins open for the test of this circuit.

TP6 is the first stage of the amps (TIA). So this stage has the issue. Usual check if the power is properly supplied / if the pins are properly
connected/isolated / If the opamp is alive or not.
    Reply  Wed Oct 6 16:31:02 2021, Tega, Update, Electronics, Sat Amp modifications 
[Tega, Koji]

(S2100737) - Debugging showed that the opamp, AD822ARZ, for PD2 circuit was not working as expected so we replaced with a spare and
this fixed the problem. Somehow, the PD1 circuit no longer presents any issues, so everything is now fine with the unit.
Entry  Mon Sep 20 20:43:38 2021, Tega, Update, Electronics, Sat Amp modifications IMG_20210920_203456226.jpg
Running update of Sat Amp modification work, which involves the following procedure (x8) per unit:


Replace R20 & R24 with 4.99K ohms, R23 with 499 ohms, and remove C16.
(Testing) Connect LEDDrive output to GND
and check that

TP4 is ~ 5V
 TP5-8 ~ 0V. 


Install 40m Satellite to Flange Adapter (D2100148-v1)


 
    Reply  Wed Sep 22 17:22:59 2021, Tega, Update, Electronics, Sat Amp modifications 
[Koji, Tega]

 

Decided to do a quick check of the remaining Sat Amp units before component replacement to identify any unit with defective LED circuits.
       Reply  Mon Oct 4 18:35:12 2021, Paco, Update, Electronics, Satellite amp box adapters pcb_no_flush.jpg1U_assembly.jpgfourunits.jpg
[Paco]

I have finished assembling the 1U adapters from 8 to 5 DB9 conn. for the satellite amp boxes. One thing I had to "hack" was the corners
of the front panel end of the PCB. Because the PCB was a bit too wide, it wasn't really flush against the front panel (see Attachment #1), so I just
          Reply  Mon Oct 4 20:46:08 2021, Koji, Update, Electronics, Satellite amp box adapters 
Thanks. You should be able to find the chassis-related hardware on the left side of the benchtop drawers at the middle workbench.

Hardware: The special low profile 4-40 standoff screw / 1U handles / screws and washers for the chassis / flat-top screws for chassis panels
and lids
             Reply  Thu Oct 7 02:04:19 2021, Koji, Update, Electronics, Satellite amp adapter chassis P_20211006_205044.jpg
The 4 units of Satellite Amp Adapter were done:
- The ears were fixed with the screws
- The handles were attached (The stock of the handles is low)
Entry  Fri Oct 8 17:33:13 2021, Hang, Update, SUS, More PRM L2P measurements Screenshot_2021-10-08_17-30-52.png
[Raj, Hang]

We did some more measurements on the PRM L2P TF. 

We tried to compare the parameter estimation uncertainties of white vs. optimal excitation. We drove C1:SUS-PRM_LSC_EXC with "Normal"
    Reply  Mon Oct 11 11:13:04 2021, rana, Update, SUS, More PRM L2P measurements 
For the oplev, there are DQ channels you can use so that its possible to look back in the past for long measurements. They have names like PERROR
    Reply  Mon Oct 11 13:59:47 2021, Hang, Update, SUS, More PRM L2P measurements prm_l2p_tf_meas_white.pdfprm_l2p_tf_meas_opt.pdfprm_l2p_fisher_vs_data_white_vs_opt.pdfprm_l2p_Pxx_evol_v2.pdf
We report here the analysis results for the measurements done in elog:16388. 

Figs. 1 & 2 are respectively measurements of the white noise excitation and the optimized excitation. The shaded region corresponds to the
1-sigma uncertainty at each frequency bin. By eyes, one can already see that the constraints on the phase in the 0.6-1 Hz band are much tighter in the
Entry  Wed Oct 13 15:36:38 2021, Hang, Update, Calibration, XARM OLTF Screenshot_2021-10-13_15-32-16.png
We did a few quick XARM oltf measurements. We excited C1:LSC-ETMX_EXC with a broadband white noise upto 4 kHz. The timestamps for the measurements are:
1318199043 (start) - 1318199427 (end).

We will process the measurement to compute the cavity pole and analog filter poles & zeros later.
Entry  Thu Oct 14 09:28:46 2021, Yehonathan, Update, PSL, PMC unlocked 
PMC has been unlocked since ~ 2:30 AM. Seems like the PZT got saturated. I moved the DC output adjuster and the PMC locked immidiatly although with a
low transmission of 0.62V (>0.7V is the usual case) and high REFL.

IMC locked immidiately but IFO seems to be completely misaligned. The beams on the AS monitor are moving quite alot syncronously. BS watchdog
    Reply  Thu Oct 14 11:25:49 2021, Yehonathan, Update, PSL, PMC unlocked BS_OSEM_Sensor_PSD.pdfBS_OSEM_Sensor_PSD_AfterReconnectingCables.pdf
{Yehonathan, Anchal}

I went to get a sandwich around 10:20 AM and when I came back BS was moving like crazy. We shutdown the watchdog.

We look at the spectra of the OSEMs (attachment 1). Clearly, the UR sensing is bad.
Entry  Mon Sep 20 12:20:31 2021, Paco, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements PRM_PIT_ACT_TF.pdfPRM_YAW_ACT_TF.pdfBS_PIT_ACT_TF.pdfBS_YAW_ACT_TF.pdf
[yehonathan, paco, anchal]

We attempted to find any symptoms for actuation problems in the PRMI configuration when actuated through BS and PRM.

Our logic was to check angular (PIT and YAW) actuation transfer function in the 30 to 200 Hz range by injecting appropriately (f^2) enveloped
    Reply  Mon Sep 20 14:22:00 2021, rana, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements 
I suggest plotting all the traces in the plot so we can see their differences. Also remove the 1/f^2 slope so that we can see small differences. Since
the optlev servos all have low pass filters around 15-20 Hz, its not necessary to turn off the optlev servos for this measurement.

I think that based on the coherence and the number of averages, you should also be able to use Bendat and Piersol so estimate the uncertainy
       Reply  Thu Sep 23 15:29:11 2021, Paco, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements BS_PRM_ANG_ACT_TF.pdf
[Anchal, Paco]

We had a second go at this with an increased number of averages (from 10 to 100) and higher excitation amplitudes (from 1000 to 10000). We did
this to try to reduce the relative uncertainty a-la-Bendat-and-Pearsol
          Reply  Fri Oct 1 14:25:27 2021, yehonathan, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements MICH_PRM_-0.34.pngMICH_PRM_-0.1.png
{Paco, Yehonathan, Hang}

We measured the sensing PRMI sensing matrix. Attachment 1 shows the results, the magnitude of the response is not calibrated. The orthogonality
between PRCL and MICH is still bad (see previous measurement for reference).
          Reply  Mon Oct 4 16:00:57 2021, Yehonathan, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements BS_PRM_ANG_ACT_TF_20211004.pdfBS_out_mat_20211004.txtPRM_out_mat_20211004.txt
{Yehonathan, Anchel}

In an attempt to fix the actuation of the PRMI DOFs we set to modify the output matrix of the BS and PRM such that the response of the coils
will be similar to each other as much as possible.
             Reply  Mon Oct 4 16:10:09 2021, rana, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements 
not sure that this is necessary. If you look at teh previous entries Gautam made on this topic, it is clear that the BS/PRM PRMI matrix is
snafu, whereas the ITM PRMI matrix is not.

Is it possible that the ~5% coil imbalance of the BS/PRM can explain the observed sensing matrix? If not, then there is no need to
             Reply  Tue Oct 5 20:04:22 2021, Paco, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements 
[Paco, Rana]

We had a look at the BS actuation. Along the way we created a couple of issues that we fixed. A summary is below.


First, we locked MICH. While doing this, we used the /users/Templates/ndscope/LSC/MICH.yml ndscope template to monitor some channels.
                Reply  Wed Oct 6 15:39:29 2021, Anchal, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements 
Note that your tests were done with the output matrix for BS and PRM in the compensated state as done in 40m/16374.
The changes made there were supposed to clear out any coil actuation imbalance in the angular degrees of freedom.
             Reply  Tue Oct 12 11:32:54 2021, Yehonathan, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements modified_output_matrices_radar_plots.pngnormal_output_matrices_radar_plots.png
Late submission (From Thursday 10/07):

I measured the PRMI sensing matrix to see if the BS and PRMI output matrices tweaking had any effect.

While doing so, I noticed I made a mistake in the analysis of the previous sensing matrix measurement. It seems that I have used the radar plot
                Reply  Tue Oct 12 16:39:52 2021, rana, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements 
should compare side by side with the ITM PRMI radar plots to see if there is a difference. How do your new plots compare with Gautam's plots of PRMI?
                   Reply  Thu Oct 14 13:40:49 2021, Yehonathan, Summary, SUS, PRM and BS Angular Actuation transfer function magnitude measurements BSPRM_Actuation_Radar_plots.pngITM_Actuation_Radar_plots.png
Here is a side by side comparison of the PRMI sensing matrix using PRM/BS actuation (attachment 1) and ITMs actuation (attachment 2). The situation looks
similar in both cases. That is, good orthogonality on REFL55 and bad seperation in the rest of the RFPDs.




Entry  Thu Oct 14 18:30:23 2021, Koji, Summary, VAC, Flange/Cable Stand Configuration 40m_flange_layout_20211014.pdf
Flange Configuration for BHD

We will need total 5 new cable stands. So Qty.6 is the number to be ordered.


Looking at the accuglass drawing, the in-vaccum cables are standard dsub 25pin cables only with two standard fixing threads.
Entry  Thu Oct 14 20:16:22 2021, Yehonathan, Update, General, PRMI free swinging 
{Yehonathan, Raj}

We aligned the IFO in the PRMI state and let it swing freely.
Entry  Thu Oct 14 16:38:26 2021, Ian MacMillan, Update, General, Kicking optics in freeSwing measurment 
[Ian, Anchal]

We are going to kick the optics tonight at 2am.

The optics we will kick are the PRM BS ITMX ITMY ETMX ETMY
    Reply  Fri Oct 15 12:14:27 2021, Ian MacMillan, Update, General, Kicking optics in freeSwing measurment 20211015_Kicktest_plot.pdf
[Ian, Anchal]

we ran the free swinging test last night and the results match up with in 1/10th of a Hz. We calculated the peak using the getPeakFreqs2
script to find the peaks and they are close to previous values from 2016.
Entry  Fri Oct 15 16:46:27 2021, Anchal, Summary, Optical Levers, Vent Prep Screen_Shot_2021-10-15_at_4.34.45_PM.pngScreen_Shot_2021-10-15_at_4.45.31_PM.pngScreen_Shot_2021-10-15_at_4.34.45_PM.pngScreen_Shot_2021-10-15_at_4.34.45_PM.png
I centered all the optical levers on ITMX, ITMY, ETMX, ETMY, and BS to a position where the single arm lock on both were best aligned. Unfortunately,
we are seeing the TRX at 0.78 and TRY at 0.76 at the most aligned positions. It seems less power is getting out of PMC since last month. (Attachment 1).

Then, I tried to lock PRMI with carrier with no luck. But I was able to see flashing of up to 4000 counts in POP_DC. At this position, I centered
    Reply  Fri Oct 15 17:17:51 2021, Koji, Summary, General, Vent Prep 7x
I took over the vent prep: I'm going through the list in [ELOG 15649] and [ELOG
15651]. I will also look at [ELOG 15652] at the day of venting.


IFO alignment: Two arms are already locking. The dark port beam is well overlapped. We will move PRM/SRM etc. So we don't need to
       Reply  Fri Oct 15 20:53:49 2021, Koji, Summary, General, Vent Prep 
From the IFO point of view, all look good and we are ready for venting from Mon Oct
18 9AM
Entry  Mon Oct 18 16:48:32 2021, Tega, Update, Electronics, Sat Amp modifications IMG_20211018_162918574.jpg
[S2100738, S2100745, S2100751] Completed three more Sat Amp units modification with seven remaining.

 
Entry  Mon Oct 18 10:02:17 2021, Koji, Update, VAC, Vent Started / Completed Screen_Shot_2021-10-18_at_14.52.34.pngScreenshot_2021-10-18_15-08-59.png
[Chub, Jordan, Anchal, Koji]

- Checked the main volume is isolated.
- TP1 and TP2 were made isolated from other volumes. Stopped TP1. Closed V4 to isolate TP1 from TP2.
    Reply  Tue Oct 19 10:59:09 2021, Koji, Update, VAC, Vent Started / Completed 
[Chub, Jordan, Yehonathan, Anchal, Koji]

North door of the BS chamber opened

 
       Reply  Tue Oct 19 11:30:39 2021, Koji, Update, VAC, How to vent TP1 Screen_Shot_2021-10-18_at_14.52.34.png
I learned that TP1 was vented through the RGA room in the past. This can be done by opening VM2 and a manual valve ("needle valve")
I checked the setup and realized that this will vent RGA. But it is OK as long as we turns of the RGA during vent and bake it once
TP1 is back.
          Reply  Wed Oct 20 15:58:27 2021, Koji, Update, VAC, How to vent TP1 
Probably the hard disk of c0rga is dead. I'll follow up in this elog later today.

Looking at the log in /opt/rtcds/caltech/c1/scripts/RGA/logs , it seemed that the last RGA scan was Sept 2, 2021, the day when we
had the disk full issue of chiara.
Entry  Thu Oct 21 11:38:43 2021, Jordan, Update, SUS, Standoffs for Side Magnet on 3" Adapter Ring SOS Assembly Magnet_Standoffs.jpg
I had 8 standoffs made at the Caltech chemistry machine shop to be used as spacers for the side magnets on the 3" Ring assembly. This is to create
enough clearance between the magnet and the cap screws directly above on the wire clamp.

These are 0.075" diameter by .10" length. Putting them through clean and bake now.
ELOG V3.1.3-